Java String Tokenize readTokens(String line)

Description

Ritorna i tokens (separati dal carattere ';') di una stringa in una listsa di stringhe

License

Open Source License

Parameter

Parameter	Description
line	Una stringa dal quale prelevare i tokens

Return

Una lista di stringhe (i tokens)

Declaration

public static List<String> readTokens(String line) 

Method Source Code

//package com.java2s;
//License from project: Open Source License 

import java.util.*;

public class Main {
    /**//from  www.  j a  va  2 s  .c o  m
     * Ritorna i tokens (separati dal carattere ';') di una stringa 
     * in una listsa di stringhe
     * @param line Una stringa dal quale prelevare i tokens
     * @return Una lista di stringhe (i tokens)
     */
    public static List<String> readTokens(String line) {
        int nTokens = 1;

        // calcola il numero di tokens (separati da ';')

        for (int i = 0; i < line.length(); i++) {
            if (line.charAt(i) == ';')
                nTokens++;
        }
        // lista di tokens
        List<String> tokens = new ArrayList<String>();

        int i = 0;
        for (int j = 1; j < line.length(); j++) {
            if (line.charAt(j) == ';') {

                // aggiungo il token letto alla lista

                tokens.add(line.substring(i, j));
                i = j + 1;
            }
        }
        // aggiungo l'ultimo token alla lista
        tokens.add(line.substring(i, line.length()));
        return tokens;
    }
}

Related

1. isStringFunction(String token)
2. isToken(String sentence, String searchWord)
3. maxTokenLength(String s)
4. parseNMTokens(String nmTokens)
5. parseString(String in, String token)
6. removeEmptyStrings(String[] tokens)
7. removeMatchingRegex(String regex, String replacement, String[] tokens, boolean removeEmpty)
8. removeStopWords(String[] tokens, Set stopWords)
9. stringTokenizer(String in)