StringTokenizer的实例有两种方式，这两种方式取决于returnDelims 标记位的值是true或false。

标记为true，那些分隔符字符本身即为标记。因此标记要么是一个分隔符字符，要么是那些连续字符（不是分隔符）的最大序列。

标记为false，则分隔符字符用来分隔标记。标记是连续字符（不是分隔符）的最大序列。

StringTokenizer类的对象在内部已经标识化的字符串中维持了当前位置。一些操作使得在现有位置上的字符串提前得到处理。 一个令牌的值是由获得其曾经创建StringTokenizer类对象的字串所返回的。

StreamTokenizer定义了几种基本的常量用于标识解析过程：TT_EOF(流结尾)、TT_EOL(行结尾)、
　　TT_NUMBER(数字符号, 0 1 2 3 4 5 6 7 8 9 . -都属于数字语法)、TT_WORD(一个单词)。
　　其含有的基本方法介绍一下：
　　commenChar(int ch) - 指定某个字符为注释字符，此字符之后直到行结尾都被stream tokenizer忽略。
　　eolIsSignificant(boolean flag) - 决定一个行结束符是否被当作一个基本的符号处理，如果是true，则被当作一个基本符号，不当作普通的分隔符，如果是false，则保持原义，即当作普通的分隔符。
　　lineno() - 返回当前流所在的行号。
　　lowerCaseMode(boolean flag) - 决定是否读取一个单词时是否转变成小写。
　　nextToken() - 分析下一个。
　　ordinaryChar(int ch) - 指定字符在这个tokenizer中保持原义，即只会把当前字符认为普通的字符，不会有其他的语义。
　　ordinaryChars(int low, int hi) - 指定范围内的字符保持语义，同上
　　parseNumbers() - 当stream tokenizer遭遇到一个单词为双精度的浮点数时，会把它当作一个数字，而不是一个单词。
　　pushBack() - 回退，会引起下一个nextToken方法返回当前值。
　　quoteChar(int ch) - 指定当前字符为当前tokenizer中的分隔符，在两个符号之间被当作一个字符串解析。
　　resetSyntax() - 重置语法表使所有的字符都被认为是“ordinary”。
　　slashSlashComments(boolean flag) - 如果为true，则/*与*/之间的都被认为是注释，反之，不是。
　　slashStartComments(boolean flag) - 如果为true，则//之后到行结尾的所有都被认为是注释，反之，不是。
　　whitespaceChars(int low, int hi) - 字符low与hi之间的所有字符都被当作为空格符，即被认识为tokenzier的分隔符。
　　wordChars(int low, int hi) - 字符low与hi之间的所有字符都被当作为单词的要素。
　　一个单词是由一个单词要素后面跟着0个或者更多个单词要素或者数字要素。

接下来是运用此类的一个实例。 代码：

StringTokenizer st = new StringTokenizer("this is a test");

while (st.hasMoreTokens())

{

System.out.println(st.nextToken());

}

打印出来之后是：

this

is

a

test

接下来的实例阐明了String.split方法如何将一个字符串分解成其基本令牌的。 String[] result = "this is a test".split("\\s");

for (int x=0; x<result.length; x++)

System.out.println(result[x]);

打印出来之后是：

this

is

a

test

StringTokenizer 是出于兼容性的原因而被保留的遗留类（虽然在新代码中并不鼓励使用它）。建议所有寻求此功能的人使用 String 的 split 方法或java.util.regex包