...：上面说的字符串到文件的映射，这个文件实际上在lucene中是一个文档链表，称为倒排表(Posting List)。 分词组件(Tokenizer)：在调用lucene建索引的时候，要先new一个Field，然后添加到Document里去。
基于168个网页-相关网页
word tokenizer class 来测试一个断词类
GMM tokenizer GMM符号化器
string tokenizer 字符分解器
Whitespace Tokenizer 空格分词器
With the tokenizer, it is easy to decode the processing instructions.
有了 tokenizer，就很容易译码处理指令。
If the tokenizer encounters neither token, it returns a lexical error.
如果记号赋予器未遇到这两个记号，则返回词法错误。
A good lexer example can help a lot with learning how to write a tokenizer.
一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer）。
应用推荐