字符分解器
基于1个网页-相关网页
string tokenizer
字符串记号赋予器
以上为机器翻译结果，长、整句建议使用 人工翻译 。
The process that scans an input string and determines what the tokens are is called the tokenizer. In the query.
扫描输入字符串以及判断是何标记的过程称作记号赋予器(tokenizer)。
youdao
应用推荐
模块上移
模块下移
不移动