请输入您要查询的英文单词:

 

单词 tokenizer
释义
tokenizer
/ ?t??k?na?z?(r) /
/ ?to?k?n?a?z?r /
  • 简明释义
  • n.分词器;编译器
  • 网络释义
  • 1

    ?分词器

    1.2 分词器(Tokenizer)和过滤器(TokenFilter):前边说过分析器的功能就是进行分词和过滤。

  • 2

    ?分词组件

    ...:上面说的字符串到文件的映射,这个文件实际上在lucene中是一个文档链表,称为倒排表(Posting List)。 分词组件(Tokenizer):在调用lucene建索引的时候,要先new一个Field,然后添加到Document里去。

  • 3

    ?编译器

    ... Token Passing 令牌传递 Tokenizer 编译器 Topology 拓扑 ...

  • 4

    ?词法分析器

    词法分析器 ( Tokenizer )是由c语言实现的.包含 在tokenize.C当中。

短语
  • 双语例句
  • 1
    With the tokenizer, it is easy to decode the processing instructions.
    有了 tokenizer,就很容易译码处理指令。
  • 2
    If the tokenizer encounters neither token, it returns a lexical error.
    如果记号赋予器未遇到这两个记号,则返回词法错误。
  • 3
    A good lexer example can help a lot with learning how to write a tokenizer.
    一个好的 lexer 例子会非常有助于学习如何编写断词器(tokenizer)。
  • 同近义词
随便看

 

英汉双解词典包含3185865条英汉词条,基本涵盖了全部常用单词的翻译及用法,是英语学习的有利工具。

 

Copyright © 2004-2022 Newdu.com All Rights Reserved
更新时间:2025/1/26 7:44:39