分词器定义：

从一串文本中切分出一个一个的词条，并对每个词条进行标准化

分词处理过程：

1、分词前预处理：过滤HTML标签、特殊符号转换

2、分词：

3、标准化：大小写转换、单复数转换、同义词转换

1、standard分词器：默认将词汇单元转换成小写形式，去掉领用词和标点符号，中文按单字切分

2、simple分词器：先通过非字母字符来分割文本信息，然后奖词汇单元统一为小写形式。也会去掉数字类型字条

3、whitespace分词器：能去掉空格；但不能大小写转换，不支持中文；也不进行标准化处理

4、language分词器：特定语言分词器，不支持中文

TF:词条在当前文档里出现频率，次数越多相关度超高

IDF:词条在所有文档里出现频率，次数越多相关度越低

FL：字段长度，字段越长相关度越低

explain=true显示计算方式；结果_score计算结果，"_explanation"显示计算过程