PPL
fasttext训练和kenlm_ppl语言模型训练
kenlm： https://github.com/mattzheng/py-kenlm-model https://github.com/kpu/kenlm fasttext： https://github.com/facebookresearch/fastText/tree/master ......
PPL Quantization Tool (PPL 量化工具)
openppl-public (github.com) openppl-public/ppl.nn: A primitive library for neural network (github.com) openppl-public/ppq: PPL Quantization Tool (PPQ) ......
：）语言模型的评价-PPL迷惑度-从语言模型说起-|
语言模型的评价-PPL迷惑度-从语言模型说起 一语言模型 1.1语言模型概念： 1 计算一个句子的概率模型 2 也就是能够判断一个句子是否是人类语言，输出其概率。 1.2推导 1.3它的概率表示为： 1.4存在两个缺陷： 1、參数空间过大：条件概率P(wn|w1,w2,..,wn-1)的可能性太多， ......