客观性

本文简要介绍了论文“System 2 Attention (is something you might need too) ”的相关工作。基于transformer的大语言模型（LLM）中的软注意很容易将上下文中的不相关信息合并到其潜在的表征中，这将对下一token的生成产生不利影响。为了帮助纠正... ......

**统计的系统客观性**： 统计数据及其活动不是片面的，而是系统客观反映客观现象。 周期的做“总体统计” + 随机/按需/周期做“抽样统计”； **统计的动态进化**性: 统计数据及其活动不是静止的，持续的更新(量变)与进化(质变)。 先验信息的收集挖掘和加工, 数量化, 形成"先验分布"并持续进化 ......