Towards Reasoning in Large Language Models A Survey

发布时间 2023-11-30 17:34:29作者: Eirrac

Reasoning 定义

推理:以逻辑和系统的方式进行思考,利用证据和过往经验来得出结论或作出抉择。

演绎推理Deductive Reasoning 结论来源于前提假设的阳性

  • 前提假设:哺乳动物都有肾脏

  • 前提假设:鲸是哺乳动物

  • 结论:鲸有肾脏

归纳推理Inductive Reasoning 结论来源于观测或者证据

  • 观察:每当看到有翅膀的动物,是鸟

  • 观察:看到一个有翅膀的生物

  • 结论:可能是鸟

溯因推理Abductive Reasoning 结论来源于给定观测集合的最优解释

  • 观察:车子开不了,引擎下面有一滩液体
  • 结论:最可能的解释是车子的散热器漏水了

其他推理问题:

  • 类比推理Analogical Reasoning 通过比较两个或多个事物来得出结论
  • 因果推理Causal Reasoning 需要识别和理解事件的原因和影响
  • 概率推理Probabilistic Reasoning 根据某个输出的似然或者概率来得出结论

此外,推理还分形式推理Formal Reasoning非形式推理Informal Reasoning,前者形式更规整严谨,后者则更开放,依赖一些常识、直觉、经验等等。

用LLM做的reasoning大部分是非形式推理,不过这些工作往往不会明确说自己是形式还是非形式。

传送门

一些相关工作: