信息论
探索系统论、信息论与控制论之间的交织关系
当我还是一个年轻的研究者，跟随Norbert Wiener的脚步深入探索数学、哲学和工程的交叉领域时，我常常会被三个看似不同但又紧密相连的理论所吸引：系统论（Systems Theory）、信息论（Information Theory）、和控制论（Control Theory）。这三者之间的相互关系 ......
信息论
信息论 是概率论的延申，在机器学习领域，用于 * 构造目标函数 * 对算法进行理论分析和证明 # 1.熵 > 熵衡量了一个概率分布的随机性程度，或者说它包含的信息量的大小。 随机变量X取值为x的概率为p(x)，p(x)很小，而这个事件又发生了，则包含的信息量大。用h(x)表示信息量的大小，则h(x) ......
信息论基础期中复习
第 1 章是绪论。 第 2 章介绍信息论的一些基本概念， 包括自信息量 、互信息量 、离散信源熵 、熵的性质以及连续信源熵、最大熵定理等，对信源的信息给出定量描述 ，并解释冗余度的由来及作用。 这一章是后续章节的基础。 第 3 章介绍信道的分类及其表示参数 ，讨论各种信道能够达到的最大传输速率 ，即 ......
信息论-交叉熵
信息论 参考教程：22.11. Information Theory — Dive into Deep Learning 1.0.0-beta0 documentation (d2l.ai) 信息代表事件的意外程度，或者说事件的抽象可能性 self-information 一个事件包含多少信息量，可 ......
信息论之从熵、惊奇到交叉熵、KL散度和互信息
一、熵（PRML） 考虑将A地观测的一个随机变量x，编码后传输到B地。 这个随机变量有8种可能的状态，每个状态都是等可能的。为了把x的值传给接收者，需要传输⼀个3⽐特的消息。注意，这个变量的熵由下式给出: ⾮均匀分布⽐均匀分布的熵要⼩。 如果概率分布非均匀，同样使用等长编码，那么并不是最优的。相反， ......
机器学习数学基础之信息论
信息论背后的原理是：从不太可能发生的事件中能学到更多的有用信息。 发生可能性较大的事件包含较少的信息 发生可能性较小的事件包含较多的信息 独立事件包含额外的信息 对于事件 $\mathbf x=x$，定义自信息self-information为： $$ I(x)=-\log P(x) $$ 自信息仅 ......