五天学完deep learning。。。。。。是时候来证明chatGPT和new bing的能力了。。。。。。
DAY1
Sigmoid function
Sigmoid 函数是一种常用的激活函数，它将输入值映射到 0 和 1 之间。它的公式为 f(x) = 1 / (1 + e^-x)。Sigmoid 函数的输出值具有平滑性，因此它在深度学习中常用于分类问题。
Softplus function
Softplus 函数是一种激活函数，它将输入值映射到正实数范围内。它的公式为 f(x) = ln(1 + e^x)。Softplus 函数的输出值具有平滑性，因此它在深度学习中常用于回归问题。
KL divergence
KL 散度（Kullback-Leibler divergence）是一种用于衡量两个概率分布之间差异的方法。它的定义为 D_KL(P||Q) = ∑_i P(i) * log(P(i)/Q(i))，其中 P 和 Q 是两个概率分布。KL 散度越大，说明两个概率分布之间的差异越大。
举个例子，假设我们有两个概率分布 P 和 Q，其中 P = [0.5, 0.5]，Q = [0.9, 0.1]。那么，我们可以计算它们之间的 KL 散度为 D_KL(P||Q) = 0.5 * log(0.5/0.9) + 0.5 * log(0.5/0.1) ≈ 0.36。这意味着 P 和 Q 之间存在一定的差异。