自动微分

发布时间 2023-11-28 16:16:32作者: 黑逍逍

张量的梯度信息

张量的梯度信息是指张量相对于某个或多个变量的导数。梯度表示了函数在某一点的变化率,它是一个向量,其中每个元素对应于函数相对于输入变量的偏导数

在深度学习中,我们通常使用梯度来更新模型参数,以便最小化或最大化某个损失函数。梯度下降是一种常见的优化算法,它使用梯度信息来沿着损失函数的负梯度方向更新模型参数,从而逐步降低损失函数的值

什么是自动微分

张量的梯度信息通常是自动计算的。这意味着你可以定义一个计算图,然后框架会自动计算相对于输入张量的梯度。这个过程通常称为自动微分(Automatic Differentiation)

计算图

计算图(Computational Graph)是一种图形表示法,用于描述数学运算和数据流。在深度学习中,计算图是表示神经网络中各种运算和数据传递的一种形式,它提供了一种可视化和结构化的方式来理解和优化模型的计算过程