感知机（Perceptron）是一种二分类的线性分类模型，其基本结构由一个或多个输入节点、一个加权总和和一个激活函数组成。感知机模型的训练算法通常使用梯度下降法。
感知机模型的输入是一个n维向量x=(x₁, x₂, ..., xn)，对应于n个特征。每个特征都有一个对应的权重w=(w₁, w₂, ..., wn)。感知机模型的输出是一个二进制值y，表示样本的类别。
感知机的加权总和是通过将输入向量x与权重向量w的内积计算得到的：
z = w·x + b
其中b是偏置项（bias），它表示对于给定样本的影响。
感知机的激活函数通常是一个阶跃函数，用于将加权总和映射到输出类别。当加权总和大于某个阈值时，激活函数返回1，否则返回0。
梯度下降法是一种优化算法，用于调整感知机模型中的权重和偏置项，以最小化误分类样本的数量。其基本思想是通过迭代调整权重和偏置项，使得在每次迭代中分类错误的样本数量减少。
梯度下降法的步骤如下：
-
初始化权重和偏置项：随机初始化权重w和偏置项b。
-
对于每个样本(xi, yi)：
a. 计算预测输出值：计算加权总和z_i = w·xi + b。
b. 计算预测输出与真实输出之间的误差：error = yi - z_i。
c. 更新权重和偏置项：根据误差和学习率α，更新权重和偏置项：
w := w + α * error * xi
b := b + α * error
-
重复步骤2，直到达到某个停止条件（例如达到最大迭代次数或误差小于某个阈值）。
梯度的推导如下：
对于误差函数E(w, b) = -∑(yi - z_i)，其中z_i = w·xi + b，
对于权重w的偏导数可表示为 ∂E/∂w：
∂E/∂w = -∑(yi - z_i) * ∂z_i/∂w = -∑(yi - z_i) * xi
对于偏置项b的偏导数可表示为 ∂E/∂b：
∂E/∂b = -∑(yi - z_i) * ∂z_i/∂b = -∑(yi - z_i)
因此，在梯度下降法中，通过更新权重和偏置项，可以不断减小误差函数E(w, b)。这样，通过迭代调整权重和偏置项，可以逐渐找到使误差最小化的最优参数组合。