回归问题
回归是一种是一种监督学习方式，用于预测输入变量和输出变量之间的关系，等价于函数拟合，选择一条函数曲线使其更好的拟合已知数据且更好的预测未知数据。
当达到一定预测精度后，就可以用该拟合曲线来代表该自变量与因变量之间的关系，并且可以用他来处理更多的输入。
回归可以分为线性回归和逻辑回归。线性回归仅仅解决了回归的问题，而逻辑回归则可以解决分类的问题。
(线性回归一般是一次函数, 因此对应还有多项式回归, 有多项和多次);
分类问题
逻辑回归一般是用sigmod函数将函数值压缩在[0,1]这个区间, 这也意味着他只能判断一件事情的是与不是, 如果遇到多分类问题就需要用到softmax回归模型;softmax不是回归问题, 而是分类问题; 回归问题一般是输入多个值, 输出一个值, 而softmax回归的输出个数与输入个数相等;
和线性回归一样, softmax回归也是一个单层神经网络, 并且它的输出层也是全连接层 (全连接层: 所有输入都和所有输出相连); 不一样的是, 线性回归的权重是一个一维向量: y = w1x1 + w2x2 + w3x3... + wdxd; 而softmax回归的权重是一个二维矩阵: y1 = w(1,1)x1 + w(1,2)x2 + w(1,3)x3... + w(1,d)xd, y2 = w(2,1)x1 + w(2,2)x2 + w(2,3)x3... + w(2,d)xd, ..., yd = w(d,1)x1 + w(d,2)x2 + w(d,3)x3... + w(d,d)xd; 当然一般还会有偏置, 这里为了简便就先不写了;
至于损失函数和优化器都比较熟悉, 所以就先不说了;