umich
umich cv-6-2 注意力机制
这节课中介绍了循环神经网络的第二部分，主要引入了注意力机制，介绍了注意力机制的应用以及如何理解，在此基础上建立了注意力层以及transformer架构 注意力机制 注意力机制 应用与理解 注意力层 transformer 注意力机制 上次我们没有提到sequence to sequence的RNN结 ......
umich cv-6-1 循环神经网络基本知识
这节课中介绍了循环神经网络的第一部分，主要介绍了循环神经网络的基本概念，vanilla循环网络架构，RNN的一些应用，vanilla架构的问题，更先进的rnn架构比如GRU和LSTM 循环神经网络基本知识 vanilla循环网络架构 应用与理解 vanilla架构的问题 LSTM vanilla循环 ......
umich cv-5-2 神经网络训练2
这节课中介绍了训练神经网络的第二部分，包括学习率曲线，超参数优化，模型集成，迁移学习 训练神经网络2 学习率曲线 超参数优化 模型集成 迁移学习 学习率曲线 在训练神经网络时，一个常见的思路就是刚开始迭代的时候学习率较大，然后随着迭代次数的增加，学习率逐渐下降，下面我们就来介绍几种学习率下降的方法： ......
umich cv-5-1 神经网络训练1
这节课中介绍了训练神经网络的第一部分，包括激活函数的选择，权重初始化，数据预处理以及正则化方法 训练神经网络1 激活函数 数据预处理 权重初始化 正则化方法 激活函数 这部分主要讨论我们之前提到的几种激活函数的利弊： 首先我们看sigmoid函数，这种激活函数有着激活函数中常见的优点与缺点： 优点方 ......
umich cv-4-2 经典卷积网络架构
这节课中主要讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的 卷积网络经典结构 AlexNet VGG GoogleNet Residual Network AlexNet 在2012年的时候，Alexnet神经网络提出，这时网络的架构比如说各个层之间要如何排列组合，使用多少卷积层池化层，每 ......
umich cv-4-1 卷积网络基本组成部分介绍
这节课中介绍了卷积网络的基本组成部分(全连接层，激活函数，卷积层，池化层，标准化等)，下节课讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的 卷积网络组成部分 前言 卷积层 池化层 normalization 前言 在之前提到的全连接神经网络中，我们直接把一个比如说32 * 32 * 3的图 ......
umich cv-3-2
UMICH CV Neural Network 既然谈到神经网络，我们肯定要讨论在神经网络中是如何进行梯度的计算以及参数的优化的 传统的方法就是我们手动计算梯度，但是随着神经网络层数的增加，这种方法显然过于复杂 因此我们引入了计算图的概念，从一个简单的例子出发： 我们可以把一个(x+y)z的计算式拆 ......
umich cv-3-1
UMICH CV Neural Network 对于传统的线性分类器，分类效果并不好，所以这节引入了一个两层的神经网络，来帮助我们进行图像分类 可以看出它的结构十分简单，x作为输入层，经过max（0，W1*x）到达h隐藏层，再经过W2到达s输出层 如果我们对隐藏层的结果进行可视化，我们可以看到如下的 ......
umich cv-2-2
UMICH CV Linear Classifiers 在上一篇博文中，我们讨论了利用损失函数来判断一个权重矩阵的好坏，在这节中我们将讨论如何去找到最优的权重矩阵 想象我们要下到一个峡谷的底部，我们自然会选择下降最快的斜坡，换成我们这个问题就是要求权重矩阵相对于损失函数的梯度函数，最简单的方法就是使 ......
umich cv-2-1
UMICH CV Linear Classifiers 对于使用线性分类器来进行图片分类，我们可以给出这样的参数化方法： 而对于这样一个式子，我们怎么去理解呢？ 首先从代数的角度，这个f(x,W)就是一张图片的得分，我们可以将一张图片所有的像素点输入，乘以一个权重矩阵，再加上一个偏置项b，就得到f( ......
umich cv-1
UMICH CV Image Classification KNN 在本节课中，首先justin老师为我们介绍了图像分类了基础概念以及其用途，这里就不多涉及了 接着我们思考图像分类问题，如果我们想要直接通过某种算法来实现图像分类，显然是比较棘手的，于是引入了机器学习的思想，即用数据驱动，用数据去训练 ......