231N

完成了Softmax的损失函数，并实现解析梯度矢量化的表达式且使用数值梯度检查实现结果。使用验证集调整学习率和正则化强度，使用SGD优化损失函数，并可视化最终学习的权重。 ......

svm.ipynb 为SVM实现一个完全矢量化的损失函数 为其解析梯度实现完全矢量化表达式 使用数值梯度检查您的实现 使用验证集调整学习率和正则化 使用 SGD 优化损失函数 可视化最终学习权重 第一部分 1. 一些配置和库的导入 # Run some setup code for this not ......

线性分类器，\(f(x,W)=Wx+b\) 如果想直到模型究竟学到了什么，可以直接提取 W 的每一行生成一张图，因为每个分类的 score 都是这行和 x 矩阵乘得到的（或者你说转置之后作点乘） 线性不是直线，对于一个大小为 \([n,m]\) 的图片，我们用 \([1,n\times m]\) 的 ......

欢迎来到assignment3 从现在开始, 网上的博客数量就少了很多. 毕竟从现在, 我们开始了更具体网络的学习. 这里的组织形式可能会比较怪, 我会将RNN相关的课程内容和代码混在一起, 这样也可以同时作为学习笔记, 也是考虑到RNN之后没有官方讲义之后自己概括性的评说, 感觉比较好组织. 因为 ......

这篇文章之所以来的比较早, 是因为我们机器人比赛字符识别数据集不够, 想自己造点数据集其实 课程内容总结 所谓GAN, 原理很简单, 我们有一个生成器网络和鉴别器网络, 生成器生成假的数据, 鉴别器分辨真假, 二者知己知彼互相优化自己, 从而达到博弈的效果. 实际操作中, 我们一般是训练k步鉴别器, ......

期中考试结束了,来填坑,因为真正接触到了玄学和银河的部分,也算是试验了几天的成果把( 在上一个文章中, 我们已经提到了, 通过本课程学到的各种技巧, 我们将准确度提升到了80%, 这已经超过了大多数CS231N博客的效果了. 但是毕竟这个是在基本的卷积网络架构去操作的, 所以后续想要再提升, 就只能 ......

pytorch 环境搭建 课程给你的环境当中, 可以直接用pytorch, 当时其默认是没有给你安装显卡支持的. 如果你只用CPU来操作, 那其实没什么问题, 但我的电脑有N卡, 就不能调用. 考虑到我已有pytorch环境(大致方法就是确认pytorch版本和对应的cuda版本安装cuda,再按照 ......

卷积神经网络 基本算法实现 卷积神经网络应该算是图像处理中绝对的主流了, 关于算法得基本思想我在之前也学的比较懂了, 这点如果不了解网上有很多教程. 不过我并没有用代码亲自实现它. 我们首先确定怎么编写. 前面搞全连接网络总是会想着怎么去简化运算, 现在我们接触了新的网络, 要实现基础版本反而又不大 ......

dropout 定义 & 作用 & 基本实现 如课程所说,dropout最大的意义在于防止过拟合. 我们还记得, dropout在网络架构上介于激活函数之后, 下一层输入之前. 想法很简单, 就是将隐含层的某些数据屏蔽掉, 直接从以输入到下一层, 概率为p. 需要注意的是, dropout是仅针对训 ......

预警: 本次内容不算多, 但数学推导较复杂 Normalization 归一化的意义 之前内部的权重没有做过标准化. 实际上如果能标准化, 可以提升训练效果, 甚至可以提升精度(虽然不大). 设立专门的batch/layer normalization层的意义在于: 梯度更加规范 对于学习率(可以更 ......

本章内容较多预警 Intro 我们写过一个两层的神经网络, 但是梯度是在loss内计算的, 因此对网络的架构相关的修改难免比较困难. 为此, 我们需要规范化网络设计, 设计一系列函数. , 后面我们还会封装一个类, 这也是最希望的方式了. 环境搭建 又到了工科生最上头(bushi 的搭环境环节. 我 ......

利用图像特征提升准确度 我们之前仅仅是逐个像素的计算, 而忽视和图像在HSV空间的像素集中度和图像纹理特征. 根据别人的博客,准确率进一步从54%提升到58%. 下面进行解析. HOG/颜色直方图代码解读 本次的作业没有要求我们自己实现, 但是我们还是应该读懂代码. 在前面, 我们一直希望我们的网络 ......

two layer net 神经网络的定义 我之前看到的神经网络对于各个层和激活函数的各种表达的总是不够清晰. 所幸本课程对于网络具体细节总算有了严格的定义. 我们实现的是包含ReLU激活函数和softmax分类器的网络. 下面是简单的图形示意: (应该足够清晰了) 需要注意, 输出层之后是没有Re ......

[注意:考虑到这个和SVM重复很多,所以会一笔带过/省略一些] softmax和SVM只是线性分类器分类结果的评判不同, 完全依靠打分最大来评判结果, 误差就是希望结果尽可能接近正确分类值远大于其他值. 我们将打分结果按照指数权重正则化为和为1的向量: 而这个值希望尽可能接近1, 也就是-log接近 ......

SVM的相关概念 首先如课程所说, 本质上线性分类器就是对一个图片向量到打分向量的映射,所以就是ωx+b=S. 对于最基本的二分类SVM, 其利用超平面划分了点集,结果非黑即白, 但是现在我们利用的W可以认为是好几个超平面在一起,得到的不再是一个结果,而是打分向量,如果只需要打分判断正确类别就行,是 ......

从零开始的全新博客 我之前一直在语雀上更新文章, 但是一会不更发现居然需要VIP才能发博客了: 不过考虑到自己确实有一会没写博客了, 之前对神经网络在课上学过, 也鼓捣过pytorch, 但是深感自己没有系统学习过. 第一次接触这种公开课, 希望也能有种从零开始的感觉, 让自己面对这门课程能够更加专 ......