随想录 训练营 九天 随想
DHVT：小数据集也能轻松训练！缩小VIT与CNN鸿沟，解决从零开始的训练难题
前言 VIT在归纳偏置方面存在空间相关性和信道表示的多样性两大缺陷。所以论文提出了动态混合视觉变压器(DHVT)来增强这两种感应偏差。在空间方面，采用混合结构，将卷积集成到补丁嵌入和多层感知器模块中，迫使模型捕获令牌特征及其相邻特征。在信道方面，引入了MLP中的动态特征聚合模块和多头注意力模块中全新 ......
DHVT：在小数据集上降低VIT与卷积神经网络之间差距，解决从零开始训练的问题
VIT在归纳偏置方面存在空间相关性和信道表示的多样性两大缺陷。所以论文提出了动态混合视觉变压器(DHVT)来增强这两种感应偏差。 在空间方面，采用混合结构，将卷积集成到补丁嵌入和多层感知器模块中，迫使模型捕获令牌特征及其相邻特征。 在信道方面，引入了MLP中的动态特征聚合模块和多头注意力模块中全新的 ......
代码随想录12｜栈和队列
239. 滑动窗口最大值 这是使用单调队列的经典题目。 此时我们需要一个队列，这个队列呢，放进去窗口里的元素，然后随着窗口的移动，队列也一进一出，每次移动之后，队列告诉我们里面的最大值是什么。 每次窗口移动的时候，调用que.pop(滑动窗口中移除元素的数值)，que.push(滑动窗口添加元素的数 ......
在树莓派上使用numpy实现简单的神经网络推理，pytorch在服务器或PC上训练好模型保存成numpy格式的数据，推理在树莓派上加载模型
这几天又在玩树莓派，先是搞了个物联网，又在尝试在树莓派上搞一些简单的神经网络，这次搞得是mlp识别mnist手写数字识别 训练代码在电脑上，cpu就能训练，很快的： 1 import torch 2 import torch.nn as nn 3 import torch.optim as opti ......
用一杯星巴克的钱，训练自己私有化的ChatGPT
 > 文章摘要：用一杯星巴克的钱，自己动手2小时的时间，就可以拥有自己训练的开源大模型，并可以根据不同的 ......
代码随想录算法训练营第二十一天|530. 二叉搜索树的最小绝对差、
【参考链接】 530. 二叉搜索树的最小绝对差 【注意】 1.二叉搜索树采用中序遍历，其实就是一个有序数组。 2.使用双指针，更快。 【代码】 1 # Definition for a binary tree node. 2 # class TreeNode(object): 3 # def __i ......
代码随想录算法训练营第21天 | ● 530.二叉搜索树的最小绝对差 ● 501.二叉搜索树中的众数 ● 236. 二叉树的最近公共祖先 - 第6章 二叉树 part07
第六章 二叉树part07 今日内容 详细布置 530.二叉搜索树的最小绝对差 需要领悟一下二叉树遍历上双指针操作，优先掌握递归 题目链接/文章讲解： 视频讲解： 501.二叉搜索树中的众数 和 530差不多双指针思路，不过 这里涉及到一个很巧妙的代码技巧。 可以先自己做做看，然后看我的视频讲解。 ......
代码随想录算法训练营第20天 | ● 654.最大二叉树 ● 617.合并二叉树 ● 700.二叉搜索树中的搜索 ● 98.验证二叉搜索树 - 第6章 二叉树 part06
第六章 二叉树 part06 今日内容 ● 654.最大二叉树 ● 617.合并二叉树 ● 700.二叉搜索树中的搜索 ● 98.验证二叉搜索树 详细布置 654.最大二叉树 又是构造二叉树，昨天大家刚刚做完 中序后序确定二叉树，今天做这个 应该会容易一些， 先看视频，好好体会一下 为什么构造二叉树 ......
代码随想录算法训练营第18天 | ● 513.找树左下角的值 ● 112. 路径总和 113.路径总和ii ● 106.从中序与后序遍历序列构造二叉树 105.从前序与中序遍历序列构造二叉树 - 第6章 二叉树 part05
第六章 二叉树 part05 今日内容 ● 513.找树左下角的值 ● 112. 路径总和 113.路径总和ii ● 106.从中序与后序遍历序列构造二叉树 105.从前序与中序遍历序列构造二叉树 详细布置 找树左下角的值 本地递归偏难，反而迭代简单属于模板题， 两种方法掌握一下 题目链接/文章讲解 ......
代码随想录算法训练营第17天 | ● 110.平衡二叉树 ● 257. 二叉树的所有路径 ● 404.左叶子之和 - 第6章 二叉树 part04
第六章 二叉树part04 今日内容： ● 110.平衡二叉树 ● 257. 二叉树的所有路径 ● 404.左叶子之和 详细布置 迭代法，大家可以直接过，二刷有精力的时候 再去掌握迭代法。 110.平衡二叉树 （优先掌握递归） 再一次涉及到，什么是高度，什么是深度，可以巩固一下。 题目链接/文章讲解 ......
代码随想录算法训练营第17天 | ● 654.最大二叉树 ● 617.合并二叉树 ● 700.二叉搜索树中的搜索 ● 98.验证二叉搜索树 - 第6章 二叉树 part06
第六章 二叉树 part06 今日内容 ● 654.最大二叉树 ● 617.合并二叉树 ● 700.二叉搜索树中的搜索 ● 98.验证二叉搜索树 详细布置 654.最大二叉树 又是构造二叉树，昨天大家刚刚做完 中序后序确定二叉树，今天做这个 应该会容易一些， 先看视频，好好体会一下 为什么构造二叉树 ......
代码随想录算法训练营第16天 | ● 104.二叉树的最大深度 559.n叉树的最大深度 ● 111.二叉树的最小深度 ● 222.完全二叉树的节点个数 - 第6章 二叉树 part03
第六章 二叉树part03 今日内容： ● 104.二叉树的最大深度 559.n叉树的最大深度 ● 111.二叉树的最小深度 ● 222.完全二叉树的节点个数 迭代法，大家可以直接过，二刷有精力的时候 再去掌握迭代法。 详细布置 104.二叉树的最大深度 （优先掌握递归） 什么是深度，什么是高度，如 ......
代码随想录算法训练营第15天 | ● 层序遍历 10 ● 226.翻转二叉树 ● 101.对称二叉树 2 - 第6章 二叉树 part02
第六章 二叉树 part02 今日内容： ● 层序遍历 10 ● 226.翻转二叉树 ● 101.对称二叉树 2 详细布置 层序遍历 看完本篇可以一口气刷十道题，试一试， 层序遍历并不难，大家可以很快刷了十道题。 题目链接/文章讲解/视频讲解：https://programmercarl.com/0 ......
如何使用 Megatron-LM 训练语言模型
在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上，并使用许多优化技术以实现稳定高效的训练。Hugging Face 🤗 [Accelerate](https://huggingface.co/docs/accelerate/index) 的创建 ......
模型训练-tips
模型冻结部分层的训练方式： 第一步：在训练之前，将除了Embedding之外的层设置为param.requires_grad = False，如下所示： for name, param in model.named_parameters(): if "model.embed_tokens" not ......
代码随想录算法训练营第二十天|654. 最大二叉树、617. 合并二叉树、700. 二叉搜索树中的搜索、98. 验证二叉搜索树
【参考链接】 654. 最大二叉树 【注意】 1.构造二叉树，都需要用前序遍历。 2.二叉树的根是数组中的最大元素。 3.没必要构造新数组，通过下标控制左右区间。运行效率会高很多。 【代码】 1 # Definition for a binary tree node. 2 # class TreeN ......
GMM-HMM在语音中的训练及和预测的简要流程
GMM-HMM：包含3个状态，每个状态由一个GMM混合高斯分布(u，D，pi)，每个混合高斯分布包含pi个高斯函数 trainging训练阶段： 每个triphone三音子对应一个GMM-HMM。训练时先对齐 找到每个triphone(GMM-HMM)的音频特征MFCC序列X， 还要分别确定MFCC ......
编程随想曲周刊（第30期）
这里记录每周的所见所闻，周日发布。点击阅读原文可以直接访问文章链接。 # 工具 1. [我C，最好用的AI工具居然是它！](https://mp.weixin.qq.com/s/hnBMRyd8EC5S_83CdtQVqw) # 文章 1. [那些一夜暴富的人，后来都怎么样了？](https://m ......
验证码模型训练与识别
1. 训练模型代码 import numpy as np import tensorflow as tf # import tensorflow.compat.v1 as tf # tf.disable_v2_behavior() from captcha.image import ImageCap ......
代码随想录Day11｜栈和队列
20. 有效的括号 经典的利用栈的题目 这里选择用java来写，注意我们的java中的泛型不能用基本数据类型，而是应该使用包装类 注意！java一定是定义后需要声明，然后才能使用 1047. 删除字符串中的所有相邻重复项 略 比较简单 150. 逆波兰表达式求值 注意：leetcode 内置jdk的 ......
代码随想录算法训练营第十八天|513. 找树左下角的值、112. 路径总和
【参考链接】 513. 找树左下角的值 【注意】 1.用递归的话就就一直向左遍历，但是到最后一个，它未必是最后一行。是要找到树的最后一行的最左边的值。（不一定是指是左孩子） 2.如果使用递归法，如何判断是最后一行呢，其实就是深度最大的叶子节点一定是最后一行。 3.只要是优先遍历左都可以，所以前中后序 ......
527训练总结
训练内容：2023江西省赛VP 赛后总结： 比赛过程： 做了签到以后纯纯开始坐牢...... 策略失误： I题被定位成签到题也过了十四个人，但是后续没有花更多的时间去看，一直在钻“如何存储图上路径”的牛角尖，没有往“存在巧妙解法”这个角度思考。另外写dfs的假解法的过程中发现对vector的基本删除 ......
代码随想录Day10｜栈与队列
那么我这里再列出四个关于栈的问题，大家可以思考一下。以下是以C++为例，使用其他编程语言的同学也对应思考一下，自己使用的编程语言里栈和队列是什么样的。 C++中stack 是容器么？ 我们使用的stack是属于哪个版本的STL？ 我们使用的STL中stack是如何实现的？ stack 提供迭代器来遍 ......
2023-05 多校联合训练 HZNU站
## 我想要原石 >然而，由于提瓦特大陆实在是太大了，游戏中设置了许多传送锚点。众所周知，每个传送锚点附近都有若干个原石（其实并没有），曾经有一位丰富经验的旅行者开辟了 $n−1$ 条路和 $n$ 个由路连通的传送锚点。为了便于后续的旅行者知道地图上原石的分布情况，他决定给旅行者一些提示，但是他没有 ......
pytorch--训练分层学习率设置
在训练模型时，我们经常会使用两个神经网络模型进行融合，若两个模型的复杂度不同，或者激活函数不同，导致训练后的模型训练损失忽高忽低，差距巨大，有可能是陷入了`局部最优`的状况。这时候采用`分层学习率`的策略可能帮助模型度过局部最优困境。 下面是一个简单的示例： 对于一个继承于`nn.Module`的神 ......
代码随想录算法训练营第十七天|110. 平衡二叉树、257. 二叉树的所有路径
【参考链接】 110. 平衡二叉树 【注意】 1.一棵高度平衡二叉树定义为：一个二叉树每个节点 的左右两个子树的高度差的绝对值不超过1。 2.求高度一定要用后序遍历。 【代码】 1 # Definition for a binary tree node. 2 # class TreeNode(obj ......
CV的人有福啦!YTU贪心训练2(部分注释,更新ing)
恢复内容开始 无聊做了做(虽然第一题被水了) 1743 Problem A 1 #include<bits/stdc++.h> 2 using namespace std; 3 const int N=100010; 4 int n,k,s[N],a[N],sum[N],ans,x,y,res; 5 ......
代码随想录算法训练营第十六天|104. 二叉树的最大深度、559. N 叉树的最大深度、111. 二叉树的最小深度、222. 完全二叉树的节点个数
【参考链接】 104. 二叉树的最大深度 【注意】 1. 二叉树节点的深度：指从根节点到该节点的最长简单路径边的条数或者节点数（取决于深度从0开始还是从1开始）。 二叉树节点的高度：指从该节点到叶子节点的最长简单路径边的条数或者节点数（取决于高度从0开始还是从1开始）。 2.根节点的高度就是二叉树的 ......
手把手教你在昇腾平台上搭建PyTorch训练环境
摘要：在昇腾平台上运行PyTorch业务时，需要搭建异构计算架构CANN软件开发环境，并安装PyTorch 框架，从而实现训练脚本的迁移、开发和调试。 本文分享自华为云社区《手把手教你在昇腾平台上搭建PyTorch训练环境》，作者：昇腾CANN。 PyTorch是业界流行的深度学习框架，用于开发深度 ......