随想录 训练营 九天 随想
基于GPT-2预训练模型chat 演示-代码说明
基于GPT-2预训练模型chat 演示-代码说明 代码路径：shibing624/gpt2-dialogbot-base-chinese · Hugging Face 代码说明：4.MMI模型训练与生成_哔哩哔哩_bilibili 1 文本预处理 下载语料 2 train 1 dataset 2 d ......
代码随想录21 530.二叉搜索树的最小绝对差 | 501.二叉搜索树中的众数 | 236. 二叉树的最近公共祖先
530. 二叉搜索树的最小绝对差 给你一个二叉搜索树的根节点 root ，返回 树中任意两不同节点值之间的最小差值 。 差值是一个正数，其数值等于两值之差的绝对值。 class Solution { TreeNode pre; int result = Integer.MAX_VALUE; publ ......
Yolov5——训练目标检测模型详解（含完整源码）
项目的克隆 打开yolov5官网（GitHub - ultralytics/yolov5 at v5.0），下载yolov5的项目： 环境的安装（免额外安装CUDA和cudnn） 打开anaconda的终端，创建新的名为yolov5的环境（python选择3.8版本）： conda create - ......
基于深度学习的农作物叶片病害检测系统（UI界面+YOLOv5+训练数据集）
农作物叶片病害检测系统用于智能检测常见农作物叶片病害情况，自动化标注、记录和保存病害位置和类型，辅助作物病害防治以增加产值。本文详细介绍基于YOLOv5深度学习模型的农作物叶片病害检测系统，在介绍算法原理的同时，给出Python的实现代码、PyQt的UI界面以及训练数据集。在界面中可以选择各种图片、... ......
跨域推荐：嵌入映射、联合训练和解耦表征
跨域推荐旨在利用从其它相关源域收集的用户-物品交互信息以提升目标域的推荐质量。传统的跨域推荐方法常常基于嵌入和映射（Embedding and Mapping，EMCDR） 的思路，这种方法在进行对齐操作之前，各领域需要先通过预训练以独立地得到用户/物品的embeddings。因此，有偏的（bias... ......
代码随想录-day3
字符串 字符串的题目，通常涉及到对字符串进行各种操作，由于JAVA提供了非常多的库函数，所以在很多题目中我们可以使用库函数快速使这道题解决，但是这与我们训练算法和编码能力相违背。 所以我们在本章专题里面，主要是使用我们自己构造的函数对字符串进行，操作加深我们对字符串操作的理解，当我们训练熟悉后可以使 ......
代码随想录-day1
链表 今天主要是把链表专题刷完了，链表专题的题目不是很难，基本都是考察对链表的操作的理解。 在处理链表问题的时候，我们通常会引入一个哨兵节点（dummy），dummy节点指向原链表的头结点。这样，当我们对头结点进行操作的时候就可以直接使用dummy节点，不用进行特判。 在对链表进行操作的时候 whi ......
代码随想录-day2
哈希表 基础知识 哈希表和链表都是属于基础数据结构的一种，都是必须掌握牢靠的知识。 哈希表是根据关键码的值而直接进行访问的数据结构。 简单来说就是使用数据得到的哈希值来作为哈希表的key用于获取数据。 用于求哈希值的的函数被我们称为哈希函数，通过哈希函数我们可以把数据映射到我们的哈希表上。 显然，在 ......
Optimum + ONNX Runtime: 更容易、更快地训练你的 Hugging Face 模型
介绍 基于语言、视觉和语音的 Transformer 模型越来越大，以支持终端用户复杂的多模态用例。增加模型大小直接影响训练这些模型所需的资源，并随着模型大小的增加而扩展它们。Hugging Face 和微软的 ONNX Runtime 团队正在一起努力，在微调大型语言、语音和视觉模型方面取得进步。 ......
取出预训练模型中间层的输出(pytorch)
1 遍历子模块直接提取 对于简单的模型，可以采用直接遍历子模块的方法，取出相应name模块的输出，不对模型做任何改动。该方法的缺点在于，只能得到其子模块的输出，而对于使用nn.Sequensial()中包含很多层的模型，无法获得其指定层的输出。 示例 resnet18取出layer1的输出 from ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
Pytorch：单卡多进程并行训练
在深度学习的项目中，我们进行单机多进程编程时一般不直接使用multiprocessing模块，而是使用其替代品torch.multiprocessing模块。它支持完全相同的操作，但对其进行了扩展。Python的multiprocessing模块可使用fork、spawn、forkserver三种方... ......
又一重要进展发布！OpenMMLab算法仓支持昇腾AI训练加速
摘要：上海人工智能实验室的浦视开源算法体系（OpenMMLab）团队基于昇腾AI发布了MMDeploy 0.10.0版本，该版本已支持OpenMMLab算法仓库在昇腾异构计算架构CANN上的推理部署。 本文分享自华为云社区《又一重要进展发布！OpenMMLab算法仓支持昇腾AI训练加速》，作者：昇腾 ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构三）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 结合 OP Storming 的实践 结合 OP Storming 的实践 业务模型 设计模型 代码实现 代码实现 HelloOrleans.Host Orleans.Providers ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构二）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 结合 OP Storming 的实践 结合 OP Storming 的实践 业务模型 设计模型 代码实现 业务模型 我们可以把关键对象（职位、客户行为记录、线索）参考为 actor 猎头 ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构一）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 为什么我们用 Orleans 分布式系统开发、测试的难度（服务发现、通信） 运维的复杂度（伸缩性与可靠性的保障） actor 拥有全局唯一身份 自动伸缩功能 Dapr VS Orlean ......
【机器学习】李宏毅——类神经网络训练不起来怎么办
如何判断导数值为零的点的类型 当发现训练数据集误差不再下降的时候，不是只有卡在局部最小值的情况，还有另外一种情况是处于鞍点，鞍点位置处虽然其导函数为零，但是其既不是局部最大值也不是局部最小值，如图： 因此，我们把局部最小值和鞍点这种点统称为驻点（critical point），但这两种情况是截然不同 ......
深度学习-网络训练流程说明
1.背景 分类神经网络模型：Mobilenetv3。 深度学习框架：PyTorch。 Mobilenetv3简单的手写数字识别： 任务输入：一系列手写数字图片，其中每张图片都是28x28的像素矩阵。 任务输出：经过了大小归一化和居中处理，输出对应的0~9数字标签。 项目参考代码：https://gi ......
图神经网络之预训练大模型结合：ERNIESage在链接预测任务应用
通过以上两个版本的模型代码简单的讲解，我们可以知道他们的不同点，其实主要就是在消息传递机制的部分有所不同。ERNIESageV1版本只作用在text graph的节点上，在传递消息(Send阶段)时只考虑了邻居本身的文本信息；而ERNIESageV2版本则作用在了边上，在Send阶段同时考虑了当前节... ......
label studio 结合 MMDetection 实现数据集自动标记、模型迭代训练的闭环
一个 AI 方向的朋友因为标数据集发了篇 SCI 论文，看着他标了两个多月的数据集这么辛苦，就想着人工智能都能站在围棋巅峰了，难道不能动动小手为自己标数据吗？查了一下还真有一些能够满足此需求的框架，比如 [cvat]、 [doccano] 、 [label studio]等，经过简单的对比后发现还... ......