梯度mini-batch batch mini
机器学习算法原理实现——使用交叉熵、梯度下降求解逻辑回归
交叉熵的定义以及和熵的区别？ 交叉熵是衡量两个概率分布之间的差异的一个度量。在机器学习和深度学习中，尤其是分类问题，交叉熵常被用作损失函数。交叉熵度量的是实际分布（标签）与模型预测之间的不一致程度。 这个值越小，模型的预测与真实分布越接近。完美的预测会有交叉熵为0，这是因为模型的预测概率分布与真实概 ......
Mac Mini Apple M1 2020 上构建Unity 2017/2018工程
对于Mac Mini Apple M1 2020来说，因为更新到了MacOS 13.4.1 ，在该设备上不能打开Unity 2017/2018了。所以采用另外的方式来构建ios版本：在windows10系统上导出ios build, 然后把该build拷贝到mac minini上来构建。尝试了该方式 ......
梯度下降算法入门
提到梯度下降我们知道梯度下降算法是很多机器学习算法、深度学习算法的基础。 首先我们需要明确一些概念什么是梯度： 梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。 梯度的数学定义可以看这里[ ......
Submit Tasks in Batch using ExecutorService
# Submit Tasks in Batch using ExecutorService http://www.javabyexamples.com/submit-tasks-in-batch-using-executorservice ## 1. Overview In this tutoria ......
RISCV-MINI cache小记
该cache映射策略为直接映射，采用写回（writeback）方式。 **需要注意的细节在于cpu-cache通过mask信号判断访存是读还是写，显然mask全0时为读。下图FSM中省略了dirty会影响状态转移，比如WriteCache到WriteBack，当cache块为dirty时才会触发aw ......
[fastllm]多线程下动态组batch实现解析
# [fastllm]多线程下动态组batch实现解析 ## 需求分析 新版本的fastllm中添加了ForwardBatch的功能，用于处理批量推理请求，单次推理请求会被视为batch为1的批量请求，这样做似乎没什么问题。 然而在具体实践中，用户的请求往往是一个一个来的，每来一个请求都要等上一个请 ......
iPhone 13 mini - 技术规格
iPhone 13 mini - 技术规格 推出年份：2021 年识别您的 iPhone 机型 外观 红色 星光色 午夜色 蓝色 粉色 绿色 超瓷晶面板、玻璃背板搭配铝金属边框 容量1 128GB 256GB 512GB 尺寸与重量2 宽度：64.2 毫米 (2.53 英寸) 高度：131.5 毫米 ......
Spring Boot + Spring Batch 实现批处理任务，保姆级教程！（场景实战）
来源：blog.csdn.net/qq_35387940/article/details/108193473 ## **前言** 概念词就不多说了，我简单地介绍下 ， spring batch 是一个 方便使用的 较健全的 批处理 框架。 为什么说是方便使用的，因为这是 基于spring的一个框架， ......
梯度消失
产生原因 激活函数采用sigmod或双曲正切函数时输入过大或则过小会导致其梯度接近于0 解决方案 采用Relu函数 输入数据归一化(批归一化)是所有输入数据落在梯度不为0的区间 合适的权值初始化策略 ......
2023-08-22 SAS数据集与Excel文件之间的批量转换 Batch File Exchange between SAS and Excel
参考资料：[Batch File Exchange between SAS and Excel - the Magic of Call Execute](https://support.sas.com/resources/papers/proceedings19/3114-2019.pdf) 我们经 ......
“梯度下降法”的原理
梯度下降法是一个用于优化多变量函数的迭代方法。在深度学习和机器学习中，通常用它来优化损失函数，从而找到一个模型的最优参数。 以下是梯度下降法的原理详解： 1. **目标**：我们的目标是找到函数\(f(\theta)\)的最小值，其中\(\theta\)是一个参数向量。在机器学习中，这个函数通常是损 ......
ITK 实例7 MHA格式文件进行带滤波三维的梯度强度提取
1 #include "itkImageFileReader.h" 2 #include "itkImageFileWriter.h" 3 #include "itkRescaleIntensityImageFilter.h" 4 #include "itkGradientMagnitudeRecu ......
ITK 实例6 PNG图像进行带滤波的二维梯度强度提取
微分是对一个数字数据的不规则操作。实际中可以方便地定义一个执行微分的比例。在执行这样的滤波时使用一个高斯核被认为是最便捷的选择。通过选择一个特定的高斯标准差(σ) ，就可以选择一个相应的比例来去除通常被认为是噪声的高频部分。 itk::GradientMagnitudeRecursiveGaussi ......
ITK 实例5 PNG图像进行不带滤波的二维梯度强度提取
图像梯度的强度广泛地应用在图像分析中，主要用来帮助检测对象轮廓和分离均匀区域。 itk::GradientMagnitudeImageFilter 使用一个简单的有限差分方式来计算图像中每个像素位置的梯度强度。例如：在二维情况下计算等同于将图像使用模块类型，如下所示：然后计算它们的平方和并计算和的平 ......
VTK 实例37：梯度算子（边缘检测）
1 #include "vtkAutoInit.h" 2 VTK_MODULE_INIT(vtkRenderingOpenGL2); 3 VTK_MODULE_INIT(vtkInteractionStyle); 4 5 #include <vtkSmartPointer.h> 6 #include ......
VTK 实例38：Sobel梯度算子（边缘检测）
1 #include "vtkAutoInit.h" 2 VTK_MODULE_INIT(vtkRenderingOpenGL2); 3 VTK_MODULE_INIT(vtkInteractionStyle); 4 5 #include <vtkSmartPointer.h> 6 #include ......
M2版Mac mini被京东杀到史低2888元！比苹果官网低1600
苹果跳水王M2版Mac mini又降价了。 根据京东官方百亿补贴频道显示，Mac mini 8+256GB入门版只要2888元了，比前不久的拼多多2959还低，刷新了这款电脑的史上最低价。 对比官网原价的4499元，直接跌掉超过1600元，已经非常值得入手。 尤其是Mac mini对比同价位的Win ......
【RL】第6课-随机近似与随机梯度下降-
第6课-随机近似与随机梯度下降 ## 6.1 Motivating examples ## Mean Estimation Revisit the mean estimation problem: - Consider a random variable $X$. - Our aim is to e ......
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
前言 LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 本文转载自DeepHub IMBA 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技 ......
苹果正在测试新款Mac mini：搭载M3芯片 配备24GB大内存
据悉苹果目前正在测试新的Mac机型，亮点是采用最新的M3芯片。 据报道，首款搭载M3芯片的设备应该是13英寸的MacBook Pro和重新设计的MacBook Air，Mac mini机型并不在名单上。 M3和M2同样拥有最多8个核心，分别为4个性能核和4个能效核，以及最多10核心的GPU，支持最大 ......
002-深度学习数学基础(神经网络、梯度下降、损失函数)
0. 前言 人工智能可以归结于一句话：针对特定的任务，找出合适的数学表达式，然后一直优化表达式，直到这个表达式可以用来预测未来。 针对特定的任务： 首先我们需要知道的是，人工智能其实就是为了让计算机看起来像人一样智能，为什么这么说呢？举一个人工智能的例子： 我们人看到一个动物的图片，就可以立刻知道这 ......
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 梯度检查点 梯度检查点是一种在神经网络训练过程中使动态计算只存储最小层数的技术。 为了理解这个过程，我们需要了解反向传播是如何执行的，以及 ......
[论文阅读] 颜色迁移-梯度保护颜色迁移
## [论文阅读] 颜色迁移-梯度保护颜色迁移 文章: [[Gradient-Preserving Color Transfer](https://onlinelibrary.wiley.com/doi/10.1111/j.1467-8659.2009.01566.x)], [[代码未公开]()] ......
强化学习——策略梯度之Reinforce
1、策略梯度介绍 相比与DQN，策略梯度方法的区别主要在于，我们对于在某个状态下所采取的动作，并不由一个神经网络来决定，而是由一个策略函数来给出，而这个策略函数的目的，就是使得最终的奖励的累加和最大，这也是训练目标，所以训练会围绕策略函数的梯度来进行。 2、策略函数 以Reinforce算法为例， ......
TabR:检索增强能否让深度学习在表格数据上超过梯度增强模型？
这是一篇7月新发布的论文，他提出了使用自然语言处理的检索增强Retrieval Augmented技术，目的是让深度学习在表格数据上超过梯度增强模型。 检索增强一直是NLP中研究的一个方向，但是引入了检索增强的表格深度学习模型在当前实现与非基于检索的模型相比几乎没有改进。所以论文作者提出了一个新的T ......
基于无监督训练SimCSE+In-batch Negatives策略有监督训练的语义索引召回
# 基于无监督训练SimCSE+In-batch Negatives策略有监督训练的语义索引召回 语义索引（可通俗理解为向量索引）技术是搜索引擎、推荐系统、广告系统在召回阶段的核心技术之一。语义索引模型的目标是：给定输入文本，模型可以从海量候选召回库中**快速、准确**地召回一批语义相关文本。语义索 ......
利用yock编写批处理脚本，替代batch和shell
在上一个文章当中，我们已经搭建出了yock基本的运行环境。本期，我将带大家进一步了解yock的使用。 在日常开发过程中，提到批处理语言，想必最先映入眼帘的一定是batch, shell为首的原生批处理脚本。无论是shell还是batch，对于不熟悉或者不习惯使用他的人来说无疑是一种灾难，在使用起来。 ......
PyTorch 中的多 GPU 训练和梯度累积作为替代方案
动动发财的小手，点个赞吧！ 在[本文](https://towardsdatascience.com/multiple-gpu-training-in-pytorch-and-gradient-accumulation-as-an-alternative-to-it-e578b3fc5b91 "So ......
从0开发属于自己的nestjs框架的mini 版 —— 终极篇
这篇其实是最简单的，就是将前面所实现的ioc，路由整合在一起就可以了 话不多说，直接上代码 > \src\koa-ioc.ts #### 引入相关库 ``` import Koa from "koa"; import koaRouter from "koa-router"; import { Con ......
从0开发属于自己的nestjs框架的mini 版 —— koa-decorator路由篇
这篇主要是实现路由注解，用过nestjs的都知道，其路由都是通过注解来实现的，如有控制器@Controller()，@Get()...等等，nestjs 底层框架可选 是expres或者是Fastify，在这里我选择 koa2。 话不多说，直接上代码 > src/koa-decorator.ts # ......