梯度 动量mini-batch batch
2023-08-22 SAS数据集与Excel文件之间的批量转换 Batch File Exchange between SAS and Excel
参考资料：[Batch File Exchange between SAS and Excel - the Magic of Call Execute](https://support.sas.com/resources/papers/proceedings19/3114-2019.pdf) 我们经 ......
“梯度下降法”的原理
梯度下降法是一个用于优化多变量函数的迭代方法。在深度学习和机器学习中，通常用它来优化损失函数，从而找到一个模型的最优参数。 以下是梯度下降法的原理详解： 1. **目标**：我们的目标是找到函数\(f(\theta)\)的最小值，其中\(\theta\)是一个参数向量。在机器学习中，这个函数通常是损 ......
ITK 实例7 MHA格式文件进行带滤波三维的梯度强度提取
1 #include "itkImageFileReader.h" 2 #include "itkImageFileWriter.h" 3 #include "itkRescaleIntensityImageFilter.h" 4 #include "itkGradientMagnitudeRecu ......
ITK 实例6 PNG图像进行带滤波的二维梯度强度提取
微分是对一个数字数据的不规则操作。实际中可以方便地定义一个执行微分的比例。在执行这样的滤波时使用一个高斯核被认为是最便捷的选择。通过选择一个特定的高斯标准差(σ) ，就可以选择一个相应的比例来去除通常被认为是噪声的高频部分。 itk::GradientMagnitudeRecursiveGaussi ......
ITK 实例5 PNG图像进行不带滤波的二维梯度强度提取
图像梯度的强度广泛地应用在图像分析中，主要用来帮助检测对象轮廓和分离均匀区域。 itk::GradientMagnitudeImageFilter 使用一个简单的有限差分方式来计算图像中每个像素位置的梯度强度。例如：在二维情况下计算等同于将图像使用模块类型，如下所示：然后计算它们的平方和并计算和的平 ......
VTK 实例37：梯度算子（边缘检测）
1 #include "vtkAutoInit.h" 2 VTK_MODULE_INIT(vtkRenderingOpenGL2); 3 VTK_MODULE_INIT(vtkInteractionStyle); 4 5 #include <vtkSmartPointer.h> 6 #include ......
VTK 实例38：Sobel梯度算子（边缘检测）
1 #include "vtkAutoInit.h" 2 VTK_MODULE_INIT(vtkRenderingOpenGL2); 3 VTK_MODULE_INIT(vtkInteractionStyle); 4 5 #include <vtkSmartPointer.h> 6 #include ......
【RL】第6课-随机近似与随机梯度下降-
第6课-随机近似与随机梯度下降 ## 6.1 Motivating examples ## Mean Estimation Revisit the mean estimation problem: - Consider a random variable $X$. - Our aim is to e ......
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
前言 LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 本文转载自DeepHub IMBA 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技 ......
行业ETF动量轮动策略
6月底回测了 EarlETF 大佬的《[行业动量策略](https://mp.weixin.qq.com/s/DTnPgUItMHGVye3tUwPbKQ "行业动量策略")》，结果确实不错，而且最近两年的超额比较高。但是今年没有跑过沪深300。 
0. 前言 人工智能可以归结于一句话：针对特定的任务，找出合适的数学表达式，然后一直优化表达式，直到这个表达式可以用来预测未来。 针对特定的任务： 首先我们需要知道的是，人工智能其实就是为了让计算机看起来像人一样智能，为什么这么说呢？举一个人工智能的例子： 我们人看到一个动物的图片，就可以立刻知道这 ......
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 梯度检查点 梯度检查点是一种在神经网络训练过程中使动态计算只存储最小层数的技术。 为了理解这个过程，我们需要了解反向传播是如何执行的，以及 ......
[论文阅读] 颜色迁移-梯度保护颜色迁移
## [论文阅读] 颜色迁移-梯度保护颜色迁移 文章: [[Gradient-Preserving Color Transfer](https://onlinelibrary.wiley.com/doi/10.1111/j.1467-8659.2009.01566.x)], [[代码未公开]()] ......
强化学习——策略梯度之Reinforce
1、策略梯度介绍 相比与DQN，策略梯度方法的区别主要在于，我们对于在某个状态下所采取的动作，并不由一个神经网络来决定，而是由一个策略函数来给出，而这个策略函数的目的，就是使得最终的奖励的累加和最大，这也是训练目标，所以训练会围绕策略函数的梯度来进行。 2、策略函数 以Reinforce算法为例， ......
TabR:检索增强能否让深度学习在表格数据上超过梯度增强模型？
这是一篇7月新发布的论文，他提出了使用自然语言处理的检索增强Retrieval Augmented技术，目的是让深度学习在表格数据上超过梯度增强模型。 检索增强一直是NLP中研究的一个方向，但是引入了检索增强的表格深度学习模型在当前实现与非基于检索的模型相比几乎没有改进。所以论文作者提出了一个新的T ......
基于无监督训练SimCSE+In-batch Negatives策略有监督训练的语义索引召回
# 基于无监督训练SimCSE+In-batch Negatives策略有监督训练的语义索引召回 语义索引（可通俗理解为向量索引）技术是搜索引擎、推荐系统、广告系统在召回阶段的核心技术之一。语义索引模型的目标是：给定输入文本，模型可以从海量候选召回库中**快速、准确**地召回一批语义相关文本。语义索 ......
利用yock编写批处理脚本，替代batch和shell
在上一个文章当中，我们已经搭建出了yock基本的运行环境。本期，我将带大家进一步了解yock的使用。 在日常开发过程中，提到批处理语言，想必最先映入眼帘的一定是batch, shell为首的原生批处理脚本。无论是shell还是batch，对于不熟悉或者不习惯使用他的人来说无疑是一种灾难，在使用起来。 ......
PyTorch 中的多 GPU 训练和梯度累积作为替代方案
动动发财的小手，点个赞吧！ 在[本文](https://towardsdatascience.com/multiple-gpu-training-in-pytorch-and-gradient-accumulation-as-an-alternative-to-it-e578b3fc5b91 "So ......
multi-GPU环境下的batch normalization需要特殊实现吗？
3年前曾经写过关于分布式环境下batch normalization是否需要特殊实现的讨论： batch normalization的multi-GPU版本该怎么实现？ 【Tensorflow 分布式PS/Worker模式下异步更新的情况】 当时我给出的观点就是在多卡环境下batch normali ......
OpenFoam——计算单元网格梯度（gradf）
计算流程如下：  代码如下： ```c++ Foam::fv::gaussGrad::gradf ( c ......
CFD——使用扩展法计算网格梯度
## 求解流程  在高斯格林公式中，需要用到phi_f，以下是求解phi_f1的步骤（这里只给出phi_f ......
CFD——非结构网格梯度计算（中心法修正）
将f'作为CF（及单元C质心与周围单元质心）的中点 计算流程如下  代码实现 ```python # 非 ......
CFD——非结构网格梯度计算（不修正）
 本案例在计算非结构网格的梯度时，不使用修正方法。将直接使用f'处的∅值 计算流程 
# 动量(momentum) 动量类似于物理中的运动物体具有惯性，下一个时刻的运动方向，会与上个时刻的运动方向有关。 梯度下降的过程中，参数w朝着损失函数的偏导数的方向迭代，也就是下降得最快方向。  cube使用双passshader： cube使用同材质，同shader，不勾选static：完全不合批，batch：基础的2个batch + 6个cube * 2个pass，s ......
batch
batch 在系统不繁忙的时候执行定时任务 ## 补充说明 **batch命令** 用于在指定时间，当系统不繁忙时执行任务，用法与at相似。 ### 语法 ```shell batch(选项)(参数) ``` ### 选项 ```shell -f：指定包含具体指令的任务文件； -q：指定新任务的队列 ......
How to save a web page as a long screenshot in its entirety? How to save a batch of screenshots of web pages? High-definition pictures, multiple formats
How to save a web page as a long screenshot in its entirety? How to save a batch of screenshots of web pages? High-definition pictures, multiple forma... ......