transformer模型gpt
DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍
DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍 1. 概述 近日来，ChatGPT及类似模型引发了人工智能（AI）领域的一场风潮。 这场风潮对数字世界产生了革命性影响。ChatGPT类模型具有惊人的泛用性，能够执行归纳、编程、翻译等任务，其结果与人 ......
css盒子模型
1、介绍 所有HTML元素可以看作盒子，包括： 外边距margin 边框border 内边距（填充）padding 实际内容：显示文本和图像，指定元素的width和height属性实际就是内容的宽度和高度 2、边框 （1）border-style样式 none:默认无边框 dashed 虚线边框 s ......
MATLAB用GARCH-EVT-Copula极值理论模型VaR预测分析股票投资组合|附代码数据
全文链接：http://tecdat.cn/?p=30426 最近我们被客户要求撰写关于GARCH-EVT-Copula的研究报告，包括一些图形和统计输出。 对VaR计算方法的改进，以更好的度量开放式基金的风险。本项目把基金所持股票看成是一个投资组合，引入Copula来描述多只股票间的非线性相关性， ......
R语言多元（多变量）GARCH ：GO-GARCH、BEKK、DCC-GARCH和CCC-GARCH模型和可视化|附代码数据
全文链接：http://tecdat.cn/?p=30647 最近我们被客户要求撰写关于GARCH 的研究报告，包括一些图形和统计输出。 从Engle在1982发表自回归条件异方差(ARCH)模型的论文以来，金融时间序列数据的波动性就倍受关注。同时，近几年又出现了研究股票市场的波动传递性 多市场的多 ......
用COPULA模型进行蒙特卡洛(MONTE CARLO)模拟和拟合股票收益数据分析|附代码数据
全文下载链接：http://tecdat.cn/?p=24535 最近我们被客户要求撰写关于COPULA的研究报告，包括一些图形和统计输出。 最近，copula 在仿真模型中变得流行起来。Copulas 是描述变量之间依赖关系的函数，并提供了一种创建分布以对相关多元数据建模的方法 使用 copula ......
Matlab基于SEIRD模型，NSIR预测模型，AHP层次分析法新冠肺炎预测与评估分析
全文链接：http://tecdat.cn/?p=32175 原文出处：拓端数据部落公众号 分析师：Jiahui Zhao 新型冠状病毒肺炎COVID-19 给中国乃至全世界都带来了深重的灾难，对世界经济也造成了不可逆的影响。该病毒传染性强、危害较大，需要我们高度警惕。国内目前疫情基本得到控制，但是 ......
降雨预报模型和洪水预报模型的区别
降雨预报模型是预测降雨，如WRF模型。 洪水预报模型是预测洪水，如径流预报模型、新安江模型等。 参考1：https://www.bilibili.com/video/BV15R4y1V7uu/ 参考2：https://wenku.baidu.com/view/74f4b21700d8ce2f0066 ......
Auto-GPT尝鲜使用
Auto-GPT尝鲜使用 注：部署所需：OpenAI的API Key 1. Auto-GPT本地部署 1.1. 环境准备 需要Python环境，Python版本建议>=3.8(官方写的>=3.10) 建议用Conda（Minconda或Anaconda）创建单独的虚拟环境 Git：有没有无所谓了 1 ......
服務器掛的gpt3升級 3.5
您可以先将旧版 chatgpt-bot-telegram 文件夹更名为其他名称，以免出现冲突。使用以下命令将其更名为 "chatgpt-bot-telegram-old"： 复制 mv chatgpt-bot-telegram chatgpt-bot-telegram-old 接下来，再使用 git ......
使用 Transformers 进行图分类
在之前的 博文 中，我们探讨了图机器学习的一些理论知识。这一篇我们将探索如何使用 Transformers 库进行图分类。(你也可以从 此处 下载演示 notebook，跟着一起做！) 目前，Transformers 中唯一可用的图 transformer 模型是微软的 Graphormer，因此本 ......
LoRA（Low-Rank Adaptation of Large Language Models）-- 一种大模型prompt-tuning调优方法
一、Pre-train + Fine-tuning范式 0x1：为什么要微调 对于数据集本身很小（几千张图片/几千段文本）的情况，从头开始训练具有几千万参数的大型神经网络是不现实的，因为越大的模型对数据量的要求越大，过拟合无法避免。这时候如果还想用上大型神经网络的超强特征提取能力，只能靠微调已经训练 ......
R数据分析：生存数据的预测模型建立方法与评价
之前写了生存分析列线图的做法，列线图作为一个预测模型可视化工具，我们使用它的过程其实就是一个给新数据做预测的过程，其内在本身的模型就是我们基于现有数据训练的一个预测模型，今天也算是接着上一篇文章继续写生存分析的预测模型的效果评价。 生存数据预测模型和我们之前写的连续变量结局和分类结局的预测模型不同的 ......
大模型入门（三）—— 单张A100微调LLAMA-7B
单张V100的GPU内存只有16G，LLAMA-7B模型大小就有约27G，在单张16G的V100上微调LLAMA-7B呢？这里需要用到几个技巧：1）lora微调；2）混合精度训练；3）梯度累积。目前github上已经有不少用lora微调llama的代码，但基本都是完全基于hugging face的库 ......
走向更好的指令伴随的汉语语言模型：研究训练数据和评估的影响
Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation 论文地址：https://arxiv.org/pdf/ ......
# threejs 加载第三方模型
threejs 加载第三方模型 接专栏的上一篇博文，这是加载第三方模型相关的。这篇博文拖了很久了哈，简单说一下吧，本来不想写了的，觉得相对来说比较简单，但是还是稍微一扯。为啥要加载第三方呢，上一篇我们绘制的小立方体很简单啊，但是有一些模型可能比较复杂，比如一辆小汽车，一个大楼，我们用代码一行一行的写 ......
软件行业迫切需要基于正向生成的编码模型
软件行业长期面临生产率瓶颈。程序员的工作强度已经接近极限。软件行业迫切需要一个完整的正向生成编码模型与之对应，真正实现「说需求，出系统」的软件生产自动化新范式 ......
基于LLaMA的指令微调模型--Alpaca（大羊驼），Vicuna（小羊驼）
Alpaca-7B 文章：https://crfm.stanford.edu/2023/03/13/alpaca.html 想要在预算内训练一个高质量的指令微调模型，就必须面临2个重要的挑战： 一个强大的预训练语言模型 LLaMA 一个高质量的指令遵循数据 Self-Instruct: Aligni ......
3D轻量化引擎推出新技术，模型渲染更逼真！
HOOPS Communicator在2021版本中，推出了基于PBR（Physically Based Rendering）的渲染特性以提供更高质量的渲染技术。 PBR将材料表示为一系列方程，这些方程对光如何从表面反射进行建模，再通过GPU上运行的着色器代码进行有效地实现。 一、工程领域可视化问题 ......
生成式模型与辨别式模型
分类模型可以分为两大类:生成式模型与辨别式模型。本文解释了这两种模型类型之间的区别，并讨论了每种方法的优缺点。 完整文章： https://avoid.overfit.cn/post/9dc20966c4824be18ef7e9fd1acabe51 ......
支持多模型数据分析探索的存算分离湖仓一体架构解析（下）
当企业需要建设独立的数据仓库系统来支撑BI和分析业务时，有了“数据湖+数据仓库”的混合架构。但混合架构带来了更高的建设成本、管理成本和业务开发成本。随着大数据技术的发展，通过在数据湖层增加分布式事务、元数据管理、极致的SQL性能、SQL和数据API接口能力，企业可以基于统一的架构来同时支持数据湖和数 ......
asp.net core系列 26 EF模型配置(实体关系)
一.概述 EF实体关系定义了两个实体互相关联起来(主体实体和依赖实体的关系，对应数据库中主表和子表关系)。 在关系型数据库中，这种表示是通过外键约束来体现。本篇主要讲一对多的关系。先了解下描述关系的术语。 (1) 依赖实体： 这是包含外键属性的实体(子表)。有时称为 child 。 (2) 主体实体 ......
Unity CharacterController的transform赋值无效（一直下落）问题
题 使用 CharacterController 后 ， 坐标系统会变得混乱，这个是上期说过的问题，各系统之间使用自己的缓存来保持数据，玩家为了模拟重力 不得不持续进行运算。 这样就会令其他坐标操作指令出现无效化或者混乱 unity 也提供了一个简单的解决方案 就是每计算一次之前 都去同步其他坐标操 ......
Chat GPT对接Telegram全过程，保姆级教程
好，首先我们还是来看一下对接的条件： 1、 有一台服务器，必须是国外的 2、一个注册好ChatGPT 账号，需要账号里的API。 API格式为sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 3、只需要一个Telegram账号即可，用来注册并且管理Telegram机 ......
第一章 CLR执行模型
1.程序的编译 所有支持CLR的语言都会使用其编译器将源代码编译为托管模块； 什么是托管模块？ 托管模块是需要CLR才能执行标准的PE文件。 PE文件就是可以被执行或者间接执行的可移植执行体(在windows之间可移植)。如.exe,.dll文件等。 但C/C++生成的.exe或者dll并不是托管模 ......
非线性混合效应 NLME模型对抗哮喘药物茶碱动力学研究|附代码数据
全文下载链接：http://tecdat.cn/?p=24074 最近我们被客户要求撰写关于非线性混合效应 NLME模型的研究报告，包括一些图形和统计输出。 茶碱数据文件报告来自抗哮喘药物茶碱动力学研究的数据。给 12 名受试者口服茶碱，然后在接下来的 25 小时内在 11 个时间点测量血清浓度 h ......
优化故事: BLOOM 模型推理
经过“九九八十一难”，大模型终于炼成。下一步就是架设服务，准备开门营业了。真这么简单？恐怕未必！行百里者半九十，推理优化又是新的雄关漫道。如何进行延迟优化？如何进行成本优化 (别忘了 OpenAI 8K 上下文的 GPT-4 模型，提示每 1000 词元只需 0.03 美金，补全每 1000 词元只 ......
模型剪枝
细粒度划分： 根据修剪的最小单位区分方法 非结构性剪枝：权重剪枝、向量剪枝、kernel剪枝，这些剪枝算法可以造成模型结构的不规则化，所以这些方法需要特殊的硬件设计来支持稀疏操作，但是这些模型剪枝较为精细，所以剪枝后精度较高。 结构性剪枝：卷积核剪枝、通道剪枝和层级剪枝，只需改变网络中卷积核和特征通 ......
基于遗传算法的电动汽车规划 建立电动汽车概率出行模型 该模型考虑路网
基于遗传算法的电动汽车规划 建立电动汽车概率出行模型 该模型考虑路网 考虑到了排队时间 出行时间等 然后以投资成本和时间成本最优为目标 优化电动汽车的建设位置 采用遗传方式求解 ID:1550673508239240 ......
css-2(盒子模型)
页面布局三大核心：盒子模型、浮动，定位 网页布局的本质：每个网页都是有盒子组成的，步骤：准备标签，设置样式，放入内容 盒子模型：用来装内容的，包括边框（border），内边距（padding），外边距（margin），实际内容（content） border（边框）：边框宽度（border-widt ......