llama cpp
cpp-opt-mysql
title: c++ 操作mysql数据库 author: Tokisaki Galaxy top: false cover: false toc: true comments: true mathjax: false noindex: false sitemap: true date: 2020- ......
cpp-Array-element-count
title: C++数组元素个数计算 author: Tokisaki Galaxy top: false cover: false toc: true mathjax: false date: 2019-12-03 img: coverImg: excerpt: C++数组元素个数计算 tags: ......
cpp-project-calc-for-Average
title: 平均数及方差计算器 author: Tokisaki Galaxy top: false cover: false toc: true comments: true mathjax: false noindex: false sitemap: true date: 2020-08-26 ......
llama的hf源码结构
上一个博客我们看了rope. 那么llama的hidden_states就没啥难点了. 再整体把握一下hf里面llama的代码结构. 文件是:D:\Users\admin\miniconda3\Lib\site-packages\transformers\models\llama\modeling_ ......
llama的rope源码阅读
关键代码的理解: class LlamaRMSNorm(nn.Module): def __init__(self, hidden_size, eps=1e-6): """ LlamaRMSNorm is equivalent to T5LayerNorm """ super().__init__( ......
在灾难推文分析场景上比较用 LoRA 微调 Roberta、Llama 2 和 Mistral 的过程及表现
引言 自然语言处理 (NLP) 领域的进展日新月异，你方唱罢我登场。因此，在实际场景中，针对特定的任务，我们经常需要对不同的语言模型进行比较，以寻找最适合的模型。本文主要比较 3 个模型: RoBERTa、Mistral-7B 及 Llama-2-7B。我们用它们来解决一个常见问题 —— 对灾难相关 ......
cpp环境搭建 - VSCode创建CMakeLists项目
1) 先要安装插件CMake Tools 2) 没配置CMakeLists.txt前的项目文件，直接用之前配置的Build Task构建，会报main.cpp找不到头文件，因为它在./include/Test.h下，在main.cpp所在的文件夹搜肯定是没有的 3) 下面开始配置CMakeLists ......
cpp环境搭建 - vs2017编译CMakeLists项目（Box2dLite）
box2dlite地址：GitHub - erincatto/box2d-lite: A small 2D physics engine vs2017不支持utf-8 without bom问题 box2d lite的源码文件是utf-8 without bom的，如果在里面写了中文注释，就会出现编 ......
开发环境: googletest + abseil-cpp-20230802.1 + protobuf
googletest: mkdir build && cd build && cmake .. && sudo make -j16 install && cd .. abseil-cpp-20230802.1 cmake -DCMAKE_CXX_STANDARD=17 -DABSL_USE_EXTE ......
llama-factory fine-tuning 4 (mixtral fine-tuning)
introduction fine-tuning command click to view the code CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage sft \ --do_train \ --model_name_or_p ......
cpp: enum in C,C++
C: C11 以上 第一种方式： /** * @file duLangMap.h * @author geovindu,Geovin Du(geovindu@163.com) * @brief vscode c11 * @version 0.1 * @date 2023-12-18 * * @cop ......
cpp环境搭建 - MinGW和cmake安装
【MinGW】 MinGW主要用于在Windows上使用gnu下的相关编译工具，比如：gcc。 下载地址1：MinGW-w64 - for 32 and 64 bit Windows - Browse /mingw-w64 at SourceForge.net 下载地址2：Releases · ni ......
cpp环境搭建 - CLion下使用cmake编译项目
CLion是JetBrains旗下的一款cpp开发工具，用过IDEA的就知道JetBrains旗下的开发工具好用又强大。 这边使用了CLion的2021.2.2版本，为啥用这么老的版本？因为这个版本还能用ide-eval-resetter插件 下载地址：Other Versions - CLion ......
vscode编译多个C/CPP文件
修改vscode里面的tasks.json文件,下面是修改好的，参考 "args": [ "-fdiagnostics-color=always", "-g", //"${file}", //只执行当前文件 "${workspaceFolder}\\*.cpp", //工作区内，执行多个关联cpp文 ......
鲜花.cpp
ovo Never gonna give you up~ Never gonna let you down~ 昨天 T2 求调捏qwq 得分 \(55\)，分别在 #3，#5，#7 wa 了。 //transport #include<bits/stdc++.h> #define N 1010 #d ......
cpp configuration for vscode on Mac
直接运行 https://zhuanlan.zhihu.com/p/103308900 调试 //cpp_.... { "configurations": [ { "name": "Mac", "includePath": ["${workspaceFolder}/**"], "defines": ......
大模型那么火，教你一键Modelarts玩转开源LlaMA(羊驼)大模型
本文分享自华为云社区《大模型那么火，教你一键Modelarts玩转开源LlaMA(羊驼)大模型》，作者：码上开花_Lancer 。 近日， LlaMA(羊驼)这个大模型再次冲上热搜！ LLaMA（Large Language Model Meta AI），由 Meta AI 发布的一个开放且高效的大 ......
cpp mysql lmysqlcppconn call procedure
mysql> show create table t5; + + + | Table | Create Table | + + + | t5 | CREATE TABLE `t5` ( `id` bigint unsigned NOT NULL AUTO_INCREMENT, `name` varc ......
llama-factory fine-tuning 3
1 Introduction In this blog, we will use 3 dataset to fine-tuning our model using llama-factory. 2 dataset preparation 2.1 MedQA dataset (address) in ......
使用 PyTorch FSDP 微调 Llama 2 70B
引言 通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accelerate 和 TRL 库。我们还将展示如何在 SLURM 中使用 Accelerate。 完全分片数据并 ......
VS+QT联合编程序移动文件后遇到找不到XXX.h,XXX.cpp,XXX.ui
想把自己的模块在文件系统中弄得清楚一点，移动文件并删除文件夹，重新连接并且重新编译却出现了找不到XXX.文件的问题，而且多次出现，问题均为带ui的模块 之前怎么处理的我忘了，现在记录一下现在知道的方法： 1.用文本形式打开.vcxproj工程文件 2.搜索提示找不到的文件路径，发现有/原路径/xxx ......
【Cpp 语言基础】简单聊一聊to_string
头文件 ：#include<string> 功能：将数字常量转换为字符串 参数：value 返回值：转换好的字符串 重载版本： std::string to_string(int value); (1) (C++11起) std::string to_string(long value); (2) ......
cpp的编译过程
C++程序的编译过程通常分为四个主要步骤： 预处理（Preprocessing）：这个阶段主要处理源代码文件中的以“#”开头的预编译指令4。例如，对宏进行展开，对include的文件进行展开，处理条件编译选项判断，清理注释等。预处理后生成的文件通常以.i或.ii结尾2。 编译（Compilation ......
使用双卡/8卡3090微调llama2-70B/13B模型
写在前面 本篇博文将会教大家如何在消费级的设备（或者各种超级便宜的洋垃圾上）实现13B/70B等无法在单张消费级显卡上加载（但可以在一台机器上的多张卡上加载）的模型的微调。 由于绝大部分做实验，仅要求实现推理，或者在微调时没有资源上到全量/13B+级别的真·大模型的微调，没有涉及到将一个模型放在多张 ......
【Cpp 基础】泛型算法 stable_sort() 的应用
最近在刷牛客的题。经常遇到排序问题，经常有一个附加的规则：相同的数值的，按照录入的顺序排序。 可是C++的sort()的底层是快速排序，并不能保证相同数值的顺序不改变。所以最后我不得不自己写冒泡排序。（冒泡排序不改变相同数值的录入顺序） 写了那么多的排序，但是其实C++里封装有排序函数，而且功能非常 ......
opencv cpp的安装
搞了半天, 可算弄好了. vs opencv cpp: https://blog.csdn.net/weixin_50918736/article/details/130176469?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevan ......
使用8卡3090微调llama2-70B模型
写在前面 很多问题尚未弄清，还在进一步调整 目前已知 我用8卡的3090 采用deepspeed ZeRO3进行运行，下面是deepspeed3的配置 1 { 2 "fp16": { 3 "enabled": "auto", 4 "loss_scale": 0, 5 "loss_scale_wind ......
8卡3090GPU云服务器上采用VLLM部署中文llama2-70b模型及OpenAI格式接口
TigerBot-70b-4k-v4 推理部署 模型本地部署（基于HuggingFace) 根据实际测试，加载模型需要约129G显存，最低需要6张3090显卡（流水线并行） 如果使用vllm进行加速推理（张量并行），考虑8张3090显卡或者4张A100-40G（模型分割要求） 模型下载 截至目前，模 ......
深入解析LLaMA如何改进Transformer的底层结构
本篇文章将以LLaMA 模型为例，介绍大语言模型架构在Transformer 原始结构上的改进，并介绍Transformer 模型结构中空间和时间占比最大的注意力机制优化方法。 ......