手记chatglm cpp
手记系列之七 ----- 分享Linux使用经验
前言 本篇文章主要介绍的关于本人在使用Linux记录笔记的一些使用方法和经验，温馨提示，本文有点长，约1.7w字，几十张图片，建议收藏查看。 一、Linux基础使用 1，服务器查看及时日志 tail -500f catalina.out 2，如何退出logs日志 ctrl+c 或kill -9 pi ......
CPP操作符重载：operator T()
operator T()提供了一个本类型到T的隐式转换，不允许使用参数 `class B { private: int _b; public: B(int b):_b(b){} ~B(){} const int getB()const{return _b;} bool operator ==(B& ......
使用 Sealos 将 ChatGLM3 接入 FastGPT，打造完全私有化 AI 客服
FastGPT 是一款专为客服问答场景而定制的开箱即用的 AI 知识库问答系统。该系统具备可视化工作流功能，允许用户灵活地设计复杂的问答流程，几乎能满足各种客服需求。 在国内市场环境下，离线部署对于企业客户尤为重要。由于数据安全和隐私保护的考虑，企业通常不愿意将敏感数据上传到线上大型 AI 模型 ( ......
使用单卡v100 32g或更低显存的卡，使用peft工具qlora或lora混合精度训练大模型chatGLM2-6b，torch混合精度加速稳定训练,解决qlora loss变成nan的问题！
最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型 今天简单写个文档记录一下，顺便也是一个简单的教程，并且踩了qlora loss变成nan训练不稳定的问题 本教程并没有写lora的原理，需要的话自行查阅 1.chatG ......
转：ChatGLM3-6B测评
全新ChatGLM3-6B针对七项RAG能力的评测，谁最适合RAG？ 原创 这个男人来自千祥 土猛的员外 2023-10-30 17:32 发表于浙江 https://mp.weixin.qq.com/s/6fnZt2sBTakfXZMcS-scPA 1.实体提取 实体和关系提取当然也可以使用NER ......
MITK编译错误C2220 mitkLabelSetImageToSurfaceFilter.cpp
错误 C2220 以下警告被视为错误 (编译源文件 E:\0_MITK\MITK\Modules\Multilabel\mitkLabelSetImageToSurfaceFilter.cpp) [E:\0_MITK\MITK\SuperBuild\MITK-build\Modules\Multil ......
c++ .h头文件和.cpp源文件关系（转）
https://www.cnblogs.com/fengzhengfly/p/8884581.html https://blog.csdn.net/qq_35452533/article/details/77282326 头文件是声明，源文件是定义 在cpp里包含.h，就会包含该h文件的cpp定义， ......
再次安装android studio，随手记
1，确认java已经安装且版本复合要求且路径正确（系统或用户级） 2，在国内版google上下载安装包（有墙没办法） 3，安装android studio 4，启动后安装andriod sdk 5，安装gradle，很慢国内有腾讯镜像网站 6，安装虚拟手机的镜像文件 ......
pgsql create table,cpp fill psql table via the third party library pqxx
//create table t1; create table t1(id bigserial not null primary key,author varchar(40) not null,comment varchar(40) not null,content varchar(40) not ......
python 部署chatglm2b
下载模型实现 然后手动下载模型 GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b cd ChatGLM2-6B mkdir modelsglm && cd modelsglm vim downs.py # ......
cpp: vs 2022 文件头注释插件
下载插件安装 Doxygen Commentshttps://marketplace.visualstudio.com/items?itemName=FinnGegenmantel.doxygenComments 在工具--选项 进行设置 ......
[侯捷_CPP面向对象高级开发_上] 1 CPP编程简介
1. 需要具备的基础 曾经学过某种 procedural language (c) 变量 variables 类型 types ：int、float、char、struct 作用域 scope 循环 loops ：while、for 流程控制 ：if-else、switch-case 知道一个程序需 ......
【Cpp 语言基础】vector<int>::size_type死循环问题
今天写了一个将数组倒序打印出来的程序，用到了 vector<int>::size_type 类型但是出现了错误。 错误的原因：size_type是unsigned int类型不会减为负值。在for() 循环 index--下，由于size_type永不为负， index >=0 永远成立。 解决办法 ......
cpp笔记
cpp笔记 请见： 序言 现代 C++ 教程: 高速上手 C++ 11/14/17/20 - Modern C++ Tutorial: C++ 11/14/17/20 On the Fly (changkun.de) 1. 指针常量和常量指针 1.指针常量：不能修改指针所指向的地址。定义同时必须 ......
ubuntu vscode setting.json,c_cpp_properties.json
//settings.json { "configurations": [ { "name": "Linux", "includePath": [ "${workspaceFolder}/**", "/usr/include/c++/13", "/usr/include/x86_64-linux-g ......
QT mocs_compilation.cpp 中出现多重定义问题
在qt自动生成moc时，报自动生成的cpp中的方法重定义 redefinition of ‘const QMetaObject* xxx::metaObject() const’等等 查看mocs_compilation.cpp 发现其中有两行一样的cpp，这种情况大家可能会第一时间去排查是不是 . ......
Unity 打包il2cpp模式时的常见问题分析
Unity 编辑器模式下是采用.net 虚拟机解释执行.net 代码，发布的时候有两种模式，一种是mono虚拟机模式，一种是il2cpp模式。由于iOS AppStore规定不允许使用虚拟机，所以发布到iOS,Unity采用了il2cpp技术，把IL(.net字节码) 的代码转成c++代码，然后再用 ......
LLM探索：为ChatGLM2的gRPC后端增加连续对话功能
前言 之前我做 AIHub 的时候通过 gRPC 的方式接入了 ChatGLM 等开源大模型，对于大模型这块我搞了个 StarAI 框架，相当于简化版的 langchain ，可以比较方便的把各种大模型和相关配套组合在一起使用。 主要思路还是用的 OpenAI 接口的那套，降低学习成本，但之前为了快 ......
教你如何基于MindSpore进行ChatGLM微调
本文分享自华为云社区《基于MindSpore的ChatGLM微调》，作者： JeffDing 。 基于MindSpore的ChatGLM微调 克隆Hugging Face模型 克隆chatglm-6b代码仓，下载分布式的模型文件 git lfs install git clone https://h ......
CPP（正则表达式）
例如下面的代码，使用正则表达式去搜索 test_str 中第一个内容放回 results 中regex_search(test_str, results, r);所以我们需要构造 正则表达式 r构造方法：例如我们需要搜索的目标是 std::string 类型的 test_str = "receipt ......
基于 P-Tuning v2 进行 ChatGLM2-6B 微调实践
微调类型简介 1. SFT监督微调：适用于在源任务中具有较高性能的模型进行微调，学习率较小。常见任务包括中文实体识别、语言模型训练、UIE模型微调。优点是可以快速适应目标任务，但缺点是可能需要较长的训练时间和大量数据。 2. LoRA微调：通过高阶矩阵秩的分解减少微调参数量，不改变预训练模型参数，新 ......
【开源】给ChatGLM写个，Java对接的SDK
作者：小傅哥 - 百度搜 小傅哥bugstack 博客：bugstack.cn 沉淀、分享、成长，让自己和他人都能有所收获！😄 大家好，我是技术UP主小傅哥。 清华大学计算机系的超大规模训练模型 ChatGLM-130B 使用效果非常牛，所以我也想把这样的Ai能力接入到自己的应用中或者做一些 In ......
cpp中函数参数的默认值
title: aliases: tags: - cpp/函数 category: - 方法 stars: url: creation-time: 2023-10-09 19:24 modification-time: 2023-10-10 14:20:19 [[Cpp]] 函数的默认值写法： voi ......
使用GoogleTest框架进行cpp代码的基本单元测试
title: aliases: tags: - cpp/单元测试 - cmake - 工程技术 category: - 方法 stars: url: creation-time: 2023-10-11 19:02 modification-time: 这里主要介绍从 0 开始实现基本的单元测试功能。 ......
LLM采样后处理总结：LLM的后处理的cpp实现
LLM采样后处理总结：LLM的后处理的cpp实现 在经过LLM的lm_head之后，会得到[batch, vocab_size]大小的矩阵向量，此时需要对输出的逻辑张量进行采样，除了beam_search的贪心策略，还有repetition_penalty、temperature、top_k、top ......
vscode配置代码(cpp编译)
.vscode文件夹内为配置文件 launch.json program选项填写调试时二进制程序的路径 cwd为该文件内调试命令的工作路径 environment为传递给程序入口的参数 preLaunchTask为程序调试前执行的任务，填写对应Tasks的Label tasks.json label ......
【3rd_Party】Cpp 单元测试框架-gtest
Unit Test 和 gtest 介绍 单元测试（ Unit Test ，模块测试）是开发者编写的一小段代码，用于检验被测代码的一个很小的、很明确的功能是否正确，通过编写单元测试可以在编码阶段发现程序编码错误，甚至是程序设计错误。 单元测试不但可以增加开发者对于所完成代码的自信，同时，好的单元测试 ......
src/param.cpp:30:26: fatal error: gsl/gsl_blas.h: No such file or directory
001、问题：安装gemma软件报错 src/param.cpp:30:26: fatal error: gsl/gsl_blas.h: No such file or directory 002、解决方法， 安装gls a、官网下载 http://mirrors.ustc.edu.cn/gnu/g ......
socket.io-client-cpp与boost的编译、交叉编译
一、下载socket.io-client-cpp源码 git clone https://github.com/socketio/socket.io-client-cpp.git直接克隆，或者下载release版本源码 二、下载依赖的库rapidjson和websocketpp cd socket. ......
Jenkins基础流程手记
流程图 准备环境 一台宿主机 用来模拟CICD（jenkins、gitlab环境） 一台虚拟机（云服务器） 用来模拟生产环境 搭建CICD gitlab搭建 下载gitlab镜像 docker search gitlab-ce docker pull gitlab-ce 启动gitlab镜像 doc ......