手记chatglm cpp
ChatGLM2 源码解析：`ChatGLMModel`
 ```py # 完整的 GLM 模型，包括嵌入层、编码器、输出层 class ChatGLMModel(ChatG ......
ChatGLM2 源码解析：`GLMTransformer`
 ```py # 编码器模块，包含所有 GLM 块 class GLMTransformer(torch.nn.Mo ......
ChatGLM2 源码解析：`GLMBlock`
 ```py # GLM 块包括注意力层、FFN层和之间的残差 class GLMBlock(torch.nn.Mo ......
ChatGLM2 源码解析：`MLP`
 ```py class MLP(torch.nn.Module): """MLP. MLP will take ......
自留_CPP面向对象习题
# Question 第一部分 C++面向对象练习题 * **1** 定义盒子类Box，包括三个private类型数据成员x，y，z，分别代表其长、宽、高。类中包括有参构造函数，计算体积的private类型成员函数volume和public类型显示函数display。在主函数中，定义对象box1(1 ......
通过代理连接本地vscode和远程服务器手记
# 关键信息记录 ## 1. 在WSL实测`nc`可实现代理流量转发 ``` ssh -i key.pem @ -o "ProxyCommand=nc -X connect -x : %h %p" ``` ## 2. windows无法使用`nc`，通过修改 VS-Code Remote-SSH 插 ......
OpenALMusicPlayer.cpp:164:22: error: invalid conversion from ‘char’ to ‘const char*’ [-fpermissive]
编译时报错： OpenALMusicPlayer.cpp:164:22: error: invalid conversion from ‘char’ to ‘const char*’ [-fpermissive] 手动修改： 改为： const char* error = "\0"; 修改后效果： ......
【随手记】远程连接orcale数据库（PLSQL、Navicat）
> 如果不是为了图方便，最好在本地安装数据库 > 不过安装Orcale确实有点麻烦，而且数据库是共同使用的，远程连接弄好了可以省去很多时间。 # 具体操作 这里不说了，网上都有，直接搜索PLSQL或者Navicat远程连接数据库就行。 # 踩坑 这里说一下我遇到的问题吧，我先用navicat远程连接 ......
一次python和cpp的float32浮点乘法运算对齐
## 现象 ### 1. python Python 3.8.10 (default, Sep 28 2021, 16:10:42) [GCC 9.3.0] on linux ```python import numpy as np import struct f_hex = '3daaaaab' ......
【OpenCV】features2d_converters.cpp:2:10: fatal error: common.h: 没有那个文件或目录
Linux环境下使用opencv的dnn模块调用yolov4遇到的坑（纯CPU）一、问题描述Ubuntu安装opencv4.4，第一次编译完成安装成功，发现编译时少加了几个选项，于是重新编译，结果报如下错误：opencv_contrib-4.4.0/modules/xfeatures2d/test/ ......
报错test_features2d.cpp:51:10: fatal error: features2d/test/test_detectors_regression.impl.hpp: 没有那个文件
问题描述： ubuntu18.04安装opencv4.5.1+contrib 报错test_features2d.cpp:51:10: fatal error: features2d/test/test_detectors_regression.impl.hpp: 没有那个文件或目录 解决方法如题， ......
一、【ChatGLM-6B学习】-搭建一个简单的大模型
最近业务上需要用到大模型相关的知识，所以准备简单的搭建一个环境，详细的细节后面慢慢研究，现记录下搭建过程。至于为什么选择ChatGLM-6B,主要原因是它支持中英双语，同时支持离线部署，可以方便的构建本地化的问答知识库。 由于ChatGLM-6B对python版本有一定要求，目前要求3.7+版本，为 ......
解锁ChatGLM-6B的潜力：优化大语言模型训练，突破任务困难与答案解析难题
# 解锁ChatGLM-6B的潜力：优化大语言模型训练，突破任务困难与答案解析难题 LLM（Large Language Model）通常拥有大量的先验知识，使得其在许多自然语言处理任务上都有着不错的性能。 但，想要直接利用 LLM 完成一些任务会存在一些答案解析上的困难，如规范化输出格式，严格服从 ......
【Logging 日志库】Cpp 日志库 boost::log 以及 glog 的对比
日志能方便地诊断程序原因、统计程序运行数据，是大型软件系统必不可少的组件之一。本文将从设计上和功能上对比 C++ 语言常见的两款日志库： `boost::log` 和 `google-glog` 。 ## 设计 boost::log 的设计主要有日志器（ Logger ）、日志核心（ Logging ......
利用text-generation-webui快速搭建chatGLM2-6b/LLAMA2-7B-chat大模型运行环境
text-generation-webui 是一个基于Gradio的LLM Web UI开源项目，可以利用其快速搭建各种文本生成的大模型环境。 一、安装 text-generation-webui的readme其实已写得相当详细了，这里就不再重复，只说1个可能存在的坑： 安装 peft 安装卡住 r ......
《控制台篇》头文件h和源文件cpp的区别
# 头文件和源文件区别 参考链接：https://zhidao.baidu.com/question/940855602014421372.html 头文件和源文件在本质上没有任何区别。只不过一般： 后缀为.h 的文件是头文件，内含函数声明、宏定义、结构体定义等内容。 后缀为.c 的文件是源文件，内 ......
chatglm2-6b模型在9n-triton中部署并集成至langchain实践
本文将介绍我利用集团9n-triton工具部署ChatGLM2-6B过程中踩过的一些坑，希望可以为有部署需求的同学提供一些帮助。 ......
CentOS7 上安装部署chatglm2-6b
按照说明文档，先按照了最新版本的Python，官网下载了最新的版本3.11后，一顿操作感觉分分钟就安装完了。 但是继续安装chatglm2-6b 所需的依赖包时，就遇到了N多坑点，为了解决这些坑点，耗时真的很长（按周计算的那种）。 第一个坑点：安装Python时，没有带SSL： 解决办法：详细可以参 ......
ChatGLM2-6B 微调改变AI自我认知
一、前言 上篇说到ChatGLM2-6B及百川大模型的本地部署实战，实际商业项目中可能还需要在此基础上对模型进行相关微调再进行应用。本篇文章带大家微调入门教学。 注意：当前为AI技术高速发展期，技术更新迭代快，本文章仅代表作者2023年8月的观点。 上篇文章：ChatGLM2-6B清华开源本地部署 ......
ChatGLM2-6B清华开源本地部署
一、前言 随着科技的不断发展，人工智能作为一项新兴技术，已逐渐渗透到各行各业。 AI 技术发展迅速、竞争激烈，需要保持对新技术的关注和学习。 ChatGPT的强大无需多说，各种因素国内无法商用，本文仅探讨：ChatGLM2 、百川13B大模型。两者都可以免费本地部署和商用。 ChatGLM官网体验地 ......
chatglm.cpp使用手记
目前绝大多数LLM模型都是python实现的，运行速度有限（包括ChatGLM2-6b)，幸好有大神将其用C++重写了一遍，让运行速度大大提高。 项目地址：li-plus/chatglm.cpp: C++ implementation of ChatGLM-6B & ChatGLM2-6B (git ......
临床预测模型——告别手记
主题：预后模型 参考：https://mp.weixin.qq.com/s/rndEH1qvdg0YQ8nFJduHzw 参考文献如下：https://pubmed.ncbi.nlm.nih.gov/34246328/ 数据分析步骤： 开发验证队列：数据来源于德国、美国、澳大利亚三个国家的6家医疗和 ......
开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2等模型，开箱即用
# 开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2等模型，开箱即用  源码编译及安装 获取源码 $ git clone https://github.com/jbeder/yaml-cpp.git $ cd yaml-cpp && mkdir build && cd build && cmake .. && make && make install 使用样例： ......
使用阿里云微调chatglm2
完整的代码可以参考：https://files.cnblogs.com/files/lijiale/chatglm2-6b.zip?t=1691571940&download=true ```python # %% [markdown] # # 微调前 # %% model_path = "/mnt ......
在矩池云使用ChatGLM-6B & ChatGLM2-6B
ChatGLM-6B 和 ChatGLM2-6B都是基于 General Language Model (GLM) 架构的对话语言模型，是清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同发布的语言模型。模型有 62 亿参数，一经发布便受到了开源社区的欢迎，在中文语义理解和对话生成上有着 ......
【随手记】Mybatis报错 错误信息：ORA-00911: 无效字符
# 注意@param 注解是属于哪个包的 这个有的时候会有影响 接收不到参数 # xml里面不要加分号 查了半天Bug 最后发现是xml里面的sql语句后面加了个`;` ,删掉就好了。 ......
c/cpp: g++ 设置（fedora38）
c/cpp: g++ 设置（fedora38） 一、基本配置信息 [wit@fedora null]$ cat /etc/bashrc # /etc/bashrc # System wide functions and aliases # Environment stuff goes in /etc ......
阿里云部署 ChatGLM2-6B 与 langchain+chatGLM
# 1.ChatGLM2-6B 部署 - 更新系统 ``` apt-get update ``` - 安装git ``` apt-get install git-lfs git init git lfs install ``` - 克隆 ChatGLM2-6B 源码 ``` git clone ht ......
记录调试langchain-ChatGLM的坑
简介： chatGPT带火了今年的AI，ChatGLM-6B是清华大学知识工程和数据挖掘小组（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）发布的一个开源的对话机器人。根据官方介绍，这是一个千亿参数规模的 ......