ChatGLM
聊聊ChatGLM-6B源码分析(二)
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ ChatGLMPreTrainedModel 官方的描述是 处理权重初始化的抽象类，以及下载和加载预训练模型的接 ......
聊聊ChatGLM中P-tuning v2的应用
论文PDF地址：https://arxiv.org/pdf/2110.07602.pdf 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ P-Tuning v2 摘录自第三部分 桔色块指代可训练的prompt embedding；蓝色块是由固定(冻结) ......
聊聊ChatGLM-6B的源码分析
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ PrefixEncoder 作用：在微调时（以P-Tuning V2为例），方法训练时冻结模型的全部参数，只激活 ......
聊聊 从源码来看ChatGLM-6B的模型结构
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 概述 ChatGLM是transformer架构的神经网络模型，因此从transformer结构入手，分析其源码结构。 transformer结构： 转载请备注出处：https://www.cnblogs.c ......
聊聊ChatGLM6B的微调脚本及与Huggingface的关联
本文首先分析微调脚本trainer.sh的内容，再剖析ChatGLM是如何与Huggingface平台对接，实现transformers库的API直接调用ChatGLM模型，最后定位到了ChatGLM模型的源码文件。 脚本分析 微调脚本： PRE_SEQ_LEN=128 LR=2e-2 CUDA_V ......
聊聊ChatGLM-6B部署与微调的深入理解
ChatGLM的部署，主要是两个步骤： 在Github上下载chatglm的库文件 在Hugging Face上下载模型参数与配置文件 ChatGLM包 从Github上看ChatGLM项目文件的结构来看，仅仅是包含三种部署方式的py代码与微调的py代码 而相关的实现细节，比如神经网络、激活函数、损 ......
使用vLLM和ChatGLM3-6b批量推理
当数据量大的时候，比如百万级别，使用 ChatGLM3-6b 推理的速度是很慢的。发现使用 vLLM 和 ChatGLM3-6b 批量推理极大的提高了推理效率。本文主要通过一个简单的例子进行实践。 1.安装 vLLM 和PyTorch [2] 除了 Python（本文使用 3.11）、CUDA（本文 ......
记Linux跑ChatGLM2的坑
记录一下踩过的坑… 0. 环境配置: 全程国内网 Ubuntu 20.04 with Python 3.8 and CUDA 12.2 RTX3060 Laptop (6G) 1. ChatGLM的下载: # clone 仓库 git clone https://gitclone.com/githu ......
ChatGLM2-6B模型的微调
概述 GLM模型底层还是基于Transformer，因此其设计、优化都是围绕Transformer的各个组件的。从注意力层的掩码、位置编码等方面优化与设计。 ChatGLM3/ChatGLM2的源码中，比如finetune、trainer等代码，其实是copy自HuggingFace，而且其使用流程 ......
ChatGLM 模型部署
ChatGLM 模型部署 模型地址： huggingface：https://huggingface.co/THUDM/chatglm3-6b modelscope：https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary 搭建环境 # 下载代 ......
结合SK和ChatGLM3B+whisper+Avalonia实现语音切换城市
结合SK和ChatGLM3B+whisper+Avalonia实现语音切换城市 先创建一个Avalonia的MVVM项目模板,项目名称GisApp 项目创建完成以后添加以下nuget依赖 <PackageReference Include="Mapsui.Avalonia" Version="4.1 ......
使用Langchain与ChatGLM实现本地知识库（二）
大语言模型也只是将用户提供的大规模数据集训练而来，也并非万能的什么都知道，特别是一些小众知识、内部数据或私密的个人数据等，此时ChatGLM3肯定会胡乱回答就是ChatGPT4也不一定能给出满意回答；不少公司、个人都有自己的知识库或日志等此时如有可将这些数据以某种方式挂在大模型上此时在知识库存在的知 ......
使用LangChain与ChatGLM实现本地知识库（一）
本篇主要内容为介绍ChatGLM3的安装使用，后续才会涉及到使用LangChain实现本地知识库的内容； ChatGLM为智谱与清华大学开源的一个大语言模型，支持多轮对话、内容创作等，ChatGLM3-6B为ChatGLM3系列中门槛相对较低的一个，本地部署提供兼容OpenAI的API； LangC ......
部署一个本地的聊天机器人-基于ChatGLM3
部署一个本地的聊天机器人-基于ChatGLM3 预备 理论上来说 8G及以上显存的英伟达GPU 笔者的设备 RTX 4060Ti (16G显存) Archlinux Python 3.10.10 ChatGLM3 代码版本 33953b119e7 开整 下载ChatGLM3 ChatGLM3 是智谱 ......
为美好的世界献上佐罗兔（2）基于docker安装ChatGLM3
佐罗兔——rabbitzorro 首先我找了一个B站的教学视频，但是他不是基于Docker的 https://www.bilibili.com/video/BV1gN4y1r7RX 作者一看就是专业讲课的，说三句水两句，不过教程的结构还是可以借鉴的。 我的PC配置： N卡RTX3060 12GB板、 ......
chatglm3-6b尝试
十月底智谱开元路chatglm3，果断来尝试一下。 1.ChatGLM3 亮点 ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，Chat ......
ChatGLM3-6B：新一代开源双语对话语言模型，流畅对话与低部署门槛再升级
ChatGLM3-6B：新一代开源双语对话语言模型，流畅对话与低部署门槛再升级 1.ChatGLM3简介 ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多 ......
通义千问, 文心一言, ChatGLM, GPT-4, Llama2, DevOps 能力评测
引言 “克隆 dev 环境到 test 环境，等所有服务运行正常之后，把访问地址告诉我”，“检查所有项目，告诉我有哪些服务不正常，给出异常原因和修复建议”，在过去的工程师生涯中，也曾幻想过能够通过这样的自然语言指令来完成运维任务，如今 AI 助手 Appilot 利用 LLM 蕴藏的神奇力量，将这一 ......
ChatGLM.cpp的量化处理
chatglm.cpp的一个主要特点就是以量化的形式对大模型进行优化，使其在CPU上能够进行高效推理。 本文主要查看chatglm.cpp是如何对模型进行量化的 chatglm.cpp在使用时主要分成两步： 使用convert.py将模型进行量化，得到ggml格式 使用./build/bin/mai ......
ChatGLM2 源码解析：`ChatGLMTokenizer`
import os import torch from typing import List, Optional, Union, Dict from sentencepiece import SentencePieceProcessor from transformers import PreTra ......
Langchain-Chatchat项目：5.1-ChatGLM3-6B工具调用
在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在10B以下的基础模型中最强的性能。ChatGLM3-6B采用了全新设计的Prompt格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpret ......
使用 OKhttp3 实现 ChatGLM HTTP 调用(SSE、异步、同步)
目录1. 准备工作2. SSE 调用3. 异步调用4. 同步调用5. 附录5.1 组装鉴权 token5.2 接口请求参数 为了熟悉下 OKhttp 和 ChatGLM 接口，写几个 demo 试试 1. 准备工作 从 ChatGLM 的接口文档可知，每次 HTTP 调用都需要带上一个鉴权 toke ......
ChatGLM3本地部署
如何用免费GPU线上跑AI项目实践 - 飞书云文档 (feishu.cn) 准备步骤： 1.配置好环境pytorch2.0.1 python3.9 2.进入JupyterLab进入开发环境 3.将glm3从开源项目中git下来，这里在terminal输入指令后，输入github的账号密码进行git。 ......
使用 Sealos 将 ChatGLM3 接入 FastGPT，打造完全私有化 AI 客服
FastGPT 是一款专为客服问答场景而定制的开箱即用的 AI 知识库问答系统。该系统具备可视化工作流功能，允许用户灵活地设计复杂的问答流程，几乎能满足各种客服需求。 在国内市场环境下，离线部署对于企业客户尤为重要。由于数据安全和隐私保护的考虑，企业通常不愿意将敏感数据上传到线上大型 AI 模型 ( ......
使用单卡v100 32g或更低显存的卡，使用peft工具qlora或lora混合精度训练大模型chatGLM2-6b，torch混合精度加速稳定训练,解决qlora loss变成nan的问题！
最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型 今天简单写个文档记录一下，顺便也是一个简单的教程，并且踩了qlora loss变成nan训练不稳定的问题 本教程并没有写lora的原理，需要的话自行查阅 1.chatG ......
转：ChatGLM3-6B测评
全新ChatGLM3-6B针对七项RAG能力的评测，谁最适合RAG？ 原创 这个男人来自千祥 土猛的员外 2023-10-30 17:32 发表于浙江 https://mp.weixin.qq.com/s/6fnZt2sBTakfXZMcS-scPA 1.实体提取 实体和关系提取当然也可以使用NER ......
python 部署chatglm2b
下载模型实现 然后手动下载模型 GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b cd ChatGLM2-6B mkdir modelsglm && cd modelsglm vim downs.py # ......
LLM探索：为ChatGLM2的gRPC后端增加连续对话功能
前言 之前我做 AIHub 的时候通过 gRPC 的方式接入了 ChatGLM 等开源大模型，对于大模型这块我搞了个 StarAI 框架，相当于简化版的 langchain ，可以比较方便的把各种大模型和相关配套组合在一起使用。 主要思路还是用的 OpenAI 接口的那套，降低学习成本，但之前为了快 ......
教你如何基于MindSpore进行ChatGLM微调
本文分享自华为云社区《基于MindSpore的ChatGLM微调》，作者： JeffDing 。 基于MindSpore的ChatGLM微调 克隆Hugging Face模型 克隆chatglm-6b代码仓，下载分布式的模型文件 git lfs install git clone https://h ......