chatglm3 chatglm fastgpt sealos
聊聊ChatGLM-6B源码分析(二)
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ ChatGLMPreTrainedModel 官方的描述是 处理权重初始化的抽象类，以及下载和加载预训练模型的接 ......
聊聊ChatGLM中P-tuning v2的应用
论文PDF地址：https://arxiv.org/pdf/2110.07602.pdf 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ P-Tuning v2 摘录自第三部分 桔色块指代可训练的prompt embedding；蓝色块是由固定(冻结) ......
聊聊ChatGLM-6B的源码分析
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ PrefixEncoder 作用：在微调时（以P-Tuning V2为例），方法训练时冻结模型的全部参数，只激活 ......
聊聊 从源码来看ChatGLM-6B的模型结构
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 概述 ChatGLM是transformer架构的神经网络模型，因此从transformer结构入手，分析其源码结构。 transformer结构： 转载请备注出处：https://www.cnblogs.c ......
客服系统接入FastGPT
接入FastGPT 点击【应用】【外部使用】【API访问】【新建】新建一个KEY，同时也可以看到我们的API根地址 这个根地址和Key可以填入任何支持OpenAI接口的应用里，这个接口是兼容OpenAI格式。 在客服系统【知识库AI配置】里填上接口地址和接口密钥。这样我们的客服系统就对接好了Fast ......
聊聊ChatGLM6B的微调脚本及与Huggingface的关联
本文首先分析微调脚本trainer.sh的内容，再剖析ChatGLM是如何与Huggingface平台对接，实现transformers库的API直接调用ChatGLM模型，最后定位到了ChatGLM模型的源码文件。 脚本分析 微调脚本： PRE_SEQ_LEN=128 LR=2e-2 CUDA_V ......
使用 Sealos 一键部署 Kubernetes 集群
Sealos 是一款以 Kubernetes 为内核的云操作系统发行版，使用户能够像使用个人电脑一样简单地使用云。 与此同时，Sealos 还提供一套强大的工具，可以便利地管理整个 Kubernetes 集群的生命周期。 Sealos 不仅可以一键安装一个单节点的 Kubernetes 开发环境，还 ......
如何调用FastGPT的API
fastGPT提供兼容OpenAI格式的接口，但是还是有一些地方需要注意 新建一个应用，可以正常测试通过后。【外部使用】【API访问】【新建一个KEY】 我们在调用FastGPT API的时候，需要传递一个chatId的参数，这个是标识同一个会话的参数。只有传递了chatId，才能让FastGPT知 ......
聊聊ChatGLM-6B部署与微调的深入理解
ChatGLM的部署，主要是两个步骤： 在Github上下载chatglm的库文件 在Hugging Face上下载模型参数与配置文件 ChatGLM包 从Github上看ChatGLM项目文件的结构来看，仅仅是包含三种部署方式的py代码与微调的py代码 而相关的实现细节，比如神经网络、激活函数、损 ......
FastGPT的安装部署
安装docker和docker-compose 下载更改配置文件 mkdir fastgpt cd fastgpt curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-c ......
太牛叉了！国产 AI 智能体惊艳问世，全面致敬 FastGPT！
太震撼了！太厉害了！昆仑万维正式发布了「天工 SkyAgents」平台，助力大模型走入千家万户。你听听，这个名字一听就有一种巧夺天工的感觉，技艺那是相当的高超。 这个平台基于昆仑万维「天工大模型」打造，具备从感知到决策，从决策到执行的自主学习和独立思考能力，我们可以亲切地称之为 “人工智能体”。遥遥 ......
使用vLLM和ChatGLM3-6b批量推理
当数据量大的时候，比如百万级别，使用 ChatGLM3-6b 推理的速度是很慢的。发现使用 vLLM 和 ChatGLM3-6b 批量推理极大的提高了推理效率。本文主要通过一个简单的例子进行实践。 1.安装 vLLM 和PyTorch [2] 除了 Python（本文使用 3.11）、CUDA（本文 ......
基于FastGPT和芋道源码挑战一句话生成代码
芋道源码相信很多朋友都很了解了，今天我们试着基于FastGPT实现芋道框架的代码生成。芋道的代码生成，是基于数据库表字段实现的，那我们的思路就是看看如何使用GPT帮我们生成数据库表结构，只要数据库表字段有了，代码也就生成好了。实现这个需求我们就需要用到FastGPT的高级编排功能。编排的整体思路如下 ......
Linux服务器快速安装FastGPT知识库问答系统
最近开始体验FastGPT知识库问答系统，参考官方文档，在自己的阿里云服务器使用Docker Compose快速完成了部署。 环境说明：阿里云ECS，2核8G，X86架构，CentOS 7.9操作系统。 Docker与Docker-Compose安装 1.登录服务器，执行相关命令完成安装。 # 安装 ......
记Linux跑ChatGLM2的坑
记录一下踩过的坑… 0. 环境配置: 全程国内网 Ubuntu 20.04 with Python 3.8 and CUDA 12.2 RTX3060 Laptop (6G) 1. ChatGLM的下载: # clone 仓库 git clone https://gitclone.com/githu ......
ChatGLM2-6B模型的微调
概述 GLM模型底层还是基于Transformer，因此其设计、优化都是围绕Transformer的各个组件的。从注意力层的掩码、位置编码等方面优化与设计。 ChatGLM3/ChatGLM2的源码中，比如finetune、trainer等代码，其实是copy自HuggingFace，而且其使用流程 ......
在 Sealos 中使用区块链技术实现统一支付系统
拿着区块链技术不一定是去发币，很多业务系统也适合用这些技术，比如做个统一支付系统，积分系统等，可以做为一家公司的金融基础设施，或支付中台。拿链的技术去做有很多好处： 高可用，自带多区域高一致性的能力，自带高可用能力和校验能力。 安全，很大程度防范黑客或者用户篡改资金账户的可能性，非对称加密能力完备。 ......
ChatGLM 模型部署
ChatGLM 模型部署 模型地址： huggingface：https://huggingface.co/THUDM/chatglm3-6b modelscope：https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary 搭建环境 # 下载代 ......
稳了，终于可以通过外网访问 Sealos 中的数据库了！
喜大普奔，Sealos 中的数据库功能现已全面升级，支持外网访问！ 现在你可以从互联网的任何地方访问 Sealos 中的数据库，无论您的应用部署在何种环境，现在都可以轻松通过外网连接到 Sealos 中的数据库，打破地理限制，提升工作效率和灵活性。 目前数据库是通过 NodePort 暴露到公网，集 ......
结合SK和ChatGLM3B+whisper+Avalonia实现语音切换城市
结合SK和ChatGLM3B+whisper+Avalonia实现语音切换城市 先创建一个Avalonia的MVVM项目模板,项目名称GisApp 项目创建完成以后添加以下nuget依赖 <PackageReference Include="Mapsui.Avalonia" Version="4.1 ......
使用Langchain与ChatGLM实现本地知识库（二）
大语言模型也只是将用户提供的大规模数据集训练而来，也并非万能的什么都知道，特别是一些小众知识、内部数据或私密的个人数据等，此时ChatGLM3肯定会胡乱回答就是ChatGPT4也不一定能给出满意回答；不少公司、个人都有自己的知识库或日志等此时如有可将这些数据以某种方式挂在大模型上此时在知识库存在的知 ......
使用LangChain与ChatGLM实现本地知识库（一）
本篇主要内容为介绍ChatGLM3的安装使用，后续才会涉及到使用LangChain实现本地知识库的内容； ChatGLM为智谱与清华大学开源的一个大语言模型，支持多轮对话、内容创作等，ChatGLM3-6B为ChatGLM3系列中门槛相对较低的一个，本地部署提供兼容OpenAI的API； LangC ......
什么是 Sealos？
来源：https://sealos.io/zh-Hans/docs/Intro 云原生生态之庞大与复杂，无疑让许多企业感到手足无措，这个生态依然缺乏好用的、开箱即用的发行版。在云原生市场还急需一款云操作系统以进一步降低云原生门槛与成本。 Sealos 的问世为企业开启了一扇新窗。它为企业与开发者提供 ......
Sealos 云操作系统私有化部署教程
Sealos 私有云已经正式发布了，它为企业用云提供了一种革命性的新方案。Sealos 的核心优势在于，它允许企业在自己的机房中一键构建一个功能与 Sealos 公有云完全相同的私有云。这意味着企业可以在自己的控制和安全范围内，享受到公有云所提供的灵活性和扩展性。这对于需要高度数据安全和个性化服务的 ......
部署一个本地的聊天机器人-基于ChatGLM3
部署一个本地的聊天机器人-基于ChatGLM3 预备 理论上来说 8G及以上显存的英伟达GPU 笔者的设备 RTX 4060Ti (16G显存) Archlinux Python 3.10.10 ChatGLM3 代码版本 33953b119e7 开整 下载ChatGLM3 ChatGLM3 是智谱 ......
为美好的世界献上佐罗兔（2）基于docker安装ChatGLM3
佐罗兔——rabbitzorro 首先我找了一个B站的教学视频，但是他不是基于Docker的 https://www.bilibili.com/video/BV1gN4y1r7RX 作者一看就是专业讲课的，说三句水两句，不过教程的结构还是可以借鉴的。 我的PC配置： N卡RTX3060 12GB板、 ......
Sealos 云操作系统私有化部署教程
Sealos 私有云已经正式发布了，它为企业用云提供了一种革命性的新方案。Sealos 的核心优势在于，它允许企业在自己的机房中一键构建一个功能与 Sealos 公有云完全相同的私有云。这意味着企业可以在自己的控制和安全范围内，享受到公有云所提供的灵活性和扩展性。这对于需要高度数据安全和个性化服务的 ......
chatglm3-6b尝试
十月底智谱开元路chatglm3，果断来尝试一下。 1.ChatGLM3 亮点 ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，Chat ......
Sealos 云操作系统一键集成 runwasi，解锁 Wasm 的无限潜力
WebAssembly (通常缩写为 Wasm) 是一种为网络浏览器设计的低级编程语言。它旨在提供一种比传统的 JavaScript 更快、更高效的方式来执行代码，以弥补 JavaScript 在性能方面的不足。通过使用二进制格式，WebAssembly 能够提供比传统 JavaScript 更快的 ......