chatglm3 chatglm fastgpt sealos
pytorch在有限的资源下部署大语言模型（以ChatGLM-6B为例）
pytorch在有限的资源下部署大语言模型（以ChatGLM-6B为例） Part1知识准备 在PyTorch中加载预训练的模型时，通常的工作流程是这样的： my_model = ModelClass(...)state_dict =torch.load(checkpoint_file) 用简单的话 ......
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型
https://github.com/THUDM/ChatGLM-6B ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别 ......
ChatGLM-6B云服务器部署（以恒源云为例）
写在前面： ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数，使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。由于其对显存硬件要求较高（详见下图），对于硬件配置较低的使用者不太 ......
Ficow 的 AI 平台快速上手指南(ChatGPT, NewBing, ChatGLM-6B, cursor.so)
现在各种AI工具大爆发，赶紧跟上大部队，看下这波浪潮是什么状况吧。传说AI要淘汰很多工种，听起来就很夸张很恐怖的样子。克服恐惧的方式就是去学习和熟悉未知的事物。走起，和Ficow一起一探究竟。讲真的，简直太好用了~ ......
[ML] 详解 ChatGLM-webui 的启动使用与 ChatGLM-6B 常见问题
1. ChatGLM-webui 总共支持以下几个命令选项： 2. 以 windows 为例，在 PowerShell 里运行命令： # 安装依赖 pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 -f https://mirror. ......
使用sealos 快速部署生产可用的k8s环境
sealos 是一个很不错的k8s 部署工具，内部实际上也是基于了kubeadm ，但是sealos 做了不少方便的扩展 比如自己搞了一层基于lvs 的ha ，可以简化我们k8s 环境ha 的问题（但是如果需要外部访问还是需要一层ha 方案的） 同时sealos 提供了自己的一套容器镜像仓库，离线部 ......
sealos 添加node NotReady 处理
问题说明: 生产环境 K8s 1.24.0 版本 sealos 4.0.0 版本 操作系统 Centos 7.6 内核 5.4 出现问题: (prod 环境需要增加节点来应对线上业务的压力. 截止目前所有节点资源内存使用均在70%左右) 执行: sealos add --nodes 10.0.0.1 ......
类似ChatGPT的开源项目ChatGLM-6B安装尝试
项目git地址 https://github.com/THUDM/ChatGLM-6B 配置要求： 本机电脑显卡显存6G以上。只有cpu则需要32GB以上。 安装基础环境 1.安装python 3.10版本 https://www.python.org/ftp/python/3.10.10/pyth ......
sealos踩坑记录
前言 记录下我安装sealos的踩坑历程,全网基本没有什么类似的可靠资料,也许是因为太小众了吧,希望能帮助到搜索到此文的人. sealos是什么 Sealos 是以 kubernetes 为内核的云操作系统发行版, 单机操作系统如同 linux 发行版本可以在上面安装和使用各种单机应用，如 PPT， ......
Kubernetes集群（一）——Sealos搭建Kubernetes集群
1. 虚拟机环境准备 test-master-1 主结点1 test-worker-1 工作节点1 采用ESXI虚拟机管理系统创建新虚拟机。 2. 安装Kuberenetes集群 2.1. 更新软件源 在主结点1、工作节点1都进行 yum update 2.2. 安装Sealos 安装下载工具 yu ......