3090
使用双卡/8卡3090微调llama2-70B/13B模型
写在前面 本篇博文将会教大家如何在消费级的设备（或者各种超级便宜的洋垃圾上）实现13B/70B等无法在单张消费级显卡上加载（但可以在一台机器上的多张卡上加载）的模型的微调。 由于绝大部分做实验，仅要求实现推理，或者在微调时没有资源上到全量/13B+级别的真·大模型的微调，没有涉及到将一个模型放在多张 ......
使用8卡3090微调llama2-70B模型
写在前面 很多问题尚未弄清，还在进一步调整 目前已知 我用8卡的3090 采用deepspeed ZeRO3进行运行，下面是deepspeed3的配置 1 { 2 "fp16": { 3 "enabled": "auto", 4 "loss_scale": 0, 5 "loss_scale_wind ......
8卡3090GPU云服务器上采用VLLM部署中文llama2-70b模型及OpenAI格式接口
TigerBot-70b-4k-v4 推理部署 模型本地部署（基于HuggingFace) 根据实际测试，加载模型需要约129G显存，最低需要6张3090显卡（流水线并行） 如果使用vllm进行加速推理（张量并行），考虑8张3090显卡或者4张A100-40G（模型分割要求） 模型下载 截至目前，模 ......
GLM-130B 部署 - 8*3090-24G
官方文档 镜像要求A100-40G-8卡 硬件配置： 软件配置： 1.准备 由于恒源云暂时缺少硬件资源，此次部署使用8*3090-24G配置（需要量化int8）： 注意镜像选择，pytorch版本选择1.13，不要选择2.0，2.0会产生不兼容的情况。 同时需要注意扩容，否则模型存放不够空间 创建实 ......
poj 3090 Visible Lattice Points
#include<iostream> #include<algorithm> using namespace std; const int M=1e6; int vis[M+4],P[M+4],cnt; int fi[M+4]; void shai(int top){ cnt=0; fi[1]=1; ......
3090单卡5小时，每个人都能训练专属ChatGPT，港科大开源LMFlow
前言 拥有自己的 AI 大模型！开源项目 LMFlow 支持上千种模型，提供全流程高效训练方案。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 计算 ......