p-tuning chatglm tuning
你也可以动手参数有效微调：LoRA、Prefix Tuning、P-Tuning、Prompt Tuning
Part1前言 随着大语言模型的流行，如何让大模型在消费级GPU上进行微调训练成为了热点。掌握参数有效微调成为每个自然语言处理工程师必不可少的技能，正好hugging face开源了一个PEFT库，让我们也能够自己动手去了解参数有效微调。接下来以中文情感分析（二分类）去了解下参数有效微调。 使用的方 ......
LoRA（Low-Rank Adaptation of Large Language Models）-- 一种大模型prompt-tuning调优方法
一、Pre-train + Fine-tuning范式 0x1：为什么要微调 对于数据集本身很小（几千张图片/几千段文本）的情况，从头开始训练具有几千万参数的大型神经网络是不现实的，因为越大的模型对数据量的要求越大，过拟合无法避免。这时候如果还想用上大型神经网络的超强特征提取能力，只能靠微调已经训练 ......
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型
https://github.com/THUDM/ChatGLM-6B ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别 ......
SQLite performance tuning
SQLite performance tuning - Scaling SQLite databases to many concurrent readers and multiple gigabytes while maintaining 100k SELECTs per second - phi ......
Oracle SQL优化之STA(SQL Tuning Advisor)
前言：经常可以碰到优化sql的需求，开发人员直接扔过来一个SQL让DBA优化，然后怎么办？ 当然，经验丰富的DBA可以从各种方向下手，有时通过建立正确索引即可获得很好的优化效果，但是那些复杂SQL错综复杂的表关联，却让DBA们满头大汗。 如下特别介绍一种oracle官方提供的科学优化方法STA，经过 ......
MULTIINSTRUCT: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning
指令调优是一种新的学习范式，它可以根据指令指定的任务对预先训练好的语言模型进行微调，在各种自然语言处理任务中显示出良好的零目标性能。然而，对于视觉和多模态任务，它仍然没有被探索。在这项工作中，我们介绍了multiinstruction，这是第一个多模态指令调优基准数据集，由47个不同的多模态任务组成 ......
ChatGLM-6B云服务器部署（以恒源云为例）
写在前面： ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数，使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。由于其对显存硬件要求较高（详见下图），对于硬件配置较低的使用者不太 ......
Ficow 的 AI 平台快速上手指南(ChatGPT, NewBing, ChatGLM-6B, cursor.so)
现在各种AI工具大爆发，赶紧跟上大部队，看下这波浪潮是什么状况吧。传说AI要淘汰很多工种，听起来就很夸张很恐怖的样子。克服恐惧的方式就是去学习和熟悉未知的事物。走起，和Ficow一起一探究竟。讲真的，简直太好用了~ ......
[ML] 详解 ChatGLM-webui 的启动使用与 ChatGLM-6B 常见问题
1. ChatGLM-webui 总共支持以下几个命令选项： 2. 以 windows 为例，在 PowerShell 里运行命令： # 安装依赖 pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 -f https://mirror. ......
开源 文本到视频：Tune-A-Video 本周 star 增长数：1,050+，主语言：Python
开源不到 48 小时获 35k star 的推荐算法「GitHub 热点速览 转载自己笔记备用 非公开 原作者博客园 本周的热点除了 GPT 各类衍生品之外，还多了一个被马斯克预告过、在愚人节开源出来的推特推荐算法，开源不到 2 天就有了 35k+ 的 star，有意思的是，除了推荐算法本身之外，阅 ......
如何使用OpenAI Fine-tuning API微调GPT-3模型
https://platform.openai.com/docs/guides/fine-tuning（官方文档） 当我们使用语言模型时候，往往需要给多个例子供ai参考，才能给出更为准确的回答，这种方法费时费力。而通过微调（Fine-tuning）能够把原始模型打造成更加适合你的任务需求的模型。 ......
类似ChatGPT的开源项目ChatGLM-6B安装尝试
项目git地址 https://github.com/THUDM/ChatGLM-6B 配置要求： 本机电脑显卡显存6G以上。只有cpu则需要32GB以上。 安装基础环境 1.安装python 3.10版本 https://www.python.org/ftp/python/3.10.10/pyth ......
解密Prompt系列4. 升级Instruction Tuning：Flan/T0/InstructGPT/TKInstruct
这一章我们聊聊指令微调，模型还是那个熟悉的模型，核心的差异在于指令集和评估侧重点的不同，每个模型只侧重介绍差异点。按时间顺序分别是Flan，T0，InstructGPT， Tk-Instruct ......
Hugging News #0317: ChatGLM 会成为 HF 趋势榜的第一名吗？
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！ 社区活动 全球社区的 Ker ......
解密Prompt系列3. 冻结LM微调Prompt: Prefix-Tuning & Prompt-Tuning & P-Tuning
这一章我们介绍在下游任务微调中固定LM参数，只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小，能大幅降低LLM的微调参数量，是轻量级的微调替代品 ......