tune
使用OpenAI API进行Model Fine-tuning
[toc] ## 1 基本信息 参考资料： - 官方指南：https://platform.openai.com/docs/guides/fine-tuning - 微调接口：https://platform.openai.com/docs/api-reference/fine-tunes - 数据 ......
深度学习网络fine-tune原理研究 - 以卷积神经网络为例
一、什么是预训练模型（pre-trained model） 预训练模型就是已经用数据集训练好了的模型，这里的数据集一般指大型数据集。比如 VGG16/19 Resnet Imagenet COCO 正常情况下，在图像识别任务中常用的VGG16/19等网络是他人调试好的优秀网络，我们无需再修改其网络结 ......
Vicuna-13B, an open-source chatbot trained by fine-tuning LLaMA
一、项目背景 We introduce Vicuna-13B, an open-source chatbot trained by fine-tuning LLaMA on user-shared conversations collected from ShareGPT. Preliminary ......
你也可以动手参数有效微调：LoRA、Prefix Tuning、P-Tuning、Prompt Tuning
Part1前言 随着大语言模型的流行，如何让大模型在消费级GPU上进行微调训练成为了热点。掌握参数有效微调成为每个自然语言处理工程师必不可少的技能，正好hugging face开源了一个PEFT库，让我们也能够自己动手去了解参数有效微调。接下来以中文情感分析（二分类）去了解下参数有效微调。 使用的方 ......
LoRA（Low-Rank Adaptation of Large Language Models）-- 一种大模型prompt-tuning调优方法
一、Pre-train + Fine-tuning范式 0x1：为什么要微调 对于数据集本身很小（几千张图片/几千段文本）的情况，从头开始训练具有几千万参数的大型神经网络是不现实的，因为越大的模型对数据量的要求越大，过拟合无法避免。这时候如果还想用上大型神经网络的超强特征提取能力，只能靠微调已经训练 ......
SQLite performance tuning
SQLite performance tuning - Scaling SQLite databases to many concurrent readers and multiple gigabytes while maintaining 100k SELECTs per second - phi ......
Oracle SQL优化之STA(SQL Tuning Advisor)
前言：经常可以碰到优化sql的需求，开发人员直接扔过来一个SQL让DBA优化，然后怎么办？ 当然，经验丰富的DBA可以从各种方向下手，有时通过建立正确索引即可获得很好的优化效果，但是那些复杂SQL错综复杂的表关联，却让DBA们满头大汗。 如下特别介绍一种oracle官方提供的科学优化方法STA，经过 ......
MULTIINSTRUCT: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning
指令调优是一种新的学习范式，它可以根据指令指定的任务对预先训练好的语言模型进行微调，在各种自然语言处理任务中显示出良好的零目标性能。然而，对于视觉和多模态任务，它仍然没有被探索。在这项工作中，我们介绍了multiinstruction，这是第一个多模态指令调优基准数据集，由47个不同的多模态任务组成 ......
开源 文本到视频：Tune-A-Video 本周 star 增长数：1,050+，主语言：Python
开源不到 48 小时获 35k star 的推荐算法「GitHub 热点速览 转载自己笔记备用 非公开 原作者博客园 本周的热点除了 GPT 各类衍生品之外，还多了一个被马斯克预告过、在愚人节开源出来的推特推荐算法，开源不到 2 天就有了 35k+ 的 star，有意思的是，除了推荐算法本身之外，阅 ......
如何使用OpenAI Fine-tuning API微调GPT-3模型
https://platform.openai.com/docs/guides/fine-tuning（官方文档） 当我们使用语言模型时候，往往需要给多个例子供ai参考，才能给出更为准确的回答，这种方法费时费力。而通过微调（Fine-tuning）能够把原始模型打造成更加适合你的任务需求的模型。 ......
解密Prompt系列4. 升级Instruction Tuning：Flan/T0/InstructGPT/TKInstruct
这一章我们聊聊指令微调，模型还是那个熟悉的模型，核心的差异在于指令集和评估侧重点的不同，每个模型只侧重介绍差异点。按时间顺序分别是Flan，T0，InstructGPT， Tk-Instruct ......
解密Prompt系列3. 冻结LM微调Prompt: Prefix-Tuning & Prompt-Tuning & P-Tuning
这一章我们介绍在下游任务微调中固定LM参数，只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小，能大幅降低LLM的微调参数量，是轻量级的微调替代品 ......