fine
大语言模型优化方法简介：Prompt、RAG、Fine-tuning
GPT、LLama、Gemini等大语言模型虽展现出强大能力，但在实际应用中仍有问题，例如在准确性、知识更新速度和答案透明度方面，仍存在挑战。 论文“Retrieval-Augmented Generation for Large Language Models: A Survey（面向大语言模型的 ......
llama-factory fine-tuning 4 (mixtral fine-tuning)
introduction fine-tuning command click to view the code CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage sft \ --do_train \ --model_name_or_p ......
《Progressive Learning of Category-Consistent Multi-Granularity Features for Fine-Grained Visual Classification》阅读笔记
论文标题 《Progressive Learning of Category-Consistent Multi-Granularity Features for Fine-Grained Visual Classification》 细粒度视觉分类中类别一致多粒度特征的渐进学习 作者 Ruoyi D ......
llama-factory fine-tuning 3
1 Introduction In this blog, we will use 3 dataset to fine-tuning our model using llama-factory. 2 dataset preparation 2.1 MedQA dataset (address) in ......
Fine-grained Visual Classification with High-temperature Refinement and Background Suppression
摘要 细粒度视觉分类是一项具有挑战性的任务，因为类别之间的相似性很高，单个类别中数据之间的差异不同。为了应对这些挑战，以前的策略侧重于定位类别之间的细微差异并理解其中的判别特征。然而，背景还提供了重要信息，可以告诉模型哪些特征对于分类是不必要的甚至有害，并且过于依赖细微特征的模型可能会忽略全局特征和 ......
llama-factory fine-tuning-3 (conception and technologies explanation)
train method supervised fine-tuning Reward Modeling PPO training DPO training full-parameter partial-parameter LoRA QLoRA command parameter fp16 gradi ......
llama-factory fine-tuning
data preparation for llama-factory fine-tuning, here is the instruction for custom dataset preparation. dataset classification alpaca stanford_alpaca ......
medical custom dataset for fine-tuning llama2
data preparation we use huggingface shibin6624/medical to fine-tuning llama2, please note that this dataset is consist of en and cn data, here we just ......
《Fine-Grained Image Analysis with Deep Learning: A Survey》阅读笔记
论文标题 《Fine-Grained Image Analysis with Deep Learning: A Survey》 作者 魏秀参，南京理工大学 初读 摘要 与上篇综述相同： 细粒度图像分析（FGIA）的任务是分析从属类别的视觉对象。 细粒度性质引起的类间小变化和类内大变化使其成为一个具有 ......
《Deep learning for fine-grained image analysis: A survey》阅读笔记
论文标题 《Deep learning for fine-grained image analysis: A survey》 作者 魏秀参，旷世研究院 初读 摘要 细粒度图像分析（FGIA）的任务是分析从属类别的视觉对象。 细粒度性质引起的类间小变化和类内大变化使其成为一个具有挑战性的问题。 本文旨 ......
《A Survey on Deep Learning-based Fine-grained Object Classification and Semantic Segmentation》阅读笔记
论文标题 《A Survey on Deep Learning-based Fine-grained Object Classification and Semantic Segmentation》 基于深度学习的细粒度对象分类和语义分割的综述 为什么是 “Object” 而不是 “image” 作 ......
大语言模型Fine-tuning踩坑经验之谈
前言 由于 ChatGPT 和 GPT4 兴起，如何让人人都用上这种大模型，是目前 AI 领域最活跃的事情。当下开源的 LLM（Large language model）非常多，可谓是百模大战。面对诸多开源本地模型，根据自己的需求，选择适合自己的基座模型和参数量很重要。选择完后需要对训练数据进行预处 ......
LangChain使用fine-tuned GPT-3.5
LangChain使用fine-tuned GPT-3.5 参考： https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates https://platform.openai.com/docs/guides/fine-tunin ......
探索ChatGPT的Fine-tuning和Embeddings
1.概述 今天我们将深入探索ChatGPT的两项核心技术：Fine-tuning（微调）和Embeddings（嵌入）。这些技术在现代自然语言处理领域扮演着至关重要的角色，为模型的性能提升和适应特定任务需求提供了关键支持。ChatGPT作为GPT家族的一员，已经在多个领域展现了出色的表现，而其背后的 ......
论文解读（IW-Fit）《Better Fine-Tuning via Instance Weighting for Text Classification》
Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：Better Fine-Tuning via Instance Weighting for Text Classification论文作者：论文来源：2021 ACL论文地址：download 论文代码：d ......
GLoRA：One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning
# GLoRA：One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning ## O、Abstract 本文在 LoRA 的基础上，提出一种广义 LoRA （GLoRA，Generalized LoRA）。与 LoRA 相比，G ......
DreamBooth Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
[TOC] > [Ruiz N., Li Y., Jampani V., Pritch Y., Rubinstein M. and Aberman K. DreamBooth: Fine tuning text-to-image diffusion models for subject-driven ......
【五期邹昱夫】CCF-B（RAID'18）Fine-Pruning: Defending Against Backdooring Attacks on Deep Neural Networks
> "Liu, Kang, Brendan Dolan-Gavitt, and Siddharth Garg. "Fine-pruning: Defending against backdooring attacks on deep neural networks." Research in Att ......
快速理解OpenAI的fine-tune和Embedding
OpenAI 提供了两项基于 GPT-3 模型的能力： fine-tune 微调 embedding 嵌入 fine-tune 一般称之为微调。 模型底层更通用，顶层更垂直，fine-tune 的原理是在不改动（或不能改动）预训练模型的基础上，在模型「顶层」增加分类器或一些特征映射，使微调后的模型能 ......
Feit–Fine 公式: 可交换矩阵的对数
固定有限域 $\mathbb F_q$, 记 $a_n$ 为 $AB=BA$ 在 $M_{n\times n}(\mathbb F_q)$ 中解的数量, 有: > **定理 (W. Feit, N. J. Fine, 1958)** > $$ 1+\sum_{n\geq 1} \frac{a_n}{ ......
使用OpenAI API进行Model Fine-tuning
[toc] ## 1 基本信息 参考资料： - 官方指南：https://platform.openai.com/docs/guides/fine-tuning - 微调接口：https://platform.openai.com/docs/api-reference/fine-tunes - 数据 ......
Fine-Grained学习笔记(4):条件下界与归约,图论问题的复杂度归约理论
和P与NP问题一样,Fine-Grained领域中的许多问题也能相互归约,这意味着当这些问题中的任意一个问题的复杂度下界得到了证明或证伪,那么一系列问题的复杂度下界就都能够得到解决. APSP猜想: 不存在$O(|V|^{3-\delta})$时间的(对于任意实数边权图都有效的)(确定性的)APSP ......
Fine-Grained学习笔记(3):最短路(边权,点权),(min,+)矩阵乘
问题:APSP(全局最短路) 给定$G=(V,E)$,其中边集$E$带权值,对于$\forall s,t \in V$,计算$d(s,t)$,即从$s$到$t$的最小的经过路径权值之和 已知的算法:$n$次(堆优化的)Dijkstra算法:$\widetilde{O}(|V|\cdot|E|)$ F ......
深度学习网络fine-tune原理研究 - 以卷积神经网络为例
一、什么是预训练模型（pre-trained model） 预训练模型就是已经用数据集训练好了的模型，这里的数据集一般指大型数据集。比如 VGG16/19 Resnet Imagenet COCO 正常情况下，在图像识别任务中常用的VGG16/19等网络是他人调试好的优秀网络，我们无需再修改其网络结 ......
Fine-Grained学习笔记(2):矩阵乘法
问题:矩阵乘法 方阵乘法: 给定两个$n \times n$的矩阵$A=(a_{ij}),B=(b_{ij})$,计算$C=AB,c_{ij}=\Sigma_{k=1}^na_{ik}b_{kj}$. (由于语言习惯,本文中提到矩阵且无其他说明的场合,均指方阵) 朴素算法的复杂度:$O(n^3)$ ......
Fine-Grained学习笔记(1):卷积,FFT
Fine-Grained,在算法复杂度理论中特指,对各类算法的复杂度,进行(相较于P与NP的粗粒度分类的)细粒度分类,例如,证明某问题存在 $n^2/ \log n$ 的算法.Fine-Grained是一个新兴领域,其研究前景可看作是计算机科学学科中的石墨烯与钙钛矿(误). 本系列主要参考Unive ......
Vicuna-13B, an open-source chatbot trained by fine-tuning LLaMA
一、项目背景 We introduce Vicuna-13B, an open-source chatbot trained by fine-tuning LLaMA on user-shared conversations collected from ShareGPT. Preliminary ......
如何使用OpenAI Fine-tuning API微调GPT-3模型
https://platform.openai.com/docs/guides/fine-tuning（官方文档） 当我们使用语言模型时候，往往需要给多个例子供ai参考，才能给出更为准确的回答，这种方法费时费力。而通过微调（Fine-tuning）能够把原始模型打造成更加适合你的任务需求的模型。 ......
Adaptive ship-radiated noise recognition with learnable fine-grained wavelet transform
摘要 分析海洋声环境是一项棘手的任务。背景噪声和可变信道传输环境使舰船辐射噪声的准确识别变得复杂。现有的识别系统在处理多变的水下环境方面能力较弱，在实际应用中表现不佳。为了保持识别系统在各种水下环境下的鲁棒性，本文提出了一种自适应广义识别系统——AGNet (adaptive generalized ......