fine-tuning tuning fine llama-factory
聊聊ChatGLM中P-tuning v2的应用
论文PDF地址：https://arxiv.org/pdf/2110.07602.pdf 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ P-Tuning v2 摘录自第三部分 桔色块指代可训练的prompt embedding；蓝色块是由固定(冻结) ......
大语言模型优化方法简介：Prompt、RAG、Fine-tuning
GPT、LLama、Gemini等大语言模型虽展现出强大能力，但在实际应用中仍有问题，例如在准确性、知识更新速度和答案透明度方面，仍存在挑战。 论文“Retrieval-Augmented Generation for Large Language Models: A Survey（面向大语言模型的 ......
llama-factory fine-tuning 4 (mixtral fine-tuning)
introduction fine-tuning command click to view the code CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage sft \ --do_train \ --model_name_or_p ......
《Progressive Learning of Category-Consistent Multi-Granularity Features for Fine-Grained Visual Classification》阅读笔记
论文标题 《Progressive Learning of Category-Consistent Multi-Granularity Features for Fine-Grained Visual Classification》 细粒度视觉分类中类别一致多粒度特征的渐进学习 作者 Ruoyi D ......
llama-factory fine-tuning 3
1 Introduction In this blog, we will use 3 dataset to fine-tuning our model using llama-factory. 2 dataset preparation 2.1 MedQA dataset (address) in ......
Fine-grained Visual Classification with High-temperature Refinement and Background Suppression
摘要 细粒度视觉分类是一项具有挑战性的任务，因为类别之间的相似性很高，单个类别中数据之间的差异不同。为了应对这些挑战，以前的策略侧重于定位类别之间的细微差异并理解其中的判别特征。然而，背景还提供了重要信息，可以告诉模型哪些特征对于分类是不必要的甚至有害，并且过于依赖细微特征的模型可能会忽略全局特征和 ......
llama-factory fine-tuning-3 (conception and technologies explanation)
train method supervised fine-tuning Reward Modeling PPO training DPO training full-parameter partial-parameter LoRA QLoRA command parameter fp16 gradi ......
llama-factory fine-tuning
data preparation for llama-factory fine-tuning, here is the instruction for custom dataset preparation. dataset classification alpaca stanford_alpaca ......
medical custom dataset for fine-tuning llama2
data preparation we use huggingface shibin6624/medical to fine-tuning llama2, please note that this dataset is consist of en and cn data, here we just ......
《Fine-Grained Image Analysis with Deep Learning: A Survey》阅读笔记
论文标题 《Fine-Grained Image Analysis with Deep Learning: A Survey》 作者 魏秀参，南京理工大学 初读 摘要 与上篇综述相同： 细粒度图像分析（FGIA）的任务是分析从属类别的视觉对象。 细粒度性质引起的类间小变化和类内大变化使其成为一个具有 ......
《Deep learning for fine-grained image analysis: A survey》阅读笔记
论文标题 《Deep learning for fine-grained image analysis: A survey》 作者 魏秀参，旷世研究院 初读 摘要 细粒度图像分析（FGIA）的任务是分析从属类别的视觉对象。 细粒度性质引起的类间小变化和类内大变化使其成为一个具有挑战性的问题。 本文旨 ......
《A Survey on Deep Learning-based Fine-grained Object Classification and Semantic Segmentation》阅读笔记
论文标题 《A Survey on Deep Learning-based Fine-grained Object Classification and Semantic Segmentation》 基于深度学习的细粒度对象分类和语义分割的综述 为什么是 “Object” 而不是 “image” 作 ......
论文精读：用于少样本目标检测的元调整损失函数和数据增强（Meta-tuning Loss Functions and Data Augmentation for Few-shot Object Detection）
论文链接：Meta-Tuning Loss Functions and Data Augmentation for Few-Shot Object Detection Abstract 现阶段的少样本学习技术可以分为两类：基于微调（fine-tuning）方法和基于元学习（meta-learning ......
TALLRec: An Effective and Efficient Tuning Framework to Align Large Language Model with Recommendation
目录概TallRec代码 Bao K., Zhang J., Zhang Y., Wang W., Feng F. and He X. TALLRec: An effective and efficient tuning framework to align large language model ......
Langchain-Chatchat项目：4.2-P-Tuning v2使用的数据集
本文主要介绍P-tuning-v2论文中的5种任务，分别为Glue任务、NER任务、QA任务、SRL任务、SuperGlue任务，重点介绍了下每种任务使用的数据集。 一.Glue任务 GLUE（General Language Understanding Evaluation）是纽约大学、华盛顿大学 ......
Langchain-Chatchat项目：4.1-P-Tuning v2实现过程
常见参数高效微调方法(Parameter-Efficient Fine-Tuning，PEFT)有哪些呢？主要是Prompt系列和LoRA系列。本文主要介绍P-Tuning v2微调方法。如下所示： Prompt系列比如，Prefix Tuning(2021.01-Stanford)、Prompt ......
大语言模型Fine-tuning踩坑经验之谈
前言 由于 ChatGPT 和 GPT4 兴起，如何让人人都用上这种大模型，是目前 AI 领域最活跃的事情。当下开源的 LLM（Large language model）非常多，可谓是百模大战。面对诸多开源本地模型，根据自己的需求，选择适合自己的基座模型和参数量很重要。选择完后需要对训练数据进行预处 ......
深度学习调参手册（Deep Learning Tuning Playbook）
google-research/tuning_playbook: A playbook for systematically maximizing the performance of deep learning models. (github.com) dkhonker/tuning_playbo ......
课程二第三周：Hyperparameter tuning, Batch Normalization and Programming Frameworks
Hyperparameter tuning Tuning process 到目前为止，接触到的超参数有： 学习效率learning-rate：\(\alpha\) Momentum算法的参数：\(\beta\) 加权平均的参数 Adam算法的参数：\(\beta_1、\beta_2、\epsilon ......
基于 P-Tuning v2 进行 ChatGLM2-6B 微调实践
微调类型简介 1. SFT监督微调：适用于在源任务中具有较高性能的模型进行微调，学习率较小。常见任务包括中文实体识别、语言模型训练、UIE模型微调。优点是可以快速适应目标任务，但缺点是可能需要较长的训练时间和大量数据。 2. LoRA微调：通过高阶矩阵秩的分解减少微调参数量，不改变预训练模型参数，新 ......
LangChain使用fine-tuned GPT-3.5
LangChain使用fine-tuned GPT-3.5 参考： https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates https://platform.openai.com/docs/guides/fine-tunin ......
CF498B Name That Tune
好像和题解不太一样。 令 \(f_{i,j}\) 为第 \(j\) 秒末识别出第 \(i\) 首歌的概率。那么答案就是 \(\sum\limits_{i=1}^n\sum\limits_{j=1}^Tf_{i,j}\)。 转移分两种： 听完了这首歌都没识别出，此时算是识别出这首歌了，\(f_{i,j ......
论文解读（AdSPT）《Adversarial Soft Prompt Tuning for Cross-Domain Sentiment Analysis》
Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：Adversarial Soft Prompt Tuning for Cross-Domain Sentiment Analysis论文作者：Hui Wu、Xiaodong Shi论文来源：2022 ACL ......
探索ChatGPT的Fine-tuning和Embeddings
1.概述 今天我们将深入探索ChatGPT的两项核心技术：Fine-tuning（微调）和Embeddings（嵌入）。这些技术在现代自然语言处理领域扮演着至关重要的角色，为模型的性能提升和适应特定任务需求提供了关键支持。ChatGPT作为GPT家族的一员，已经在多个领域展现了出色的表现，而其背后的 ......
Mysql调优工具：mysqltuner.pl及tuning-primer.sh
一、概述 MySQL调优工具是用于分析和优化MySQL数据库性能的软件工具。它们可以帮助识别潜在的性能瓶颈、优化查询性能、调整配置参数以及提高数据库的吞吐量和响应时间。今天分享2个常用的工具。 mysqltuner.pl：一款免费的Perl脚本工具，用于检查和优化MySQL服务器的配置参数。MySQ ......
论文解读（IW-Fit）《Better Fine-Tuning via Instance Weighting for Text Classification》
Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：Better Fine-Tuning via Instance Weighting for Text Classification论文作者：论文来源：2021 ACL论文地址：download 论文代码：d ......
Prefix Tuning代码探索
prefix_tuning.py ```python import torch from transformers import PretrainedConfig class PrefixEncoder(torch.nn.Module): r''' The torch.nn model to enc ......
用断点调试阅读peft源码：prefix tuning
今天我们阅读peft源码，主要是为了弄清楚prefix tuning的工作原理和代码细节。 # 模型定义部分 ```python peft_config = PrefixTuningConfig(task_type=TaskType.SEQ_2_SEQ_LM, inference_mode=Fals ......
GLoRA：One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning
# GLoRA：One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning ## O、Abstract 本文在 LoRA 的基础上，提出一种广义 LoRA （GLoRA，Generalized LoRA）。与 LoRA 相比，G ......