526互联

tune

聊聊ChatGLM中P-tuning v2的应用

论文PDF地址：https://arxiv.org/pdf/2110.07602.pdf 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ P-Tuning v2 摘录自第三部分 桔色块指代可训练的prompt embedding；蓝色块是由固定(冻结) ......
P-tuning ChatGLM tuning

大语言模型优化方法简介：Prompt、RAG、Fine-tuning

GPT、LLama、Gemini等大语言模型虽展现出强大能力，但在实际应用中仍有问题，例如在准确性、知识更新速度和答案透明度方面，仍存在挑战。 论文“Retrieval-Augmented Generation for Large Language Models: A Survey（面向大语言模型的 ......
Fine-tuning 模型 语言 简介 方法

llama-factory fine-tuning 4 (mixtral fine-tuning)

introduction fine-tuning command click to view the code CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage sft \ --do_train \ --model_name_or_p ......
fine-tuning tuning fine llama-factory factory

llama-factory fine-tuning 3

1 Introduction In this blog, we will use 3 dataset to fine-tuning our model using llama-factory. 2 dataset preparation 2.1 MedQA dataset (address) in ......
llama-factory fine-tuning factory tuning llama

llama-factory fine-tuning-3 (conception and technologies explanation)

train method supervised fine-tuning Reward Modeling PPO training DPO training full-parameter partial-parameter LoRA QLoRA command parameter fp16 gradi ......
llama-factory technologies explanation fine-tuning conception

llama-factory fine-tuning

data preparation for llama-factory fine-tuning, here is the instruction for custom dataset preparation. dataset classification alpaca stanford_alpaca ......
llama-factory fine-tuning factory tuning llama

medical custom dataset for fine-tuning llama2

data preparation we use huggingface shibin6624/medical to fine-tuning llama2, please note that this dataset is consist of en and cn data, here we just ......
fine-tuning medical dataset custom llama2

论文精读：用于少样本目标检测的元调整损失函数和数据增强（Meta-tuning Loss Functions and Data Augmentation for Few-shot Object Detection）

论文链接：Meta-Tuning Loss Functions and Data Augmentation for Few-Shot Object Detection Abstract 现阶段的少样本学习技术可以分为两类：基于微调（fine-tuning）方法和基于元学习（meta-learning ......
样本 Augmentation Meta-tuning 函数 Functions

TALLRec: An Effective and Efficient Tuning Framework to Align Large Language Model with Recommendation

目录概TallRec代码 Bao K., Zhang J., Zhang Y., Wang W., Feng F. and He X. TALLRec: An effective and efficient tuning framework to align large language model ......
Recommendation Effective Efficient Framework Language

Langchain-Chatchat项目：4.2-P-Tuning v2使用的数据集

本文主要介绍P-tuning-v2论文中的5种任务，分别为Glue任务、NER任务、QA任务、SRL任务、SuperGlue任务，重点介绍了下每种任务使用的数据集。 一.Glue任务 GLUE（General Language Understanding Evaluation）是纽约大学、华盛顿大学 ......
Langchain-Chatchat Langchain Chatchat P-Tuning 项目

Langchain-Chatchat项目：4.1-P-Tuning v2实现过程

常见参数高效微调方法(Parameter-Efficient Fine-Tuning，PEFT)有哪些呢？主要是Prompt系列和LoRA系列。本文主要介绍P-Tuning v2微调方法。如下所示： Prompt系列比如，Prefix Tuning(2021.01-Stanford)、Prompt ......
Langchain-Chatchat Langchain Chatchat P-Tuning 过程

大语言模型Fine-tuning踩坑经验之谈

前言 由于 ChatGPT 和 GPT4 兴起，如何让人人都用上这种大模型，是目前 AI 领域最活跃的事情。当下开源的 LLM（Large language model）非常多，可谓是百模大战。面对诸多开源本地模型，根据自己的需求，选择适合自己的基座模型和参数量很重要。选择完后需要对训练数据进行预处 ......
Fine-tuning 模型 语言 经验 tuning

深度学习调参手册（Deep Learning Tuning Playbook）

google-research/tuning_playbook: A playbook for systematically maximizing the performance of deep learning models. (github.com) dkhonker/tuning_playbo ......
深度 Learning Playbook 手册 Tuning

课程二第三周：Hyperparameter tuning, Batch Normalization and Programming Frameworks

Hyperparameter tuning Tuning process 到目前为止，接触到的超参数有： 学习效率learning-rate：\(\alpha\) Momentum算法的参数：\(\beta\) 加权平均的参数 Adam算法的参数：\(\beta_1、\beta_2、\epsilon ......
Hyperparameter Normalization Programming Frameworks 课程

基于 P-Tuning v2 进行 ChatGLM2-6B 微调实践

微调类型简介 1. SFT监督微调：适用于在源任务中具有较高性能的模型进行微调，学习率较小。常见任务包括中文实体识别、语言模型训练、UIE模型微调。优点是可以快速适应目标任务，但缺点是可能需要较长的训练时间和大量数据。 2. LoRA微调：通过高阶矩阵秩的分解减少微调参数量，不改变预训练模型参数，新 ......
P-Tuning ChatGLM2 ChatGLM Tuning 6B

LangChain使用fine-tuned GPT-3.5

LangChain使用fine-tuned GPT-3.5 参考： https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates https://platform.openai.com/docs/guides/fine-tunin ......
fine-tuned LangChain tuned fine GPT

CF498B Name That Tune

好像和题解不太一样。 令 \(f_{i,j}\) 为第 \(j\) 秒末识别出第 \(i\) 首歌的概率。那么答案就是 \(\sum\limits_{i=1}^n\sum\limits_{j=1}^Tf_{i,j}\)。 转移分两种： 听完了这首歌都没识别出，此时算是识别出这首歌了，\(f_{i,j ......
498B Name That Tune 498

论文解读（AdSPT）《Adversarial Soft Prompt Tuning for Cross-Domain Sentiment Analysis》

Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：Adversarial Soft Prompt Tuning for Cross-Domain Sentiment Analysis论文作者：Hui Wu、Xiaodong Shi论文来源：2022 ACL ......
Cross-Domain Adversarial Sentiment Analysis Prompt

探索ChatGPT的Fine-tuning和Embeddings

1.概述 今天我们将深入探索ChatGPT的两项核心技术：Fine-tuning（微调）和Embeddings（嵌入）。这些技术在现代自然语言处理领域扮演着至关重要的角色，为模型的性能提升和适应特定任务需求提供了关键支持。ChatGPT作为GPT家族的一员，已经在多个领域展现了出色的表现，而其背后的 ......
Fine-tuning Embeddings ChatGPT tuning Fine

Mysql调优工具：mysqltuner.pl及tuning-primer.sh

一、概述 MySQL调优工具是用于分析和优化MySQL数据库性能的软件工具。它们可以帮助识别潜在的性能瓶颈、优化查询性能、调整配置参数以及提高数据库的吞吐量和响应时间。今天分享2个常用的工具。 mysqltuner.pl：一款免费的Perl脚本工具，用于检查和优化MySQL服务器的配置参数。MySQ ......
tuning-primer mysqltuner 工具 tuning primer

论文解读（IW-Fit）《Better Fine-Tuning via Instance Weighting for Text Classification》

Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：Better Fine-Tuning via Instance Weighting for Text Classification论文作者：论文来源：2021 ACL论文地址：download 论文代码：d ......
Classification Fine-Tuning Weighting Instance IW-Fit

Prefix Tuning代码探索

prefix_tuning.py ```python import torch from transformers import PretrainedConfig class PrefixEncoder(torch.nn.Module): r''' The torch.nn model to enc ......
代码 Prefix Tuning

用断点调试阅读peft源码：prefix tuning

今天我们阅读peft源码，主要是为了弄清楚prefix tuning的工作原理和代码细节。 # 模型定义部分 ```python peft_config = PrefixTuningConfig(task_type=TaskType.SEQ_2_SEQ_LM, inference_mode=Fals ......
断点 源码 prefix tuning peft

GLoRA：One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning

# GLoRA：One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning ## O、Abstract 本文在 LoRA 的基础上，提出一种广义 LoRA （GLoRA，Generalized LoRA）。与 LoRA 相比，G ......
Parameter-Efficient Fine-tuning One-for-All Generalized Efficient

人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法

# 人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 # 1.SFT 监督微调 ## 1.1 SFT 监督微调基本概念 SFT（Supervised Fine-Tuning）监督微调是指在源数据集上预训练一个神经网络模型， ......
方法 人工智能 人工 P-tuning 模型

DreamBooth Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

[TOC] > [Ruiz N., Li Y., Jampani V., Pritch Y., Rubinstein M. and Aberman K. DreamBooth: Fine tuning text-to-image diffusion models for subject-driven ......
Subject-Driven Text-to-Image DreamBooth Generation Diffusion

多模态大语言模型 LlaVA 论文解读：Visual Instruction Tuning

![ ](https://r3mu87a8e6.feishu.cn/space/api/box/stream/download/asynccode/?code=NWE1MDg3NTcwOTljZTFiZTFlMWQwZTdhYmVkYzM1ZjdfRzJUcUV0YzJuM2gwdzVDOThLWk ......
模态 Instruction 模型 语言 Visual

快速理解OpenAI的fine-tune和Embedding

OpenAI 提供了两项基于 GPT-3 模型的能力： fine-tune 微调 embedding 嵌入 fine-tune 一般称之为微调。 模型底层更通用，顶层更垂直，fine-tune 的原理是在不改动（或不能改动）预训练模型的基础上，在模型「顶层」增加分类器或一些特征映射，使微调后的模型能 ......
Embedding fine-tune OpenAI fine tune

QNX-9—QNX官网文档翻译—Performance Tuning

https://www.qnx.com/developers/docs/7.1/index.html#com.qnx.doc.hypervisor.user/topic/perform/perform.html TODO 六、Interrupts 多余的中断会严重影响客户和系统的性能。 在 hype ......
Performance QNX 文档 Tuning

PostgreSQL技术大讲堂 - 第18讲：Tuning Autovacuum

PostgreSQL从小白到专家，是从入门逐渐能力提升的一个系列教程，内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容，希望对热爱PG、学习PG的同学们有帮助，欢迎持续关注CUUG PG技术大讲堂。 Part 18：Vacuum空间管理工具 内容1：什么是 autovac ......
大讲堂 PostgreSQL Autovacuum Tuning 技术
共42篇  :1/2页 首页上一页1下一页尾页