526互联

Lora

在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化

前言 LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 本文转载自DeepHub IMBA 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技 ......
检查点 梯度 方法 LoRA GPU

基于LoRa和WiFi通信技术的智能感应主要内容是什么？

基于LoRa和WiFi通信技术的智能感应是一个复杂的过程，需要多方面的知识和技能，包括硬件设计、软件开发、云端设计和应用场景分析等。 ......
通信技术 智能 内容 技术 LoRa

在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化

LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 梯度检查点 梯度检查点是一种在神经网络训练过程中使动态计算只存储最小层数的技术。 为了理解这个过程，我们需要了解反向传播是如何执行的，以及 ......
检查点 梯度 方法 LoRA GPU

Lora简介

断断续续接触lora已经有几年时间了，一直用lora来做点对点的传输，近来有朋友想通过Lora来做广播群发和群收管理，想通过低成本方式实现，sx1302几百的银子，成本有点高，尝试通过sx1278/LLCC68来解决； Lora优点介绍： 一、抗干扰性强，灵敏度高 LoRa采用了独有的LoRa无线扩 ......
简介 Lora

简单Lora爬虫

# demo ```python import time from random import random import re import requests BASE_URL = 'https://api.esheep.com/gateway/model/list' INVALID_CHARS ......
爬虫 Lora

GLoRA：One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning

# GLoRA：One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning ## O、Abstract 本文在 LoRA 的基础上，提出一种广义 LoRA （GLoRA，Generalized LoRA）。与 LoRA 相比，G ......
Parameter-Efficient Fine-tuning One-for-All Generalized Efficient

人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法

# 人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 # 1.SFT 监督微调 ## 1.1 SFT 监督微调基本概念 SFT（Supervised Fine-Tuning）监督微调是指在源数据集上预训练一个神经网络模型， ......
方法 人工智能 人工 P-tuning 模型

LoRA：Low-Rank Adaptation Of Language Model

# LoRA：Low-Rank Adaptation Of Language Model ## O、摘要 本文提出一种新的大模型（本文主要指 transformer）微调方法：低秩自适应。其主要特性为，冻结预训练模型的权重，并将可训练低秩矩阵，分解到模型的每一层，从而大大减少下游任务的训练参数量。与 ......
Adaptation Language Low-Rank Model LoRA

标准夹装中型传感器TM-1外夹式安装无损安装lora/4G/wifi无线超声波流量计

19936624847 daq-iot.com ......
流量计 超声 超声波 传感器 流量

AI绘画：StableDiffusion炼丹Lora攻略-实战萌宠图片生成

## 写在前面的话 近期在小红书发现了许多极其可爱、美观的萌宠图片，对这些美妙的图像深深着迷 于是想着看看利用AI绘画StableDiffusion以下简称（SD）做出来。 以下是详细实操的全过程，包括所有用的资料已经打包到网盘。 ![](https://img2023.cnblogs.com/bl ......
StableDiffusion 绘画 实战 攻略 图片

大模型微调技术LoRA与QLoRA

LoRA: Low-Rank Adaptation of Large Language Models 动机 大模型的参数量都在100B级别，由于算力的吃紧，在这个基础上进行所有参数的微调变得不可能。LoRA正是在这个背景下提出的解决方案。 原理 虽然模型的参数众多，但其实模型主要依赖低秩维度的内容( ......
模型 QLoRA 技术 LoRA

Diffusers框架使用Civitai上的checkpoit和lora模型

1、实验室有一台带显卡的机器，能访问huggingface但访问不了Civitai，而Civitai上的模型多是webui训练来的也不能直接用到diffusers框架上，于是需要利用Colab把Civitai上的模型转化成diffusers可用再上传到huggingface上，再下载到本地。 2、g ......
Diffusers checkpoit 框架 模型 Civitai

SX130芯片的LoRa网关吞吐量是SX127芯片的多少倍？

LoRa网关模块应用的SX1301芯片数据吞吐量是SX1276/8芯片的多少倍？网关是连接2个不同网络的设备。如果一个设备，它能将LoRa无线网络和Internet连接起来，它就是一个LoRa网关。 ......
芯片 吞吐量 网关 SX LoRa

【了解LLM】——LoRA

本文地址:https://www.cnblogs.com/wanger-sjtu/p/17470327.html - 论文链接：[link](https://arxiv.org/abs/2106.09685) - code: [github](https://github.com/microsoft ......
LoRA LLM

stm32+sx1268 LORA通信

前言： 由于亿佰特的lora代码不好移植，基于stm8且是IAR编译器，对于代码的处理很大困难。所以我通过搜索资料发现了泽耀科技的同配置的lora模块写了关于stm32的代码。 在实验中，我将买回来的lora模块的引脚按照手册上的需要引出并打板焊接（SPI通信的lora模块），通过stm32连接lo ......
1268 LORA stm 32 sx

LoRa开启物联网新时代-ASR6500S、ASR6501/6502、ASR6505、ASR6601

在2018年杭州云栖大会上，阿里云首席智联网科学家丁险峰宣布启动“达尔文计划”，旨在通过一系列的包括平台、芯片和微基站在内的全链路生态服务，交付给企业客户一张自有可控的物联网。 在云栖大会户外上空悬停着一架印有“天空物联网”LOGO的飞艇，同时它搭载了LoRa物联网关，当它被启动，现场的物联网设备迅 ......
ASR 新时代 LoRa 6500 6501

单片机应用之LORA

# 一、LORA概览 ![image](https://img2023.cnblogs.com/blog/2239641/202305/2239641-20230526180415622-130681948.png) LORA组织 ## .1 lora联盟 LoRa联盟：LoRaWAN规范的制定组织 ......
单片机 LORA

华普物联HP-RSLORA-P507 RS232/RS485串口LORA数传终端

产品概述 HP-RSLORA-P507支持点对点通信协议的低频半双工 LoRa数传终端，使用RS232或RS485 进行收发，降低了无线应用的门槛，可实现串口到 LoRa 的数据互传。LoRa 具有传输距离远、功率密度集中、抗干扰能力强的优势。 定制化一体服务 公司介绍 公司简介 深圳华普物联科技是 ......
串口 HP-RSLORA-P 终端 RSLORA RS

华普物联HP-LORA-GW400 4G/以太网LORA网关

产品概述 HP-LORA-GW400是一款基于 LoRa 私有协议的集中器，通过华普私有协议实现集中器与LoRa 节点自由组网、集中器与服务器通讯，监控终端设备数据、集中器离线报警、追踪集中器位置、监测信号质量、监测数据流量等功能。 定制化一体服务 公司介绍 公司简介 深圳华普物联科技是一家专注于物 ......
以太网 LORA 网关 HP-LORA-GW 400

GPT大语言模型Alpaca-lora本地化部署实践【大语言模型实践一】

本文进行本地化部署实践的Alpaca-lora模型就是Alpaca模型的低阶适配版本。本文将对Alpaca-lora模型本地化部署、微调和推理过程进行实践并描述相关步骤。 ......
模型 语言 Alpaca-lora Alpaca lora

lora串口通信实验

记录一下lora串口通信的测试 用的亿佰特E32 170T30D（230的大概率也是一样的，后面测一下）+STM32F103（正点原子的mini，后面会改成小的stm32板子方便使用）+lora的TTL工具E15-USB-T2+电脑 因为亿佰特的引脚很多，对于M0M1还有AUX这种配置工作状态的引脚 ......
串口 lora

解密Prompt系列6. lora指令微调扣细节-请冷静,1个小时真不够~

上一章介绍了如何基于APE+SELF自动化构建指令微调样本。这一章咱就把微调跑起来，主要介绍以Lora为首的低参数微调原理，环境配置，微调代码，以及大模型训练中显存和耗时优化的相关技术细节 ......
指令 不够 细节 小时 Prompt

AI绘图!Lora训练简明教程

如果想要快速训练,使用B站up主秋叶的整合包搭配视频【AI绘画】最佳人物模型训练！保姆式LoRA模型训练教程 一键包发布_哔哩哔哩_bilibili即可. 训练的基本逻辑就是首先进行预处理,可以通过stable diffusion web ui中的预处理,也可以通过ps这种图片处理软件,比如我想训练 ......
简明教程 教程 Lora

你也可以动手参数有效微调：LoRA、Prefix Tuning、P-Tuning、Prompt Tuning

Part1前言 随着大语言模型的流行，如何让大模型在消费级GPU上进行微调训练成为了热点。掌握参数有效微调成为每个自然语言处理工程师必不可少的技能，正好hugging face开源了一个PEFT库，让我们也能够自己动手去了解参数有效微调。接下来以中文情感分析（二分类）去了解下参数有效微调。 使用的方 ......
Tuning P-Tuning 参数 Prefix Prompt

LoRA（Low-Rank Adaptation of Large Language Models）-- 一种大模型prompt-tuning调优方法

一、Pre-train + Fine-tuning范式 0x1：为什么要微调 对于数据集本身很小（几千张图片/几千段文本）的情况，从头开始训练具有几千万参数的大型神经网络是不现实的，因为越大的模型对数据量的要求越大，过拟合无法避免。这时候如果还想用上大型神经网络的超强特征提取能力，只能靠微调已经训练 ......
prompt-tuning Adaptation Language Low-Rank 模型

使用 LoRA 和 Hugging Face 高效训练大语言模型

在本文中，我们将展示如何使用 大语言模型低秩适配 (Low-Rank Adaptation of Large Language Models，LoRA) 技术在单 GPU 上微调 110 亿参数的 FLAN-T5 XXL 模型。在此过程中，我们会使用到 Hugging Face 的 Transfor ......
模型 Hugging 语言 LoRA Face

如何使用Alpaca-LoRA来微调ChatGPT这样的模型？

原文标题：How to use Alpaca-LoRA to fine-tune a model like ChatGPT 原文地址：https://replicate.com/blog/fine-tune-alpaca-with-lora?continueFlag=4ecae39885197a5c ......
Alpaca-LoRA 模型 ChatGPT Alpaca LoRA

stable diffusion打造自己专属的LORA模型

通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的，你肯定很好奇，我也想训练一个自己的专属模型（也叫炼丹～_～）。 甚至可以训练一个专属家庭版的模型（family model），非常有意思。 将自己的训练好的Lora模型放到stableDiffusion lora 目录中 ......
diffusion 模型 stable LORA

【论文翻译】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 论文地址：https://arxiv.org/pdf/2106.09685.pdf 代码地址：https://github.com/microsoft/LoRA 摘要 自然语言处理的一个重要范式包 ......
论文翻译 ADAPTATION LOW-RANK MODELS 论文

推荐给大家一款高性价比的LoRa物联网网关

又和大家见面了，今天我们话不多说，东东想给大家介绍一款非常出色的LoRa物联网网关——OGC300。这款产品由东用科技推出，具有高度灵活性、优秀的性价比和完美的兼容性等优点，安全可靠，易于管理和维护，非常适合物联网应用中的数据传输需求。 OGC300采用了先进的SX1302芯片，拥有八通道，可以支持 ......
网关 性价比 LoRa
共62篇  :2/3页 首页上一页2下一页尾页