526互联

chinese-llama chinese colab llama

在Colab上测试Mamba

我们在前面的文章介绍了研究人员推出了一种挑战Transformer的新架构Mamba 他们的研究表明，Mamba是一种状态空间模型(SSM)，在不同的模式(如语言、音频和时间序列)中表现出卓越的性能。为了说明这一点，研究人员使用Mamba-3B模型进行了语言建模实验。该模型超越了基于相同大小的Tra ......
Colab Mamba

colab使用笔记

常用命令码住 %cd /content/drive/My\ Drive/ME-D2N-test # 进入文件夹` %pwd` !mkdir /content/datasets # 在当前目录下("/content")创建一个叫datasets的文件夹 1如何运行Github项目 # 克隆仓库到/co ......
笔记 colab

如何直接将GitHub中的notebook/ipynb文件在colab中打开

Colab可直接从github打开Jupyter notebooks，只需将“http:// github.com/”替换为“https://colab.research.google.com/github/”，就会直接加载到Colab中。 ......
notebook 文件 GitHub ipynb colab

Windows11下私有化部署大语言模型实战 langchain+llama2

一、本机环境 1.硬件环境： CPU：锐龙5600X 显卡：GTX3070 内存：32G 注：硬件配置仅为博主的配置，不是最低要求配置，也不是推荐配置。 2.软件环境： Windows系统版本：Win11专业版23H2 Python版本：3.11 Cuda版本：12.3.2 VS版本：VS2022 ......
实战 langchain 模型 Windows 语言

非工程师指南: 训练 LLaMA 2 聊天机器人

引言 本教程将向你展示在不编写一行代码的情况下，如何构建自己的开源 ChatGPT，这样人人都能构建自己的聊天模型。我们将以 LLaMA 2 基础模型为例，在开源指令数据集上针对聊天场景对其进行微调，并将微调后的模型部署到一个可分享的聊天应用中。全程只需点击鼠标，即可轻松通往荣耀之路！😀 为什么这 ......
机器人 机器 指南 LLaMA

[ABC268E] Chinese Restaurant (Three-Star Version) 题解

[ABC268E] Chinese Restaurant (Three-Star Version) 题解 思路 hzl大佬的神仙思路。 考虑菜对轮数做贡献，可以发现一定是形如 \(0,1,2,...n/2,...0,..\) 之中的一段，研究 \(0,1,2...,n/2,...,0\)，可以通过二 ......
题解 Restaurant Three-Star Chinese Version

Bert-vits2最终版Bert-vits2-2.3云端训练和推理(Colab免费GPU算力平台)

对于深度学习初学者来说，JupyterNoteBook的脚本运行形式显然更加友好，依托Python语言的跨平台特性，JupyterNoteBook既可以在本地线下环境运行，也可以在线上服务器上运行。GoogleColab作为免费GPU算力平台的执牛耳者，更是让JupyterNoteBook的脚本运行 ......
Bert-vits Bert vits 云端 Colab

llama benchmarks

Introduction Here we re-evaluate llama2 benchmarks to prove its performence. datasets In this blog, we'll test the following datasets shown in the ima ......
benchmarks llama

llama大模型部署

看模型加载的参数设置. import torch # 初始化Half Tensor h = torch.tensor([1.0,2.0,3.0], dtype=torch.half) # h = torch.tensor([1.0,2.0,3.0], dtype=torch.float16) # 跟 ......
模型 llama

llama的hf源码结构

上一个博客我们看了rope. 那么llama的hidden_states就没啥难点了. 再整体把握一下hf里面llama的代码结构. 文件是:D:\Users\admin\miniconda3\Lib\site-packages\transformers\models\llama\modeling_ ......
源码 结构 llama

vscode远程连接colab

一、Colab端 1. 新建脚本 install_colab_ssh.sh，添加如下内容： pip install colab_ssh --upgrade * 直接在colab的notebook的cell中执行会报警： 接着新建一个cell并执行脚本，安装colab_ssh !bash path/t ......
vscode colab

llama的rope源码阅读

关键代码的理解: class LlamaRMSNorm(nn.Module): def __init__(self, hidden_size, eps=1e-6): """ LlamaRMSNorm is equivalent to T5LayerNorm """ super().__init__( ......
源码 llama rope

在灾难推文分析场景上比较用 LoRA 微调 Roberta、Llama 2 和 Mistral 的过程及表现

引言 自然语言处理 (NLP) 领域的进展日新月异，你方唱罢我登场。因此，在实际场景中，针对特定的任务，我们经常需要对不同的语言模型进行比较，以寻找最适合的模型。本文主要比较 3 个模型: RoBERTa、Mistral-7B 及 Llama-2-7B。我们用它们来解决一个常见问题 —— 对灾难相关 ......
灾难 场景 过程 Roberta Mistral

llama-factory fine-tuning 4 (mixtral fine-tuning)

introduction fine-tuning command click to view the code CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage sft \ --do_train \ --model_name_or_p ......
fine-tuning tuning fine llama-factory factory

关于“无法解决 equal to 运算中 "Chinese_PRC_90_CI_AI" 和 "Chinese_PRC_CI_AS" 之间的排序规则冲突。”

在SQL SERVICE的查询的时候遇到了“无法解决 equal to 运算中 "Chinese_PRC_CI_AS" 和 "Chinese_PRC_90_CI_AI" 之间的排序规则冲突。”的错误，导致这个问题的原因是在表创建的时候，两个字段的排序规则不一样导致的， 解决方法：在两边关联条件后增加 ......
quot Chinese Chinese_PRC_CI_AS Chinese_PRC PRC

大模型那么火，教你一键Modelarts玩转开源LlaMA(羊驼)大模型

本文分享自华为云社区《大模型那么火，教你一键Modelarts玩转开源LlaMA(羊驼)大模型》，作者：码上开花_Lancer 。 近日， LlaMA(羊驼)这个大模型再次冲上热搜！ LLaMA（Large Language Model Meta AI），由 Meta AI 发布的一个开放且高效的大 ......
模型 Modelarts LlaMA

llama-factory fine-tuning 3

1 Introduction In this blog, we will use 3 dataset to fine-tuning our model using llama-factory. 2 dataset preparation 2.1 MedQA dataset (address) in ......
llama-factory fine-tuning factory tuning llama

使用 PyTorch FSDP 微调 Llama 2 70B

引言 通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accelerate 和 TRL 库。我们还将展示如何在 SLURM 中使用 Accelerate。 完全分片数据并 ......
PyTorch Llama FSDP 70B 70

使用双卡/8卡3090微调llama2-70B/13B模型

写在前面 本篇博文将会教大家如何在消费级的设备（或者各种超级便宜的洋垃圾上）实现13B/70B等无法在单张消费级显卡上加载（但可以在一台机器上的多张卡上加载）的模型的微调。 由于绝大部分做实验，仅要求实现推理，或者在微调时没有资源上到全量/13B+级别的真·大模型的微调，没有涉及到将一个模型放在多张 ......
模型 llama2 llama 3090 13

使用8卡3090微调llama2-70B模型

写在前面 很多问题尚未弄清，还在进一步调整 目前已知 我用8卡的3090 采用deepspeed ZeRO3进行运行，下面是deepspeed3的配置 1 { 2 "fp16": { 3 "enabled": "auto", 4 "loss_scale": 0, 5 "loss_scale_wind ......
模型 llama2 llama 3090 70

SQL无法解决排序规则 Chinese_PRC_CI_AS 和 Latin1_General_CI_AS 的冲突

最近在执行一些跨库关联查询语句的时候提示了 “Cannot resolve the collatior conflict between "Chinese_PRC_Ci As" and "soL Latini_General_CPi_Ci As" in the equal tol peratn” 的 ......
Latin1_General_CI_AS Chinese_PRC_CI_AS 规则 Chinese General

8卡3090GPU云服务器上采用VLLM部署中文llama2-70b模型及OpenAI格式接口

TigerBot-70b-4k-v4 推理部署 模型本地部署（基于HuggingFace) 根据实际测试，加载模型需要约129G显存，最低需要6张3090显卡（流水线并行） 如果使用vllm进行加速推理（张量并行），考虑8张3090显卡或者4张A100-40G（模型分割要求） 模型下载 截至目前，模 ......
模型 接口 格式 服务器 OpenAI

深入解析LLaMA如何改进Transformer的底层结构

本篇文章将以LLaMA 模型为例，介绍大语言模型架构在Transformer 原始结构上的改进，并介绍Transformer 模型结构中空间和时间占比最大的注意力机制优化方法。 ......
底层 Transformer 结构 LLaMA

llama源码阅读

收到这个启发: https://www.bilibili.com/video/BV1Cw411y7gs/?p=5&spm_id_from=pageDriver&vd_source=d68ed178f151e80fea1e02efd205802c 原来的模型也可以自己单机低成本调试. 这个是调试代码 ......
源码 llama

Google Colab 现已支持直接使用 transformers 库

Google Colab，全称 Colaboratory，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适合机器学习、数据分析和教育目的。从技术上来说，Colab 是一种托管式 Jupyter 笔记本服务。 ......
transformers Google Colab

llama-factory fine-tuning-3 (conception and technologies explanation)

train method supervised fine-tuning Reward Modeling PPO training DPO training full-parameter partial-parameter LoRA QLoRA command parameter fp16 gradi ......
llama-factory technologies explanation fine-tuning conception

llama-factory fine-tuning

data preparation for llama-factory fine-tuning, here is the instruction for custom dataset preparation. dataset classification alpaca stanford_alpaca ......
llama-factory fine-tuning factory tuning llama

medical custom dataset for fine-tuning llama2

data preparation we use huggingface shibin6624/medical to fine-tuning llama2, please note that this dataset is consist of en and cn data, here we just ......
fine-tuning medical dataset custom llama2

Chinese Solution to Plastic Pollution in Philippines

Plastic Pollution in the Philippines A growing middle class, increased consumer demand and a strong economic boom have spurred the Philippines’ econom ......
Philippines Pollution Solution Chinese Plastic

Planting poplar threes—the application of a Chinese way to control soil cadmium pollution in Japan

Situations of soil cadmium pollution in Japan In the last century, there was a serious health accident in Japan, an outbreak of Itai-itai disease, whi ......
application pollution Planting Chinese control
共190篇  :1/7页 首页上一页1下一页尾页