526互联

llama

Windows11下私有化部署大语言模型实战 langchain+llama2

一、本机环境 1.硬件环境： CPU：锐龙5600X 显卡：GTX3070 内存：32G 注：硬件配置仅为博主的配置，不是最低要求配置，也不是推荐配置。 2.软件环境： Windows系统版本：Win11专业版23H2 Python版本：3.11 Cuda版本：12.3.2 VS版本：VS2022 ......
实战 langchain 模型 Windows 语言

非工程师指南: 训练 LLaMA 2 聊天机器人

引言 本教程将向你展示在不编写一行代码的情况下，如何构建自己的开源 ChatGPT，这样人人都能构建自己的聊天模型。我们将以 LLaMA 2 基础模型为例，在开源指令数据集上针对聊天场景对其进行微调，并将微调后的模型部署到一个可分享的聊天应用中。全程只需点击鼠标，即可轻松通往荣耀之路！😀 为什么这 ......
机器人 机器 指南 LLaMA

llama benchmarks

Introduction Here we re-evaluate llama2 benchmarks to prove its performence. datasets In this blog, we'll test the following datasets shown in the ima ......
benchmarks llama

llama大模型部署

看模型加载的参数设置. import torch # 初始化Half Tensor h = torch.tensor([1.0,2.0,3.0], dtype=torch.half) # h = torch.tensor([1.0,2.0,3.0], dtype=torch.float16) # 跟 ......
模型 llama

llama的hf源码结构

上一个博客我们看了rope. 那么llama的hidden_states就没啥难点了. 再整体把握一下hf里面llama的代码结构. 文件是:D:\Users\admin\miniconda3\Lib\site-packages\transformers\models\llama\modeling_ ......
源码 结构 llama

llama的rope源码阅读

关键代码的理解: class LlamaRMSNorm(nn.Module): def __init__(self, hidden_size, eps=1e-6): """ LlamaRMSNorm is equivalent to T5LayerNorm """ super().__init__( ......
源码 llama rope

在灾难推文分析场景上比较用 LoRA 微调 Roberta、Llama 2 和 Mistral 的过程及表现

引言 自然语言处理 (NLP) 领域的进展日新月异，你方唱罢我登场。因此，在实际场景中，针对特定的任务，我们经常需要对不同的语言模型进行比较，以寻找最适合的模型。本文主要比较 3 个模型: RoBERTa、Mistral-7B 及 Llama-2-7B。我们用它们来解决一个常见问题 —— 对灾难相关 ......
灾难 场景 过程 Roberta Mistral

llama-factory fine-tuning 4 (mixtral fine-tuning)

introduction fine-tuning command click to view the code CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage sft \ --do_train \ --model_name_or_p ......
fine-tuning tuning fine llama-factory factory

大模型那么火，教你一键Modelarts玩转开源LlaMA(羊驼)大模型

本文分享自华为云社区《大模型那么火，教你一键Modelarts玩转开源LlaMA(羊驼)大模型》，作者：码上开花_Lancer 。 近日， LlaMA(羊驼)这个大模型再次冲上热搜！ LLaMA（Large Language Model Meta AI），由 Meta AI 发布的一个开放且高效的大 ......
模型 Modelarts LlaMA

llama-factory fine-tuning 3

1 Introduction In this blog, we will use 3 dataset to fine-tuning our model using llama-factory. 2 dataset preparation 2.1 MedQA dataset (address) in ......
llama-factory fine-tuning factory tuning llama

使用 PyTorch FSDP 微调 Llama 2 70B

引言 通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accelerate 和 TRL 库。我们还将展示如何在 SLURM 中使用 Accelerate。 完全分片数据并 ......
PyTorch Llama FSDP 70B 70

使用双卡/8卡3090微调llama2-70B/13B模型

写在前面 本篇博文将会教大家如何在消费级的设备（或者各种超级便宜的洋垃圾上）实现13B/70B等无法在单张消费级显卡上加载（但可以在一台机器上的多张卡上加载）的模型的微调。 由于绝大部分做实验，仅要求实现推理，或者在微调时没有资源上到全量/13B+级别的真·大模型的微调，没有涉及到将一个模型放在多张 ......
模型 llama2 llama 3090 13

使用8卡3090微调llama2-70B模型

写在前面 很多问题尚未弄清，还在进一步调整 目前已知 我用8卡的3090 采用deepspeed ZeRO3进行运行，下面是deepspeed3的配置 1 { 2 "fp16": { 3 "enabled": "auto", 4 "loss_scale": 0, 5 "loss_scale_wind ......
模型 llama2 llama 3090 70

8卡3090GPU云服务器上采用VLLM部署中文llama2-70b模型及OpenAI格式接口

TigerBot-70b-4k-v4 推理部署 模型本地部署（基于HuggingFace) 根据实际测试，加载模型需要约129G显存，最低需要6张3090显卡（流水线并行） 如果使用vllm进行加速推理（张量并行），考虑8张3090显卡或者4张A100-40G（模型分割要求） 模型下载 截至目前，模 ......
模型 接口 格式 服务器 OpenAI

深入解析LLaMA如何改进Transformer的底层结构

本篇文章将以LLaMA 模型为例，介绍大语言模型架构在Transformer 原始结构上的改进，并介绍Transformer 模型结构中空间和时间占比最大的注意力机制优化方法。 ......
底层 Transformer 结构 LLaMA

llama源码阅读

收到这个启发: https://www.bilibili.com/video/BV1Cw411y7gs/?p=5&spm_id_from=pageDriver&vd_source=d68ed178f151e80fea1e02efd205802c 原来的模型也可以自己单机低成本调试. 这个是调试代码 ......
源码 llama

llama-factory fine-tuning-3 (conception and technologies explanation)

train method supervised fine-tuning Reward Modeling PPO training DPO training full-parameter partial-parameter LoRA QLoRA command parameter fp16 gradi ......
llama-factory technologies explanation fine-tuning conception

llama-factory fine-tuning

data preparation for llama-factory fine-tuning, here is the instruction for custom dataset preparation. dataset classification alpaca stanford_alpaca ......
llama-factory fine-tuning factory tuning llama

medical custom dataset for fine-tuning llama2

data preparation we use huggingface shibin6624/medical to fine-tuning llama2, please note that this dataset is consist of en and cn data, here we just ......
fine-tuning medical dataset custom llama2

使用llama构建一个蜜罐(前端)

title: 使用llama构建一个蜜罐(前端) banner_img: https://cdn.studyinglover.com/pic/2023/07/e9a49d4a404ed9bc4b0f119249194e3d.png date: 2023-8-1 00:12:00 tags: - 网络 ......
蜜罐 前端 llama

使用llama构建一个蜜罐(后端)

title: 使用llama构建一个蜜罐(后端) banner_img: https://cdn.studyinglover.com/pic/2023/07/869e354fa5d2254251c10bc2e3cf1bef.png date: 2023-7-29 17:52:00 tags: - 网 ......
蜜罐 llama

cloudlflare推理llama2

title: cloudlflare推理llama2 banner_img: https://cdn.studyinglover.com/pic/2023/10/0863cb015e8d69fbce68ebe57bea96d8.jpg date: 2023-10-11 15:32:00 catego ......
cloudlflare llama2 llama

GPU部署llama-cpp-python(llama.cpp通用)

title: GPU部署llama-cpp-python(llama.cpp通用) banner_img: https://cdn.studyinglover.com/pic/2023/08/a5e39db5abf0853e6c456728df8bd971.jpg date: 2023-8-6 23 ......
llama llama-cpp-python cpp python GPU

快速上手llama2.c

title: 快速上手llama2.c banner_img: https://github.com/karpathy/llama2.c/blob/master/assets/llama_cute.jpg date: 2023-7-25 16:19:00 tags: - 踩坑 快速上手llama2. ......
llama2 llama

快速上手llama2.c(更新版)

title: 快速上手llama2.c(更新版) banner_img: https://github.com/karpathy/llama2.c/blob/master/assets/llama_cute.jpg date: 2023-7-28 16:31:00 tags: - 踩坑 快速上手ll ......
llama2 llama

huggingface_hub.utils._validators.HFValidationError: Repo id must be in the form 'repo_name' or 'namespace/repo_name': '/llama-2-7b-chat-hf-chinese/1.1'. Use `repo_type` argument if needed.

问题： 2023-11-26 07:45:38 | ERROR | stderr | raise HFValidationError(2023-11-26 07:45:38 | ERROR | stderr | huggingface_hub.utils._validators.HFValidati ......
repo_name 39 repo 7b-chat-hf-chinese HFValidationError

全新Self-RAG框架亮相，自适应检索增强助力超越ChatGPT与Llama2，提升事实性与引用准确性

全新Self-RAG框架亮相，自适应检索增强助力超越ChatGPT与Llama2，提升事实性与引用准确性 1. 基本思想 大型语言模型（LLMs）具有出色的能力，但由于完全依赖其内部的参数化知识，它们经常产生包含事实错误的回答，尤其在长尾知识中。 为了解决这一问题，之前的研究人员提出了检索增强生成（ ......
事实性 框架 Self-RAG 准确性 事实

安装llama.cpp遇到的问题

llama.cpp 在ubuntu环境下编译： 1. 下载好模型文件，如 llama-2-7b-chat-hf； Mistral-7B-Instruct-v0.1/ggml-model-f16-q8_0.gguf2. 建立conda环境 conda create -n llamacpp python ......
问题 llama cpp

【随手记录】Llama Tutorial 大语言模型实践

这个tutorial的契机是yy突然看到了一个workshop 所以类似于一周大作业的形式，输入command输出使用了自动驾驶哪些模块，代码在这里 所以就干一干，顺便写一个tutorial给大家参考和教程 引申更多的应用 参考资料： https://github.com/facebookresea ......
Tutorial 模型 语言 Llama

零一万物回应「抄袭 LLaMA」；京东原副总裁试用可穿戴人工喉丨 RTE 开发者日报 Vol.85

开发者朋友们大家好： 这里是 「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的 新闻 」、「有态度的 观点 」、「有意思的 数据 」、「有思考的 文章 」、「有看点的 会议 」，但内容仅代表编 ......
开发者 副总 万物 人工 日报
共119篇  :1/4页 首页上一页1下一页尾页