llama
OpenBuddy-LLaMA2-70B的三种部署方式
根据实际测试，加载模型需要130G显存，最低需要4张A100*40G显卡。 1.基于Transformers库推理： 首先安装最新版本的transformers： git clone https://github.com/huggingface/transformers.git cd transfo ......
DPO Llama
转：https://huggingface.co/blog/zh/dpo-trl 简介 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步，它可以确保语言模 ......
Llama-2 推理和微调的硬件要求总结：RTX 3080 就可以微调最小模型
大语言模型微调是指对已经预训练的大型语言模型（例如Llama-2，Falcon等）进行额外的训练，以使其适应特定任务或领域的需求。微调通常需要大量的计算资源，但是通过量化和Lora等方法，我们也可以在消费级的GPU上来微调测试，但是消费级GPU也无法承载比较大的模型，经过我的测试，7B的模型可以在3 ......
1800亿参数，世界顶级开源大模型Falcon官宣！碾压LLaMA 2，性能直逼GPT-4
前言 一经发布，地表最强开源模型Falcon 180B直接霸榜HF。3.5万亿token训练，性能直接碾压Llama 2。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部 ......
Llama2-Chinese项目：1-项目介绍和模型推理
Atom-7B与Llama2间的关系：Atom-7B是基于Llama2进行中文预训练的开源大模型。为什么叫原子呢？因为原子生万物，Llama中文社区希望原子大模型未来可以成为构建AI世界的基础单位。目前社区发布了6个模型，如下所示： FlagAlpha/Atom-7BFlagAlpha/Llama2 ......
LLamaSharp - .NET Binding for llama.cpp
https://github.com/SciSharp/LLamaSharp The C#/.NET binding of llama.cpp. It provides APIs to inference the LLaMa Models and deploy it on local environ ......
Code Llama：Llama 2 学会写代码了！
## 引言 Code Llama 是为代码类任务而生的一组最先进的、开放的 [Llama 2](https://huggingface.co/blog/zh/llama2) 模型，我们很高兴能将其集成入 Hugging Face 生态系统！Code Llama 使用与 Llama 2 相同的社区许可 ......
如何让 Llama2、通义千问开源大语言模型快速跑在函数计算上？
> 本文是“在Serverless平台上构建AIGC应用”系列文章的第一篇文章。 ## **前言** 随着ChatGPT 以及 Stable Diffusion,Midjourney 这些新生代 AIGC 应用的兴起，围绕AIGC应用的相关开发变得越来越广泛，有呈井喷之势，从长远看这波应用的爆发不仅 ......
Ziya-LLaMA-13B 模型在GPU 上部署
# Ziya-LLaMA-13B 模型在GPU 上部署 Ziya-LLaMA-13B是IDEA-CCNL基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。目前姜子牙通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习 ......
微调llama2模型教程：创建自己的Python代码生成器
本文将演示如何使用PEFT、QLoRa和Huggingface对新的lama-2进行微调，生成自己的代码生成器。所以本文将重点展示如何定制自己的llama2，进行快速训练，以完成特定任务。 https://avoid.overfit.cn/post/9794c9eef1df4e55adf514b3d ......
亲自跑 llama2的 微调代码
https://www.kaggle.com/zhangbo2008/train-llama2-best 效果图: 这周周末在家会录制这套流程的运行的视频, 有需要的老铁可以关注一下. ......
轻松玩转70亿参数大模型！借助Walrus在AWS上部署Llama2
Llama 2 是 Meta 的下一代开源大语言模型。它是一系列经过预训练和微调的模型，参数范围从 70 亿到 700 亿个。Meta Llama 2 可免费用于研究和商业用途并且提供了一系列具有不同大小和功能的模型，因此一经发布备受关注。在[之前的文章](https://www.cnblogs.c ......
使用 DPO 微调 Llama 2
## 简介 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步，它可以确保语言模型的输出符合人类在闲聊或安全性等方面的期望。然而，它也给 NLP 引入了一些 ......
LangChain + Streamlit + Llama：将对话式AI引入本地机器
在过去的几个月里，大型语言模型（LLM）获得了极大的关注，引起了全球开发人员的兴趣。这些模型创造了令人兴奋的前景，特别是对于从事聊天机器人、个人助理和内容创作的开发人员而言。LLM带来的可能性引发了开发人员的热情 |人工智能 |NLP社区。 ......
在树莓派中跑迷你Llama2中文模型
OpenAI的Karpathy利用周末搞了一个迷你Llama2项目llama2.c用500行C语言实现无任何依赖项的推理程序，此项目在github发布以来衍生出了基于各种语言的迷你Llama推理实现llama2.go、llama2.java、llama2.py等等； 但该项目原本的模型并不支持中文， ......
利用text-generation-webui快速搭建chatGLM2-6b/LLAMA2-7B-chat大模型运行环境
text-generation-webui 是一个基于Gradio的LLM Web UI开源项目，可以利用其快速搭建各种文本生成的大模型环境。 一、安装 text-generation-webui的readme其实已写得相当详细了，这里就不再重复，只说1个可能存在的坑： 安装 peft 安装卡住 r ......
Sealos 国内集群正式上线，可一键运行 LLama2 中文版大模型！
2023 年 7 月 19 日，MetaAI 宣布开源旗下的 LLama2 大模型，Meta 首席科学家、图灵奖得主 Yann LeCun 在推特上表示 Meta 此举可能将改变大模型行业的竞争格局。一夜之间，大模型格局再次发生巨变。  Llama 2 是一个由 Meta 开发的大型语言模型，是 LLaMA 1 的继任者。Llama 2 可通过 AWS、Hugging F ......
Hugging News #0814: Llama 2 学习资源大汇总
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！ 🎉😍 ## 重磅更新 # ......
国产130亿参数大模型免费商用！性能超Llama2-13B，支持8k上下文，哈工大已用上
前言 国产大模型，再次迎来新玩家！ 本文转载自量子位 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线!! ......
开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2等模型，开箱即用
# 开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2等模型，开箱即用 
https://blog.csdn.net/Fatfish7/article/details/131925595 先说结论全精度llama2 7B最低显存要求：28GB全精度llama2 13B最低显存要求：52GB全精度llama2 70B最低显存要求：280GB 16精度llama2 7B预测最 ......
ChatGenTitle：使用百万arXiv论文信息在LLaMA模型上进行微调的论文题目生成模型
# ChatGenTitle：使用百万arXiv论文信息在LLaMA模型上进行微调的论文题目生成模型  的微调模型。通过中文金融公开问答数据+爬取的金融问答数据构建指令数据集，并在此基础上对 LLaMA 系 ......
Llama2 论文中译版——开放式基础和微调聊天模型
# Llama 2：开放式基础和微调聊天模型 ## 写在前头 因为最近一直在使用 LLM 工具，所以在学习 [Llama 2：开放式基础和微调聊天模型](https://ai.meta.com/research/publications/llama-2-open-foundation-and-fin ......
灵雀云Alauda MLOps 现已支持 Meta LLaMA 2 全系列模型
在人工智能和机器学习领域，语言模型的发展一直是企业关注的焦点。然而，由于硬件成本和资源需求的挑战，许多企业在应用大模型时仍然面临着一定的困难。为了帮助企业更好地应对上述挑战，灵雀云于近日宣布，企业可通过Alauda MLOps（以下简称AML）使用由 Meta 开发的 LLaMA 2 全系列模型。 ......
Llama 2 来袭 - 在 Hugging Face 上玩转它
## 引言 今天，Meta 发布了 Llama 2，其包含了一系列最先进的开放大语言模型，我们很高兴能够将其全面集成入 Hugging Face，并全力支持其发布。 Llama 2 的社区许可证相当宽松，且可商用。其代码、预训练模型和微调模型均于今天发布了🔥。 通过与 Meta 合作，我们已经顺利 ......