526互联

langchain llama2 llama ggml

开发篇1：使用原生api和Langchain调用大模型

对大模型的调用通常有以下几种方式：方式一、大模型厂商都会定义http风格的请求接口，在代码中可以直接发起http请求调用；方式二、在开发环境中使用大模型厂商提供的api；方式三、使用开发框架Langchain调用，这个就像java对数据库的调用一样，可以直接用jdbc也可以使用第三方框架，第三方框架 ......
Langchain 模型 api

Windows11下私有化部署大语言模型实战 langchain+llama2

一、本机环境 1.硬件环境： CPU：锐龙5600X 显卡：GTX3070 内存：32G 注：硬件配置仅为博主的配置，不是最低要求配置，也不是推荐配置。 2.软件环境： Windows系统版本：Win11专业版23H2 Python版本：3.11 Cuda版本：12.3.2 VS版本：VS2022 ......
实战 langchain 模型 Windows 语言

非工程师指南: 训练 LLaMA 2 聊天机器人

引言 本教程将向你展示在不编写一行代码的情况下，如何构建自己的开源 ChatGPT，这样人人都能构建自己的聊天模型。我们将以 LLaMA 2 基础模型为例，在开源指令数据集上针对聊天场景对其进行微调，并将微调后的模型部署到一个可分享的聊天应用中。全程只需点击鼠标，即可轻松通往荣耀之路！😀 为什么这 ......
机器人 机器 指南 LLaMA

梳理Langchain-Chatchat-UI接口文档

在 Langchain-Chatchat v0.1.17 版本及以前是有前后端分离的 Vue 项目的，但是 v0.2.0 后就没有了。所以本文使用的是 Langchain-Chatchat v0.1.17 版本中的 Vue 项目。经过一番折腾终于将 Langchain-Chatchat v0.1.1 ......
Langchain-Chatchat-UI Langchain Chatchat 接口 文档

langchain 系列

langchain - 基础 langchain - LCEL langchain - Documents langchain - Model langchain - Retrieval langchain - Chains langchain - Agent langchain - Memory ......
langchain

Langchain-Chatchat+Qwen实现本地知识库（二）

在上一篇文章当中，我们已经通过Langchain-Chatchat+Qwen-14b-int4完成了本地知识库的搭建，现在我们通过vue和api接口来做定制的聊天页面，达成下图类似gpt或者其他大模型的显示效果： 1.知识库启动： 见上一篇文章 2.api接口部署： 在/Langchain-Chat ......
Langchain-Chatchat 知识库 Langchain Chatchat 知识

langchain实践

原理篇 LLM模型，学术意义上这个大体现在供给给模型的训练样本很大，对我们使用者来说我们可以认为他海纳百川，有容乃大。学的足够多， 博学。所以你要跟它对话，需要先告诉它你充当的角色是谁，也就是你要获得知识的来源。 LangChain可以标准化和抽象化整个大语言模型使用过程。 文本加载 从各种数据源中 ......
langchain

llama benchmarks

Introduction Here we re-evaluate llama2 benchmarks to prove its performence. datasets In this blog, we'll test the following datasets shown in the ima ......
benchmarks llama

llama大模型部署

看模型加载的参数设置. import torch # 初始化Half Tensor h = torch.tensor([1.0,2.0,3.0], dtype=torch.half) # h = torch.tensor([1.0,2.0,3.0], dtype=torch.float16) # 跟 ......
模型 llama

llama的hf源码结构

上一个博客我们看了rope. 那么llama的hidden_states就没啥难点了. 再整体把握一下hf里面llama的代码结构. 文件是:D:\Users\admin\miniconda3\Lib\site-packages\transformers\models\llama\modeling_ ......
源码 结构 llama

llama的rope源码阅读

关键代码的理解: class LlamaRMSNorm(nn.Module): def __init__(self, hidden_size, eps=1e-6): """ LlamaRMSNorm is equivalent to T5LayerNorm """ super().__init__( ......
源码 llama rope

在灾难推文分析场景上比较用 LoRA 微调 Roberta、Llama 2 和 Mistral 的过程及表现

引言 自然语言处理 (NLP) 领域的进展日新月异，你方唱罢我登场。因此，在实际场景中，针对特定的任务，我们经常需要对不同的语言模型进行比较，以寻找最适合的模型。本文主要比较 3 个模型: RoBERTa、Mistral-7B 及 Llama-2-7B。我们用它们来解决一个常见问题 —— 对灾难相关 ......
灾难 场景 过程 Roberta Mistral

LangChain简介

Chaembedding模型-->向量化-->GanymedeNil/text2vec-large-chinese 主要代码实现500字一段切分，200字符重复 FAISS向量库 优化方向后续计划 agent可以根据不同功能选择不同的接口 ......
LangChain 简介

LangChain简介

Chaembedding模型-->向量化-->GanymedeNil/text2vec-large-chinese 主要代码实现500字一段切分，200字符重复 FAISS向量库 优化方向后续计划 agent可以根据不同功能选择不同的接口 ......
LangChain 简介

llama-factory fine-tuning 4 (mixtral fine-tuning)

introduction fine-tuning command click to view the code CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage sft \ --do_train \ --model_name_or_p ......
fine-tuning tuning fine llama-factory factory

大模型那么火，教你一键Modelarts玩转开源LlaMA(羊驼)大模型

本文分享自华为云社区《大模型那么火，教你一键Modelarts玩转开源LlaMA(羊驼)大模型》，作者：码上开花_Lancer 。 近日， LlaMA(羊驼)这个大模型再次冲上热搜！ LLaMA（Large Language Model Meta AI），由 Meta AI 发布的一个开放且高效的大 ......
模型 Modelarts LlaMA

llama-factory fine-tuning 3

1 Introduction In this blog, we will use 3 dataset to fine-tuning our model using llama-factory. 2 dataset preparation 2.1 MedQA dataset (address) in ......
llama-factory fine-tuning factory tuning llama

向量数据库 及 LangChain 用法

当今科技领域的发展日新月异，向量数据库成为了热门的话题之一。 这些数据库以其高效的向量检索和相似度搜索功能，为各种应用场景提供了强大的支持。 本文旨在汇总向量数据库 Milvus、Zilliz、Faiss、Qdrant、LlamaIndex、Chroma、LanceDB、Pinecone、Weavi ......
向量 LangChain 数据库 数据

使用 PyTorch FSDP 微调 Llama 2 70B

引言 通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accelerate 和 TRL 库。我们还将展示如何在 SLURM 中使用 Accelerate。 完全分片数据并 ......
PyTorch Llama FSDP 70B 70

使用双卡/8卡3090微调llama2-70B/13B模型

写在前面 本篇博文将会教大家如何在消费级的设备（或者各种超级便宜的洋垃圾上）实现13B/70B等无法在单张消费级显卡上加载（但可以在一台机器上的多张卡上加载）的模型的微调。 由于绝大部分做实验，仅要求实现推理，或者在微调时没有资源上到全量/13B+级别的真·大模型的微调，没有涉及到将一个模型放在多张 ......
模型 llama2 llama 3090 13

使用8卡3090微调llama2-70B模型

写在前面 很多问题尚未弄清，还在进一步调整 目前已知 我用8卡的3090 采用deepspeed ZeRO3进行运行，下面是deepspeed3的配置 1 { 2 "fp16": { 3 "enabled": "auto", 4 "loss_scale": 0, 5 "loss_scale_wind ......
模型 llama2 llama 3090 70

8卡3090GPU云服务器上采用VLLM部署中文llama2-70b模型及OpenAI格式接口

TigerBot-70b-4k-v4 推理部署 模型本地部署（基于HuggingFace) 根据实际测试，加载模型需要约129G显存，最低需要6张3090显卡（流水线并行） 如果使用vllm进行加速推理（张量并行），考虑8张3090显卡或者4张A100-40G（模型分割要求） 模型下载 截至目前，模 ......
模型 接口 格式 服务器 OpenAI

深入解析LLaMA如何改进Transformer的底层结构

本篇文章将以LLaMA 模型为例，介绍大语言模型架构在Transformer 原始结构上的改进，并介绍Transformer 模型结构中空间和时间占比最大的注意力机制优化方法。 ......
底层 Transformer 结构 LLaMA

Langchain-Chatchat+Qwen实现本地知识库

1.基础介绍 Langchain-Chatchat一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。大致过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量 ......
Langchain-Chatchat 知识库 Langchain Chatchat 知识

llama源码阅读

收到这个启发: https://www.bilibili.com/video/BV1Cw411y7gs/?p=5&spm_id_from=pageDriver&vd_source=d68ed178f151e80fea1e02efd205802c 原来的模型也可以自己单机低成本调试. 这个是调试代码 ......
源码 llama

LangChain调用本地模型

学习LangChain参考 https://python.langchain.com.cn/docs/get_started/quickstart 调用本地下载的模型参考 https://blog.csdn.net/qq_43692950/article/details/131743987 在Jup ......
LangChain 模型

使用Langchain与ChatGLM实现本地知识库（二）

大语言模型也只是将用户提供的大规模数据集训练而来，也并非万能的什么都知道，特别是一些小众知识、内部数据或私密的个人数据等，此时ChatGLM3肯定会胡乱回答就是ChatGPT4也不一定能给出满意回答；不少公司、个人都有自己的知识库或日志等此时如有可将这些数据以某种方式挂在大模型上此时在知识库存在的知 ......
知识库 Langchain ChatGLM 知识

软件测试/人工智能|一文告诉你LangChain核心模块chains原理

简介 Chain是LangChain的核心模块之一，它将每个零散的逻辑串联成一整个业务流程，相当于是所有复杂逻辑的基础，由此可见chain的重要性非比寻常。本文就来给大家介绍一下Chain模块的原理。 下面是chain的各种类型 设计思路 LangChain 能火爆的主要原因之一就是Chain 的设 ......
人工智能 软件测试 LangChain 人工 模块

llama-factory fine-tuning-3 (conception and technologies explanation)

train method supervised fine-tuning Reward Modeling PPO training DPO training full-parameter partial-parameter LoRA QLoRA command parameter fp16 gradi ......
llama-factory technologies explanation fine-tuning conception

llama-factory fine-tuning

data preparation for llama-factory fine-tuning, here is the instruction for custom dataset preparation. dataset classification alpaca stanford_alpaca ......
llama-factory fine-tuning factory tuning llama
共260篇  :1/9页 首页上一页1下一页尾页