langchain llama2 llama ggml
LangChain=>RecursiveCharacterTextSplitter
LangChain源码： github.com RecursiveCharacterTextSplitter有4个参数： public RecursiveCharacterTextSplitter(List<string>? separators=null, int chunkSize = 4000 ......
Langchain-Chatchat项目：4.2-P-Tuning v2使用的数据集
本文主要介绍P-tuning-v2论文中的5种任务，分别为Glue任务、NER任务、QA任务、SRL任务、SuperGlue任务，重点介绍了下每种任务使用的数据集。 一.Glue任务 GLUE（General Language Understanding Evaluation）是纽约大学、华盛顿大学 ......
使用 Appilot 部署 Llama2，会聊天就行！
Walrus 是一款基于平台工程理念的应用管理平台，致力于解决应用交付领域的深切痛点。借助 Walrus 将云原生的能力和最佳实践扩展到非容器化环境，并支持任意应用形态统一编排部署，降低使用基础设施的复杂度，为研发和运维团队提供易用、一致的应用管理和部署体验，进而构建无缝协作的软件交付流程。 在之前 ......
Langchain-Chatchat项目：4.1-P-Tuning v2实现过程
常见参数高效微调方法(Parameter-Efficient Fine-Tuning，PEFT)有哪些呢？主要是Prompt系列和LoRA系列。本文主要介绍P-Tuning v2微调方法。如下所示： Prompt系列比如，Prefix Tuning(2021.01-Stanford)、Prompt ......
LangChain实战
1.概述 最近，在研究LangChain时，发现一些比较有意思的点，今天笔者将给大家分享关于LangChain的一些内容。 2.内容 2.1 什么是LangChain？ LangChain是一项旨在赋能开发人员利用语言模型构建端到端应用程序的强大框架。它的设计理念在于简化和加速利用大型语言模型（LL ......
实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。快来看看有哪些近期更新吧！ 🎉 新的训练方法 Zephyr-7B 模型超越 70B Lla ......
Langchain语言模型提问请求，提问使用非标准的sse请求获取流式数据，java后台版解决方式
问题描述：请求后接收的数据流，不走EventSourceListener的onEvent事件，但onOpen onClosed都是正常走的。 问题原因：默认的接口返回是StreamingResponse不是EventSourceResponse，无法走标准sse协议的onEvent()方法 目标需求 ......
Falcon：我们是靠洗数据洗败 LLaMA 的！
原文链接：https://blog.csdn.net/qq_27590277/article/details/131298092 思想： 从数据入手，想炼丹，先把好原材料的关。 这个模型仅使用“互联网语料”（不需要额外的数据源），就可以训练一个不错的大模型。 问题点： 数据、wikipedia、论文 ......
Langchain使用自己定义的tool
Langchain使用自己定义的tool 快速开始 tool是agent可用于与世界交互的功能。这些工具可以是通用实用程序（例如搜索）、其他链，甚至是其他代理。 目前，可以使用以下代码片段加载工具： from langchain.agents import load_tools tool_names ......
基于LangChain的LLM应用开发3——记忆
此情可待成追忆，只是当时已惘然。我们人类会有很多或美好或痛苦的回忆，有的回忆会渐渐模糊，有的回忆午夜梦醒，会浮上心头。 然而现在的大语言模型都是没有记忆的，都是无状态的，大语言模型自身不会记住和你对话之间的历史消息。根本用不着“时时勤拂拭”，天然就是“本来无一物”。每一次的请求交互、api调用都是独 ......
langchain
对超长文本进行总结 假如我们想要用 openai api 对一个段文本进行总结，我们通常的做法就是直接发给 api 让他总结。但是如果文本超过了 api 最大的 token 限制就会报错。这时，我们一般会进行对文章进行分段，比如通过 tiktoken 计算并分割，然后将各段发送给 api 进行总结， ......
私密离线聊天新体验！llama-gpt聊天机器人：极速、安全、搭载Llama 2
“私密离线聊天新体验！llama-gpt聊天机器人：极速、安全、搭载Llama 2，尽享Code Llama支持！” 一个自托管的、离线的、类似chatgpt的聊天机器人。由美洲驼提供动力。100%私密，没有数据离开您的设备。 Demo https://github.com/getumbrel/ll ......
开启中文智能之旅：探秘超乎想象的 Llama2-Chinese 大模型世界
“开启中文智能之旅：探秘超乎想象的 Llama2-Chinese 大模型世界” 1.国内Llama2最新下载地址 本仓库中的代码示例主要是基于Hugging Face版本参数进行调用，我们提供了脚本将Meta官网发布的模型参数转换为Hugging Face支持的格式，可以直接通过transforme ......
如何让 Llama2、通义千问开源大语言模型快速跑在函数计算上？
本篇教程先来分享一下第一个部分，如何通过函数计算快速部署 AIGC 相关模型服务包括 LLM 模型和 Embedding(Bert) 模型。 ......
Langchain-Chatchat项目：3-Langchain计算器工具Agent思路和实现
本文主要讨论Langchain-Chatchat项目中自定义Agent问答的思路和实现。以"计算器工具"为例，简单理解就是通过LLM识别应该使用的工具类型，然后交给相应的工具（也是LLM模型）来解决问题。一个LLM模型可以充当不同的角色，要把结构化的Prompt模板写好，充分利用LLM的Zero/O ......
Langchain-Chatchat项目：1-整体介绍
基于Langchain与ChatGLM等语言模型的本地知识库问答应用实现。项目中默认LLM模型改为THUDM/chatglm2-6b[2]，默认Embedding模型改为moka-ai/m3e-base[3]。 一.项目介绍 1.实现原理 本项目实现原理如下图所示，过程包括加载文件->读取文本->文 ......
Langchain-Chatchat项目：1.1-ChatGLM2项目整体介绍
ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第2代版本，引入新的特性包括更长的上下文(基于FlashAttention技术，将基座模型的上下文长度由ChatGLM-6B的2K扩展到了32K，并在对话阶段使用8K的上下文长度训练)；更高效的推理(基于Multi-QueryAtte ......
Langchain-Chatchat项目：1.2-Baichuan2项目整体介绍
由百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在多个权威的中文、英文和多语言的通用、领域benchmark上取得同尺寸最佳的效果，发布包含有7B、13B的Base和经过PPO训练的Chat版本，并提供了Chat版本的4bits量化。 一.Baichuan2模型 B ......
Langchain-Chatchat项目：2.1-通过GPT2模型来检索NebulaGraph
在官方例子中给出了通过chain = NebulaGraphQAChain.from_llm(ChatOpenAI(temperature=0), graph=graph, verbose=True)来检索NebulaGraph图数据库。本文介绍了通过GPT2替换ChatOpenAI的思路和实现，暂 ......
LLM实践-在Colab上使用免费T4 GPU进行Chinese-Llama-2-7b-4bit推理
一、配置环境 1、打开colab，创建一个空白notebook，在[修改运行时环境]中选择15GB显存的T4 GPU. 2、pip安装依赖python包 !pip install --upgrade accelerate !pip install bitsandbytes transformers_ ......
GPT之路(九) LangChain - Memory
记忆封装 - Memory (langchain memory) Memory：这里不是物理内存，从文本的角度，可以理解为“上文”、“历史记录”或者说“记忆力”的管理 ConversationBufferMemory可也用来保留会话信息 In [ ]: from langchain.memory i ......
Llama2-Chinese项目：7-外延能力LangChain集成
本文介绍了Llama2模型集成LangChain框架的具体实现，这样可更方便地基于Llama2开发文档检索、问答机器人和智能体应用等。 1.调用Llama2类 针对LangChain[1]框架封装的Llama2 LLM类见examples/llama2_for_langchain.py，调用代码如下 ......
Llama2-Chinese项目：8-TRL资料整理
TRL（Transformer Reinforcement Learning）是一个使用强化学习来训练Transformer语言模型和Stable Diffusion模型的Python类库工具集，听上去很抽象，但如果说主要是做SFT（Supervised Fine-tuning）、RM（Reward ......
Llama2-Chinese项目：4-量化模型
一.量化模型调用方式 下面是一个调用FlagAlpha/Llama2-Chinese-13b-Chat[1]的4bit压缩版本FlagAlpha/Llama2-Chinese-13b-Chat-4bit[2]的例子： from transformers import AutoTokenizerfro ......
Llama2-Chinese项目：5-推理加速
随着大模型参数规模的不断增长，在有限的算力资源下，提升模型的推理速度逐渐变为一个重要的研究方向。常用的推理加速框架包含lmdeploy、FasterTransformer和vLLM等。 一.lmdeploy推理部署 lmdeploy由上海人工智能实验室开发，推理使用C++/CUDA，对外提供pyth ......
Llama2-Chinese项目：6-模型评测
测试问题筛选自AtomBulb[1]，共95个测试问题，包含：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。 1.测试中的Prompt 例如对于问题"列出5种可以改善睡眠质量的方法"，如下所示： [INST] <<SYS>>You are a helpf ......
文章《Semantic Kernel -- LangChain 的替代品？》的错误和疑问 探讨
微信公众号文章 Semantic Kernel —— LangChain 的替代品?[1] ，它使用的示例代码是Python ，他却发了这么一个疑问：支持的语言对比（因为 Semantic Kernel 是用 C#开发的，所以它对 C#比较支持）如上所示。不清楚 Semantic Kernel 为什 ......
Llama2-Chinese项目：3.2-LoRA微调和模型量化
提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式为"<s>Human: "+问题+"\n</s><s>Assistant: "+答案。本文主要介绍Llama-2-7b模型LoRA微调以及4bit量化的实践过程。 ......
手把手教你在Ubuntu上部署中文LLAMA-2大模型
一、前言 llama2作为目前最优秀的的开源大模型，相较于chatGPT，llama2占用的资源更少，推理过程更快，本文将借助llama.cpp工具在ubuntu(x86\ARM64）平台上搭建纯CPU运行的中文LLAMA2中文模型。 二、准备工作 1、一个Ubuntu环境（本教程基于Ubuntu2 ......
Llama2-Chinese项目：2.3-预训练使用QA还是Text数据集？
Llama2-Chinese项目给出pretrain的data为QA数据格式，可能会有疑问pretrain不应该是Text数据格式吗？而在Chinese-LLaMA-Alpaca-2和open-llama2预训练使用的LoRA技术，给出pretrain的data为Text数据格式。所以推测应该pre ......