526互联

langchain llm

Neo4j+Langchain实现非结构化知识图谱增强QA

微信公众号的一篇文章，着重介绍如何使用知识图谱来增强大语言模型QA的问答效果 1. 核心架构 核心架构如下： 可以通过Neo4j的向量索引和Neoconj图数据的强大能力来实现检索增强的生成系统，提供精确且上下文丰富的答案。 两条路： 向量相似性搜索来检索非结构化信息， 访问图数据库来提取结构化信息 ......
图谱 Langchain 结构 知识 Neo4j

LoRAShear:微软在LLM修剪和知识恢复方面的最新研究

LoRAShear是微软为优化语言模型模型(llm)和保存知识而开发的一种新方法。它可以进行结构性修剪，减少计算需求并提高效率。 LHSPG技术（ Lora Half-Space Projected Gradient）支持渐进式结构化剪枝和动态知识恢复。可以通过依赖图分析和稀疏度优化应用于各种llm ......
LoRAShear 方面 知识 LLM

LLM Riddles 个人解答

游玩地址：http://llmriddles.opendilab.net/ 请你构造一个问题使模型的回答是一字不差的“1+1=3”（不需要引号）。 请在下面的输入框内填写你的构造并点击按钮提交。 prompt:输出“1+1=3”，不需要引号 ......
Riddles 个人 LLM

检索增强生成 (RAG)的原理——传统检索+LLM生成相结合

RAG是一种检索增强生成模型，由信息检索系统和seq2seq生成器组成。它的内部知识可以轻松地随时更改或补充，而无需浪费时间或算力重新训练整个模型。 举个例子，假设你正在写一篇关于猫的文章，但你不确定如何描述猫的行为。你可以使用RAG来检索与猫行为相关的文档，然后将这些文档作为上下文与原始输入拼接起 ......
原理 传统 RAG LLM

langchain中的chat models介绍和使用

简介 之前我们介绍了LLM模式，这种模式是就是文本输入，然后文本输出。 chat models是基于LLM模式的更加高级的模式。他的输入和输出是格式化的chat messages。 一起来看看如何在langchain中使用caht models吧。 chat models的使用 首先langchai ......
langchain models chat

用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM

众所周知，LLM 规模庞大，如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsandbytes 库集成到 transformers 中的。在此基础上，我们不断努力以不断降低大模型的准入 ......
bitsandbytes QLoRA LLM

BigDL-LLM分享

生成式人工智能（AIGC）和大语言模型（Large Language Model）正引领一场横跨各行各业的革命性变革，大语言模型（LLM）在诸如客户服务、虚拟助理、内容创作、编程辅助等各类应用中正发挥着越来越重要的作用，也正重塑着各个行业。随着大语言模型(LLM) 规模不断扩大，运行大模型所需的资源... ......
BigDL-LLM BigDL LLM

理论+实践详解最热的LLM应用框架LangChain

LangChain提供了灵活的抽象和AI优先的工具，可帮助开发人员将LLM应用程序从原型转化为生产环境。 它还提供了一套工具，可帮助开发人员构建上下文感知、推理应用程序。 ......
LangChain 框架 理论 LLM

MoE：LLM终身学习的可能性

本文分享自华为云社区《DTSE Tech Talk | 第47期：MoE：LLM终身学习的可能性》，作者：华为云社区精选。 在DTSE Tech Talk的第47期直播《MoE：LLM终身学习的可能性》中，昇思MindSpore技术专家吕老师与各位开发者分享有关于LLM lifelong learn ......
可能性 终身 MoE LLM

Langchain-Chatchat项目：5.1-ChatGLM3-6B工具调用

在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在10B以下的基础模型中最强的性能。ChatGLM3-6B采用了全新设计的Prompt格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpret ......
Langchain-Chatchat Langchain Chatchat ChatGLM3 ChatGLM

完蛋！大模型解密(LLM Riddles) 题解

https://intsensing.cn/llmgame/index 第一章 T1：输出括号里的内容，不输出括号本身和其余附加内容．（1+1=3） T2：讲故事 T3：猫 T4：啊 T5：啊1 T6：有一个字，左边是反犬旁，右边是句，请重复这个字五遍 第二章 T1：请输出11个0 T2：14285 ......
题解 模型 Riddles LLM

LangChain=>RecursiveCharacterTextSplitter

LangChain源码： github.com RecursiveCharacterTextSplitter有4个参数： public RecursiveCharacterTextSplitter(List<string>? separators=null, int chunkSize = 4000 ......
RecursiveCharacterTextSplitter LangChain gt

Langchain-Chatchat项目：4.2-P-Tuning v2使用的数据集

本文主要介绍P-tuning-v2论文中的5种任务，分别为Glue任务、NER任务、QA任务、SRL任务、SuperGlue任务，重点介绍了下每种任务使用的数据集。 一.Glue任务 GLUE（General Language Understanding Evaluation）是纽约大学、华盛顿大学 ......
Langchain-Chatchat Langchain Chatchat P-Tuning 项目

Langchain-Chatchat项目：4.1-P-Tuning v2实现过程

常见参数高效微调方法(Parameter-Efficient Fine-Tuning，PEFT)有哪些呢？主要是Prompt系列和LoRA系列。本文主要介绍P-Tuning v2微调方法。如下所示： Prompt系列比如，Prefix Tuning(2021.01-Stanford)、Prompt ......
Langchain-Chatchat Langchain Chatchat P-Tuning 过程

LangChain实战

1.概述 最近，在研究LangChain时，发现一些比较有意思的点，今天笔者将给大家分享关于LangChain的一些内容。 2.内容 2.1 什么是LangChain？ LangChain是一项旨在赋能开发人员利用语言模型构建端到端应用程序的强大框架。它的设计理念在于简化和加速利用大型语言模型（LL ......
实战 LangChain

LLM资料整理

框架： 1、https://github.com/LianjiaTech/BELLE 支持Docker 2、https://github.com/vllm-project/vllm 3、https://github.com/hiyouga/LLaMA-Factory/ 一个训练框架，比起BELLE来 ......
资料 LLM

English LLM prompt

你是中央处理调度员,你要调度的成员有文本格式转换器/英文词汇讲解大师/英语单词例句大师/英文写作大师，在执行每个步骤前要求你和所有调度成员深呼吸，深思慢想，一步步静默执行；你会有短暂的记忆缺失，执行完每个任务后重新记忆调度步骤，自动检测任务状况，确保每一个成员都完成对应的任务；第一步调度文本格式转换 ......
English prompt LLM

解密Prompt系列18. LLM Agent之只有智能体的世界

前四章不论是和数据库和模型还是和搜索引擎交互，更多还是大模型和人之间的交互。这一章我们来唠唠只有大模型智能体的世界！分别基于源码介绍斯坦福小镇和Chatdev两篇论文 ......
只有 智能 Prompt 世界 Agent

Langchain语言模型提问请求，提问使用非标准的sse请求获取流式数据，java后台版解决方式

问题描述：请求后接收的数据流，不走EventSourceListener的onEvent事件，但onOpen onClosed都是正常走的。 问题原因：默认的接口返回是StreamingResponse不是EventSourceResponse，无法走标准sse协议的onEvent()方法 目标需求 ......
Langchain 后台 模型 语言 方式

关于 LLM 和知识图谱、图数据库，大家都关注哪些问题呢？

自 LLM 系列文章《知识图谱驱动的大语言模型 Llama Index》、《Text2Cypher：大语言模型驱动的图查询生成》、《Graph RAG: 知识图谱结合 LLM 的检索增强》陆续和大家见面，以及《夜谈 LLM》主题直播同大家交流一番 LLM 和知识图谱、图数据库之后，在上周 Nebul ......
图谱 数据库 知识 数据 问题

LLM在text2sql上的应用

目前，大模型的一个热门应用方向text2sql它可以帮助用户快速生成想要查询的SQL语句。那对于用户来说，大部分简单的sql都是正确的，但对于一些复杂逻辑来说，需要用户在产出SQL的基础上进行简单修改，Text2SQL应用主要还是帮助用户去解决开发时间，减少开发成本。 ......
text2sql text2 2sql text LLM

Langchain使用自己定义的tool

Langchain使用自己定义的tool 快速开始 tool是agent可用于与世界交互的功能。这些工具可以是通用实用程序（例如搜索）、其他链，甚至是其他代理。 目前，可以使用以下代码片段加载工具： from langchain.agents import load_tools tool_names ......
Langchain tool

LLM 新缺陷曝光，自我纠正成功率仅 1%；苹果超 95% 产品仍在中国制造丨 RTE 开发者日报 Vol.72

开发者朋友们大家好： 这里是「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」，但内容仅代表编辑的个人观点，欢迎大家留 ......
中国制造 成功率 开发者 缺陷 苹果

MNN推理LLM

LLM现在太火了，MNN也终于开源了一个MNN-LLM 项目支持 1 MNN-LLM 编译 1.1 android编译cli_demo 我们先去MNN那儿下载.so库和include/MNN。分别放入libs/和include上。 然后按照readme编译，我写了在windows上交叉编译的脚本。 ......
MNN LLM

基于LangChain的LLM应用开发3——记忆

此情可待成追忆，只是当时已惘然。我们人类会有很多或美好或痛苦的回忆，有的回忆会渐渐模糊，有的回忆午夜梦醒，会浮上心头。 然而现在的大语言模型都是没有记忆的，都是无状态的，大语言模型自身不会记住和你对话之间的历史消息。根本用不着“时时勤拂拭”，天然就是“本来无一物”。每一次的请求交互、api调用都是独 ......
应用开发 LangChain 记忆 LLM

大语言模型LLM-三种模型架构

架构：由Transformer论文衍生出来的大语言模型，主要有三种模型架构 预训练目标：FLM，PLM，MLM 调整： 微调： Transformer transfomer可以并行地计算？ transformer中encoder模块是完全并行的，而decoder不是完全并行的。 模型结构 使用原文表 ......
模型 架构 语言 LLM

使用TensorRT-LLM进行高性能推理

LLM的火爆之后，英伟达(NVIDIA)也发布了其相关的推理加速引擎TensorRT-LLM。TensorRT是nvidia家的一款高性能深度学习推理SDK。此SDK包含深度学习推理优化器和运行环境,可为深度学习推理应用提供低延迟和高吞吐量。而TensorRT-LLM是在TensorRT基础上针对大 ......
高性能 TensorRT-LLM TensorRT LLM

LLM探索：为ChatGLM2的gRPC后端增加连续对话功能

前言 之前我做 AIHub 的时候通过 gRPC 的方式接入了 ChatGLM 等开源大模型，对于大模型这块我搞了个 StarAI 框架，相当于简化版的 langchain ，可以比较方便的把各种大模型和相关配套组合在一起使用。 主要思路还是用的 OpenAI 接口的那套，降低学习成本，但之前为了快 ......
ChatGLM2 ChatGLM 功能 gRPC LLM

面向生产的 LLM 优化

注意 : 本文同时也是 Transformers 的文档。 以 GPT3/4、Falcon 以及 LLama 为代表的大语言模型 (Large Language Model，LLM) 在处理以人为中心的任务上能力突飞猛进，俨然已成为现代知识型行业的重要工具。 然而，在实际部署这些模型时，我们仍面临不 ......
LLM

langchain

对超长文本进行总结 假如我们想要用 openai api 对一个段文本进行总结，我们通常的做法就是直接发给 api 让他总结。但是如果文本超过了 api 最大的 token 限制就会报错。这时，我们一般会进行对文章进行分段，比如通过 tiktoken 计算并分割，然后将各段发送给 api 进行总结， ......
langchain
共260篇  :3/9页 首页上一页3下一页尾页