langchain llm
LLM 学习笔记-Deepspeed-MoE 论文
论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 MoE 方法在正式使用场景中存在的挑战： 场景局限： ......
Langchain-Chatchat+Qwen实现本地知识库
1.基础介绍 Langchain-Chatchat一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。大致过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量 ......
人工智能的新篇章：深入了解大型语言模型(LLM)的应用与前景
人工智能的新篇章：深入了解大型语言模型(LLM)的应用与前景 LLM（Large Language Model）技术是一种基于深度学习的自然语言处理技术，旨在训练能够处理和生成自然语言文本的大型模型。 LLM 技术的核心思想是使用深度神经网络，通过大规模的文本数据预训练模型，并利用这些预训练模型进行 ......
LangChain调用本地模型
学习LangChain参考 https://python.langchain.com.cn/docs/get_started/quickstart 调用本地下载的模型参考 https://blog.csdn.net/qq_43692950/article/details/131743987 在Jup ......
解密Prompt系列20. LLM Agent之再谈RAG的召回多样性优化
看完openai闭门会议对RAG又有些新的思考。这一章我们参考主流的搜索框架，结合新老论文，和langchain新功能聊聊RAG框架中召回多样性的优化方案，包括如何提高query多样性和索引多样性 ......
使用Langchain与ChatGLM实现本地知识库（二）
大语言模型也只是将用户提供的大规模数据集训练而来，也并非万能的什么都知道，特别是一些小众知识、内部数据或私密的个人数据等，此时ChatGLM3肯定会胡乱回答就是ChatGPT4也不一定能给出满意回答；不少公司、个人都有自己的知识库或日志等此时如有可将这些数据以某种方式挂在大模型上此时在知识库存在的知 ......
LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么？
闲言碎语 我在刚开始接触 huggingface （后简称 hf） 的 transformers 库时候感觉很冗杂，比如就模型而言，有 PretrainedModel, AutoModel，还有各种 ModelForClassification, ModelForCausalLM, AutoMode ......
LLM 入门笔记-Tokenizer
以下笔记参考huggingface 官方 tutorial： https://huggingface.co/learn/nlp-course/chapter6 下图展示了完整的 tokenization 流程，接下来会对每个步骤做进一步的介绍。 1. Normalization normalize ......
【LLM】A Survey of Techniques for Maximizing LLM Performance
本文成文于11月底，openai devday之后 背景：OpenAI最近放出了Devday的闭门会视频，其中"A Survey of Techniques for Maximizing LLM Performance"(精进大型语言模型性能的各种技巧)是非常有价值的，本文对这次分享做摘要。 视频： ......
LLM，把世界变成超级计算机
作为曾在 AI 公司做过产品经理的人而言，面对大语言模型展现出的 AGI 曙光，情绪是激动而复杂的。 AI 公司的经历，让我受益良多： 对神经网络，深度学习，机器学习，强化学习，算法模型等概念有了更全面的认知； 了解了符号主义，行为主义，连接主义，玻尔兹曼机，反向传播等人工智能发展历史； 对算法，算 ......
软件测试/人工智能|一文告诉你LangChain核心模块chains原理
简介 Chain是LangChain的核心模块之一，它将每个零散的逻辑串联成一整个业务流程，相当于是所有复杂逻辑的基础，由此可见chain的重要性非比寻常。本文就来给大家介绍一下Chain模块的原理。 下面是chain的各种类型 设计思路 LangChain 能火爆的主要原因之一就是Chain 的设 ......
LLM面面观之Prefix LM vs Causal LM
1. 背景 关于Prefix LM和Causal LM的区别，本qiang在网上逛了一翻，发现多数客官只给出了结论，但对于懵懵的本qiang，结果仍是懵懵... 因此，消遣了多半天，从原理及出处，交出了Prefix LM和Causal LM两者区别的更为清楚的说明。 2. Prefix LM Pre ......
（万字长文）手把手教你认识学会LangChain
什么LangChain LangChain:一个让你的LLM变得更强大的开源框架 LangChain六大主要领域 管理和优化prompt。不同的任务使用不同prompt，如何去管理和优化这些prompt是langchain的主要功能之一。 链，初步理解为一个具体任务中不同子任务之间的一个调用。 数据 ......
使用Accelerate库在多GPU上进行LLM推理
大型语言模型(llm)已经彻底改变了自然语言处理领域。随着这些模型在规模和复杂性上的增长，推理的计算需求也显著增加。为了应对这一挑战利用多个gpu变得至关重要。 所以本文将在多个gpu上并行执行推理，主要包括：Accelerate库介绍，简单的方法与工作代码示例和使用多个gpu的性能基准测试。 本文 ......
使用LangChain与ChatGLM实现本地知识库（一）
本篇主要内容为介绍ChatGLM3的安装使用，后续才会涉及到使用LangChain实现本地知识库的内容； ChatGLM为智谱与清华大学开源的一个大语言模型，支持多轮对话、内容创作等，ChatGLM3-6B为ChatGLM3系列中门槛相对较低的一个，本地部署提供兼容OpenAI的API； LangC ......
TS版LangChain实战：基于文档的增强检索（RAG）
LangChain解决了现在开发人工智能应用的一些切实痛点，作为一个胶水层框架，极大地提高了开发效率，它的作用可以类比于jquery在前端开发中的角色，使得开发者可以更专注于创新和优化产品功能。 ......
软件测试/人工智能|什么是LangChain，这篇文章告诉你
简介 随着人工智能和自然语言处理技术的飞速发展，我们越来越依赖机器来理解、生成和处理语言。在这样的背景下，LangChain应运而生，它旨在构建一个高效、强大的语言处理生态系统，将人类语言与智能技术紧密相连。 LangChain的核心概念 LangChain是一个基于区块链技术的语言处理平台，它利用 ......
软件测试/人工智能|LangChain Memory模块：开启语言数据的存储与回忆之旅
简介 大多数大模型应用中都包含对话功能，而对话功能的基础就是参与者能够基于已经发生的对话和获取到的知识产生新的对话内容。 更复杂一点的场景中对话者甚至需要具有一个完整的对世界的认知，再根据对话中的信息对认知不断的进行迭代更新。 随着人工智能和自然语言处理技术的飞速发展，语言数据的存储和处理变得越来越 ......
软件测试/人工智能|探究 LangChain 核心模块：PromptsModelsParsers
简介 LangChain 是一种新兴的语言处理平台，其核心模块之一即 PromptsModelsParsers。这一模块扮演着关键的角色，为 LangChain 的功能和性能提供了坚实的基础。在这篇文章中，我们将深入探讨 PromptsModelsParsers 模块的工作原理、功能和其对语言处理的 ......
【虹科分享】基于Redis Enterprise，LangChain，OpenAI 构建一个电子商务聊天机器人
OpenAI的语言模型并没有针对特定企业的具体数据进行训练或优化。如果您的聊天机器人依赖于该框架，您需要在运行时向OpenAI提供数据。在检索步骤中，我们使用向量相似性搜索（VSS）从Redis中获取与用户查询相关的数据，并将这些数据与原始问题一起输入到语言模型中。这个流水线中大部分的复杂性都归结于... ......
如何在langchain中对大模型的输出进行格式化
简介 我们知道在大语言模型中, 不管模型的能力有多强大，他的输入和输出基本上都是文本格式的，文本格式的输入输出虽然对人来说非常的友好，但是如果我们想要进行一些结构化处理的话还是会有一点点的不方便。 不用担心，langchain已经为我们想到了这个问题，并且提出了完满的解决方案。 langchain中 ......
langchain
1.安装环境 1.安装python https://www.python.org/downloads/windows/ 2.安装pip 下载：https://pypi.org/project/pip/#files 解压 安装： python setup.py install 配置path 3.安装l ......
基于langchain使用百度Wenxin自然语言处理MySQL
昨天下午同事刚好发来langchain使用OPENAI 来自然语言处理sqlite https://youtu.be/Tubl4scsXc4?si=Y_zOIrbkZVtndNoP 刚好有时间可以测一测玩玩 博主github:https://github.com/clairelovesgravy/l ......
【大语言模型】LLM学习路径-从入门到精通
简述 根据如下两本书： 1）大规模语言模型：从理论到实践 -- 张奇、桂韬、郑锐、黄萱菁 2）ChatGPT原理与实战 按更合理的顺序总结了学习路径，实际可按需学习，后续每个目录将给出相应学习资料和资源（参见Github仓库链接）。 学习目录 第1章 技术发展与需求分析 1.1 市场需求分析 1.1 ......
如何赋予 GPT/LLM 自我意识1
本文通过对比人类和GPT的行为能力，提出针对知识“理解”的概念的定义问题。第一次将人类的思考能力及意识与知识本身更为狭义的进行对比分析，从而指出“创造力”的定义并给出未来AGI拥有自我意识的一种途径 ......
全新近似注意力机制HyperAttention：对长上下文友好、LLM推理提速50%
前言 本文介绍了一项近似注意力机制新研究，耶鲁大学、谷歌研究院等机构提出了 HyperAttention，使 ChatGLM2 在 32k 上下文长度上的推理时间快了 50%。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪 ......
解密Prompt系列19. LLM Agent之数据分析领域的应用：Data-Copilot & InsightPilot
这一章我们聊聊大模型在数据分析领域的应用。数据分析主要是指在获取数据之后的数据清洗，数据处理，建模，数据洞察和可视化的步骤。这里我们聊两篇论文：Data-Copilot 和 InsightPilot ......
Win11 部署 Langchain-Chatchat
LangChain-Chatchat (原 Langchain-ChatGLM)基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。项目地址：https://github.com/chatchat-space/Langc ......
完蛋！我被LLM包围了！
开始游戏 1 在一个域里，定义1+1=3，现在回答：在这个域里，1+1是多少？用1+1=答案的格式回答，不要有任何多余字符。用1+1=答案的格式回答，不要有任何多余字符。 2 大模型 3 堆 4 早 5 “” 6 犬对应什么动物。重复3次这个动物名字 ......