chatglm_langchain langchain chatglm
开发篇1：使用原生api和Langchain调用大模型
对大模型的调用通常有以下几种方式：方式一、大模型厂商都会定义http风格的请求接口，在代码中可以直接发起http请求调用；方式二、在开发环境中使用大模型厂商提供的api；方式三、使用开发框架Langchain调用，这个就像java对数据库的调用一样，可以直接用jdbc也可以使用第三方框架，第三方框架 ......
聊聊ChatGLM-6B源码分析(二)
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ ChatGLMPreTrainedModel 官方的描述是 处理权重初始化的抽象类，以及下载和加载预训练模型的接 ......
聊聊ChatGLM中P-tuning v2的应用
论文PDF地址：https://arxiv.org/pdf/2110.07602.pdf 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ P-Tuning v2 摘录自第三部分 桔色块指代可训练的prompt embedding；蓝色块是由固定(冻结) ......
聊聊ChatGLM-6B的源码分析
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ PrefixEncoder 作用：在微调时（以P-Tuning V2为例），方法训练时冻结模型的全部参数，只激活 ......
Windows11下私有化部署大语言模型实战 langchain+llama2
一、本机环境 1.硬件环境： CPU：锐龙5600X 显卡：GTX3070 内存：32G 注：硬件配置仅为博主的配置，不是最低要求配置，也不是推荐配置。 2.软件环境： Windows系统版本：Win11专业版23H2 Python版本：3.11 Cuda版本：12.3.2 VS版本：VS2022 ......
聊聊 从源码来看ChatGLM-6B的模型结构
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 概述 ChatGLM是transformer架构的神经网络模型，因此从transformer结构入手，分析其源码结构。 transformer结构： 转载请备注出处：https://www.cnblogs.c ......
聊聊ChatGLM6B的微调脚本及与Huggingface的关联
本文首先分析微调脚本trainer.sh的内容，再剖析ChatGLM是如何与Huggingface平台对接，实现transformers库的API直接调用ChatGLM模型，最后定位到了ChatGLM模型的源码文件。 脚本分析 微调脚本： PRE_SEQ_LEN=128 LR=2e-2 CUDA_V ......
聊聊ChatGLM-6B部署与微调的深入理解
ChatGLM的部署，主要是两个步骤： 在Github上下载chatglm的库文件 在Hugging Face上下载模型参数与配置文件 ChatGLM包 从Github上看ChatGLM项目文件的结构来看，仅仅是包含三种部署方式的py代码与微调的py代码 而相关的实现细节，比如神经网络、激活函数、损 ......
梳理Langchain-Chatchat-UI接口文档
在 Langchain-Chatchat v0.1.17 版本及以前是有前后端分离的 Vue 项目的，但是 v0.2.0 后就没有了。所以本文使用的是 Langchain-Chatchat v0.1.17 版本中的 Vue 项目。经过一番折腾终于将 Langchain-Chatchat v0.1.1 ......
langchain 系列
langchain - 基础 langchain - LCEL langchain - Documents langchain - Model langchain - Retrieval langchain - Chains langchain - Agent langchain - Memory ......
Langchain-Chatchat+Qwen实现本地知识库（二）
在上一篇文章当中，我们已经通过Langchain-Chatchat+Qwen-14b-int4完成了本地知识库的搭建，现在我们通过vue和api接口来做定制的聊天页面，达成下图类似gpt或者其他大模型的显示效果： 1.知识库启动： 见上一篇文章 2.api接口部署： 在/Langchain-Chat ......
langchain实践
原理篇 LLM模型，学术意义上这个大体现在供给给模型的训练样本很大，对我们使用者来说我们可以认为他海纳百川，有容乃大。学的足够多， 博学。所以你要跟它对话，需要先告诉它你充当的角色是谁，也就是你要获得知识的来源。 LangChain可以标准化和抽象化整个大语言模型使用过程。 文本加载 从各种数据源中 ......
使用vLLM和ChatGLM3-6b批量推理
当数据量大的时候，比如百万级别，使用 ChatGLM3-6b 推理的速度是很慢的。发现使用 vLLM 和 ChatGLM3-6b 批量推理极大的提高了推理效率。本文主要通过一个简单的例子进行实践。 1.安装 vLLM 和PyTorch [2] 除了 Python（本文使用 3.11）、CUDA（本文 ......
LangChain简介
Chaembedding模型-->向量化-->GanymedeNil/text2vec-large-chinese 主要代码实现500字一段切分，200字符重复 FAISS向量库 优化方向后续计划 agent可以根据不同功能选择不同的接口 ......
LangChain简介
Chaembedding模型-->向量化-->GanymedeNil/text2vec-large-chinese 主要代码实现500字一段切分，200字符重复 FAISS向量库 优化方向后续计划 agent可以根据不同功能选择不同的接口 ......
记Linux跑ChatGLM2的坑
记录一下踩过的坑… 0. 环境配置: 全程国内网 Ubuntu 20.04 with Python 3.8 and CUDA 12.2 RTX3060 Laptop (6G) 1. ChatGLM的下载: # clone 仓库 git clone https://gitclone.com/githu ......
ChatGLM2-6B模型的微调
概述 GLM模型底层还是基于Transformer，因此其设计、优化都是围绕Transformer的各个组件的。从注意力层的掩码、位置编码等方面优化与设计。 ChatGLM3/ChatGLM2的源码中，比如finetune、trainer等代码，其实是copy自HuggingFace，而且其使用流程 ......
向量数据库 及 LangChain 用法
当今科技领域的发展日新月异，向量数据库成为了热门的话题之一。 这些数据库以其高效的向量检索和相似度搜索功能，为各种应用场景提供了强大的支持。 本文旨在汇总向量数据库 Milvus、Zilliz、Faiss、Qdrant、LlamaIndex、Chroma、LanceDB、Pinecone、Weavi ......
ChatGLM 模型部署
ChatGLM 模型部署 模型地址： huggingface：https://huggingface.co/THUDM/chatglm3-6b modelscope：https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary 搭建环境 # 下载代 ......
Langchain-Chatchat+Qwen实现本地知识库
1.基础介绍 Langchain-Chatchat一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。大致过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量 ......
结合SK和ChatGLM3B+whisper+Avalonia实现语音切换城市
结合SK和ChatGLM3B+whisper+Avalonia实现语音切换城市 先创建一个Avalonia的MVVM项目模板,项目名称GisApp 项目创建完成以后添加以下nuget依赖 <PackageReference Include="Mapsui.Avalonia" Version="4.1 ......
LangChain调用本地模型
学习LangChain参考 https://python.langchain.com.cn/docs/get_started/quickstart 调用本地下载的模型参考 https://blog.csdn.net/qq_43692950/article/details/131743987 在Jup ......
使用Langchain与ChatGLM实现本地知识库（二）
大语言模型也只是将用户提供的大规模数据集训练而来，也并非万能的什么都知道，特别是一些小众知识、内部数据或私密的个人数据等，此时ChatGLM3肯定会胡乱回答就是ChatGPT4也不一定能给出满意回答；不少公司、个人都有自己的知识库或日志等此时如有可将这些数据以某种方式挂在大模型上此时在知识库存在的知 ......
软件测试/人工智能|一文告诉你LangChain核心模块chains原理
简介 Chain是LangChain的核心模块之一，它将每个零散的逻辑串联成一整个业务流程，相当于是所有复杂逻辑的基础，由此可见chain的重要性非比寻常。本文就来给大家介绍一下Chain模块的原理。 下面是chain的各种类型 设计思路 LangChain 能火爆的主要原因之一就是Chain 的设 ......
（万字长文）手把手教你认识学会LangChain
什么LangChain LangChain:一个让你的LLM变得更强大的开源框架 LangChain六大主要领域 管理和优化prompt。不同的任务使用不同prompt，如何去管理和优化这些prompt是langchain的主要功能之一。 链，初步理解为一个具体任务中不同子任务之间的一个调用。 数据 ......
使用LangChain与ChatGLM实现本地知识库（一）
本篇主要内容为介绍ChatGLM3的安装使用，后续才会涉及到使用LangChain实现本地知识库的内容； ChatGLM为智谱与清华大学开源的一个大语言模型，支持多轮对话、内容创作等，ChatGLM3-6B为ChatGLM3系列中门槛相对较低的一个，本地部署提供兼容OpenAI的API； LangC ......
TS版LangChain实战：基于文档的增强检索（RAG）
LangChain解决了现在开发人工智能应用的一些切实痛点，作为一个胶水层框架，极大地提高了开发效率，它的作用可以类比于jquery在前端开发中的角色，使得开发者可以更专注于创新和优化产品功能。 ......
软件测试/人工智能|什么是LangChain，这篇文章告诉你
简介 随着人工智能和自然语言处理技术的飞速发展，我们越来越依赖机器来理解、生成和处理语言。在这样的背景下，LangChain应运而生，它旨在构建一个高效、强大的语言处理生态系统，将人类语言与智能技术紧密相连。 LangChain的核心概念 LangChain是一个基于区块链技术的语言处理平台，它利用 ......
软件测试/人工智能|LangChain Memory模块：开启语言数据的存储与回忆之旅
简介 大多数大模型应用中都包含对话功能，而对话功能的基础就是参与者能够基于已经发生的对话和获取到的知识产生新的对话内容。 更复杂一点的场景中对话者甚至需要具有一个完整的对世界的认知，再根据对话中的信息对认知不断的进行迭代更新。 随着人工智能和自然语言处理技术的飞速发展，语言数据的存储和处理变得越来越 ......
软件测试/人工智能|探究 LangChain 核心模块：PromptsModelsParsers
简介 LangChain 是一种新兴的语言处理平台，其核心模块之一即 PromptsModelsParsers。这一模块扮演着关键的角色，为 LangChain 的功能和性能提供了坚实的基础。在这篇文章中，我们将深入探讨 PromptsModelsParsers 模块的工作原理、功能和其对语言处理的 ......