526互联

langchain llm

cleaning of llm corpus 大模型语料清洗

cleaning of llm corpus 大模型语料清洗 数据是人工智能领域发展的基础要素之一。随着大规模预训练模型及相关技术不断取得突破，在相应研究中使用高效数据处理工具提升数据质量变得越来越重要。llm_corpus_quality集成了包含清洗、敏感词过滤、广告词过滤、语料质量自动评估等功 ......
语料 cleaning 模型 corpus llm

开发篇1：使用原生api和Langchain调用大模型

对大模型的调用通常有以下几种方式：方式一、大模型厂商都会定义http风格的请求接口，在代码中可以直接发起http请求调用；方式二、在开发环境中使用大模型厂商提供的api；方式三、使用开发框架Langchain调用，这个就像java对数据库的调用一样，可以直接用jdbc也可以使用第三方框架，第三方框架 ......
Langchain 模型 api

LLM series: Transformer

🥥 Homepage Dataset, DataLoader, and Transforms Model Traning Model 🥑 Get Started! Import libraries: import torch import torch.nn as nn import torch. ......
Transformer series LLM

大语言模型LLM幻觉的解决方法：检索增强生成RAG

当你向大语言模型LLMs集成的问答系统平台咨询医疗方面的问题，比如呼吸道感染应该怎么治疗，它可能直接给出答案，但不会提供这个答案的依据来源，这是因为大语言模型应用过程中还存在答案透明度不足的缺陷导致。此外，大语言模型还有知识更新的滞后性、在处理复杂任务时的准确性的问题。 为了解决这些问题，检索增强生 ......
幻觉 模型 语言 方法 LLM

使用CLIP和LLM构建多模态RAG系统

使用CLIP和LLM构建多模态RAG系统 在本文中我们将探讨使用开源大型语言多模态模型(Large Language Multi-Modal)构建检索增强生成(RAG)系统。本文的重点是在不依赖LangChain或LLlama index的情况下实现这一目标，这样可以避免更多的框架依赖。 什么是RA ......
模态 系统 CLIP LLM RAG

Windows11下私有化部署大语言模型实战 langchain+llama2

一、本机环境 1.硬件环境： CPU：锐龙5600X 显卡：GTX3070 内存：32G 注：硬件配置仅为博主的配置，不是最低要求配置，也不是推荐配置。 2.软件环境： Windows系统版本：Win11专业版23H2 Python版本：3.11 Cuda版本：12.3.2 VS版本：VS2022 ......
实战 langchain 模型 Windows 语言

面向初学者的机器学习、数据科学、AI、LLM课程统统免费

微软真是活菩萨，面向初学者的机器学习、数据科学、AI、LLM课程统统免费 微软真是活菩萨，面向初学者的机器学习、数据科学、AI、LLM课程统统免费 大家好，我是老章 推荐几个质量上乘且完全免费的微软开源课程 面向初学者的机器学习课程 地址：https://microsoft.github.io/ML ......
初学者 机器 课程 科学 数据

LLM增强LLM；通过预测上下文来提高文生图质量；Spikformer V2；同时执行刚性和非刚性编辑的通用图像编辑框架

文章首发于公众号：机器感知 LLM增强LLM；通过预测上下文来提高文生图质量；Spikformer V2；同时执行刚性和非刚性编辑的通用图像编辑框架 LLM Augmented LLMs: Expanding Capabilities through Composition 本文研究了如何高效地组合 ......
刚性 图像编辑 上下文 Spikformer LLM

如何避免LLM的“幻觉”(Hallucination)

生成式大语言模型（LLM）可以针对各种用户的 prompt 生成高度流畅的回复。然而，大模型倾向于产生幻觉或做出非事实陈述，这可能会损害用户的信任。 大语言模型的长而详细的输出看起来很有说服力，但是这些输出很有可能是虚构的。这是否意味着我们不能信任聊天机器人，每次都必须手动检查输出的事实?有一些方法 ......
Hallucination 幻觉 LLM

微软真是活菩萨，面向初学者的机器学习、数据科学、AI、LLM课程统统免费

微软真是活菩萨，面向初学者的机器学习、数据科学、AI、LLM课程统统免费 大家好，我是老章 推荐几个质量上乘且完全免费的微软开源课程 面向初学者的机器学习课程 地址：https://microsoft.github.io/ML-For-Beginners/#/ 学习经典机器学习，主要使用 Sciki ......
活菩萨 初学者 机器 课程 科学

一文读懂大型语言模型LLM

在当今的技术世界中，人工智能正以前所未有的速度发展和演变。这一领域的快速发展得益于先进的机器学习算法、海量数据的可用性以及计算能力的显著提升。特别是，在自然语言处理（NLP）领域，AI的进步已经让计算机不仅能理解人类语言的基本结构，还能在更深层次上把握其语义和情感。这种能力的核心在于大型语言模型（大 ......
模型 语言 LLM

打通Rasa Action Server和LLM接口的尝试方法

本文使用最简单的方法对打通 Rasa Action Server 和 LLM 接口进行了尝试，即当 Rasa 对话 intent 为 out_of_scope 时，调用 action_gpt_fallback 的 action，在 action 中根据 tracker.latest_message. ......
接口 方法 Action Server Rasa

梳理Langchain-Chatchat-UI接口文档

在 Langchain-Chatchat v0.1.17 版本及以前是有前后端分离的 Vue 项目的，但是 v0.2.0 后就没有了。所以本文使用的是 Langchain-Chatchat v0.1.17 版本中的 Vue 项目。经过一番折腾终于将 Langchain-Chatchat v0.1.1 ......
Langchain-Chatchat-UI Langchain Chatchat 接口 文档

解密Prompt系列22. LLM Agent之RAG的反思：放弃了压缩还是智能么？

当前RAG多数只让模型基于检索内容回答，其实限制了模型自身知识压缩形成的智能。既要事实性又要模型智能，需要最大化使用模型内化到参数中的信息，只在必要时调用外部知识，这里介绍前置和后置处理的几种方案~ ......
还是 智能 Prompt Agent LLM

LLM 系列

LLM prompt 大模型微调-综述 大模型微调-Prompt Tuning 大模型微调 - LoRA 系列 大模型微调 - Prefix Tuning / P-Tuning v2 RAG Embedding Embedding 模型收录 embedding - bi encode AND cro ......
LLM

langchain 系列

langchain - 基础 langchain - LCEL langchain - Documents langchain - Model langchain - Retrieval langchain - Chains langchain - Agent langchain - Memory ......
langchain

Langchain-Chatchat+Qwen实现本地知识库（二）

在上一篇文章当中，我们已经通过Langchain-Chatchat+Qwen-14b-int4完成了本地知识库的搭建，现在我们通过vue和api接口来做定制的聊天页面，达成下图类似gpt或者其他大模型的显示效果： 1.知识库启动： 见上一篇文章 2.api接口部署： 在/Langchain-Chat ......
Langchain-Chatchat 知识库 Langchain Chatchat 知识

langchain实践

原理篇 LLM模型，学术意义上这个大体现在供给给模型的训练样本很大，对我们使用者来说我们可以认为他海纳百川，有容乃大。学的足够多， 博学。所以你要跟它对话，需要先告诉它你充当的角色是谁，也就是你要获得知识的来源。 LangChain可以标准化和抽象化整个大语言模型使用过程。 文本加载 从各种数据源中 ......
langchain

ml.net例子笔记8-生成式AI-大模型LLM

生成式AI 生成式AI是指能够通过学习数据和语言，生成新的、在某种程度上相似的输出，这种技术由深度学习特别是神经网络的快速发展推动。 一、数据：AI的燃料 首先，要理解生成式AI，我们必须了解它的基础——数据。数据是AI的燃料，没有数据，AI就无法运行。 在生成式AI中，我们需要大量的高质量数据进行 ......
模型 例子 笔记 LLM net

LangChain简介

Chaembedding模型-->向量化-->GanymedeNil/text2vec-large-chinese 主要代码实现500字一段切分，200字符重复 FAISS向量库 优化方向后续计划 agent可以根据不同功能选择不同的接口 ......
LangChain 简介

LangChain简介

Chaembedding模型-->向量化-->GanymedeNil/text2vec-large-chinese 主要代码实现500字一段切分，200字符重复 FAISS向量库 优化方向后续计划 agent可以根据不同功能选择不同的接口 ......
LangChain 简介

《X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages》论文学习

《X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages》论文学习 ......
Multi-Modalities Bootstrapping Modalities Languages Advanced

解密Prompt系列21. LLM Agent之再谈RAG的召回信息密度和质量

话接上文的召回多样性优化，这一章我们唠唠召回的信息密度和质量。同样参考经典搜索和推荐框架，这一章对应排序+重排环节。我们先对比下经典框架和RAG的异同，再分别介绍几种适用大模型的排序和重排方案~ ......
密度 质量 Prompt Agent 信息

使用LM Studio在本地运行LLM完整教程

GPT-4被普遍认为是最好的生成式AI聊天机器人，但开源模型一直在变得越来越好，并且通过微调在某些特定领域是可以超过GPT4的。在开源类别中出于以下的原因，你可能会考虑过在本地计算机上本地运行LLM ： 脱机:不需要互联网连接。 模型访问:在本地运行模型，可以尝试开源模型(Llama 2、Vicun ......
教程 Studio LLM

LLM面面观之LLM复读机问题及解决方案

1. 背景 关于LLM复读机问题，本qiang~在网上搜刮了好几天，结果是大多数客观整理的都有些支离破碎，不够系统。 因此，本qiang~打算做一个相对系统的整理，包括LLM复读机产生的原因以及对应的解决方案。 2. LLM复读机示例 示例1：短语级别的重复 User: 你喜欢北京么？ AI: 北京 ......
面面观 LLM 解决方案 方案 问题

大语言模型LLM的核心技术及应用场景案例的分析

自注意力机制、位置编码和激活函数共同提高了模型对序列数据中重要信息的关注程度。通过自注意力机制，模型可以自动学会为序列中的关键部分分配更高的权重…… ......
模型 场景 核心 案例 语言

向量数据库 及 LangChain 用法

当今科技领域的发展日新月异，向量数据库成为了热门的话题之一。 这些数据库以其高效的向量检索和相似度搜索功能，为各种应用场景提供了强大的支持。 本文旨在汇总向量数据库 Milvus、Zilliz、Faiss、Qdrant、LlamaIndex、Chroma、LanceDB、Pinecone、Weavi ......
向量 LangChain 数据库 数据

Transformer架构在大型语言模型(LLM)中的应用与实践

Transformer架构是当今最前沿的语言模型技术之一，它已经在谷歌的BERT、OpenAI的GPT系列中取得了显著的成就。这一架构之所以独特，是因为它打破了传统的序列处理模式，引入了创新的“自注意力”机制。 Transformer架构的核心是自注意力机制，它使模型能够识别和重视输入数据中不同部分 ......
Transformer 架构 模型 语言 LLM

使用PyTorch II的新特性加快LLM推理速度

Pytorch团队提出了一种纯粹通过PyTorch新特性在的自下而上的优化LLM方法，包括: Torch.compile: PyTorch模型的编译器 GPU量化:通过降低精度操作来加速模型 推测解码:使用一个小的“草稿”模型来加速llm来预测一个大的“目标”模型的输出 张量并行:通过在多个设备上运 ......
特性 速度 PyTorch LLM

System 2 Attention：可以提高不同LLM问题的推理能力

推理正在成为大型语言模型(llm)关注的下一个主要领域。尽管llm拥有先进的能力，但大多数llm经常被简单的错误绊倒，显示出他们在推理方面的局限性。这些模型可能会被上下文中的不相关细节所误导，或者受到输入提示中的偏差的影响。而后一种倾向被称为谄媚，也就是说模型会更偏向与输入一致，而不管准确性如何。人 ......
Attention 能力 System 问题 LLM
共260篇  :1/9页 首页上一页1下一页尾页