526互联

LLM

缓解针对LLM应用程序的存储提示注入攻击

提示注入攻击是大型语言模型 （LLM） 应用程序安全新世界中的热门话题。由于恶意文本在系统中的存储方式，这些攻击是独一无二的。 ......
应用程序 程序 LLM

使用LLM在移动设备上实现对话交互

在“使用大型语言模型启用与移动 UI 的对话交互”，在CHI 2023，我们研究了利用大型语言模型（LLM）实现与移动UI的各种基于语言的交互的可行性。最近预先训练的LLM，例如手掌... ......
设备 LLM

从 GPT4All 体验 LLM

大型语言模型最近变得流行起来。ChatGPT很时髦。尝试 ChatGPT 以了解 LLM 的内容很容易，但有时，您可能需要一个可以在您的计算机上运行的离线替代方案。在这篇文章中，您将了解 GPT4All 作为可以安装在计算机上的 LLM。 ......
GPT4All 4All GPT4 GPT All

Flowise AI：用于构建LLM流的拖放UI

围绕大型语言模型（LLM）的炒作正在持续增长，越来越多的公司发布了让人们的生活更轻松的工具。那么，这些工具究竟是什么帮助构建了LLM的世界呢？嗯，其中之一是Flowise AI ......
Flowise LLM

在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化

LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 梯度检查点 梯度检查点是一种在神经网络训练过程中使动态计算只存储最小层数的技术。 为了理解这个过程，我们需要了解反向传播是如何执行的，以及 ......
检查点 梯度 方法 LoRA GPU

AI +悦数图数据库：图技术与大语言模型 LLM 结合，打造下一代知识图谱应用

随着 AI 人工智能技术的迅猛发展和自然语言处理领域的研究日益深入，如何构建强大的大语言模型对于企业来说愈发重要，而图数据库作为处理复杂数据结构的有力工具，为企业构建行业大语言模型提供了强大的支持。 近日，国产企业级分布式图数据库——悦数图数据库正式发布了图+ AI 大模型解决方案，率先实现了基于自 ......
图谱 下一代 模型 语言 数据库

大模型（LLM）最新趋势总结

关键结论： 开源社区模型不具备真正智能，更好的小模型来自大模型的 Scale Down GPT-4模型信息：采用MoE架构，16个experts，800b参数 如何减少幻觉 hallucination？scaling/retrieval/reward model 指令遵循的开源小模型被过度炒作，已经 ......
模型 趋势 LLM

LangChain：打造自己的LLM应用

LangChain是一个框架，用于开发由LLM驱动的应用程序。可以简单认为是LLM领域的Spring，以及开源版的ChatGPT插件系统 ......
LangChain LLM

graph db+LLM

直接用LLM是不精确的，需要结合graph DB+LLM，参见： https://medium.com/neo4j/harnessing-large-language-models-with-neo4j-306ccbdd2867 https://neo4j.com/developer-blog/fi ......
graph LLM db

Knowledge-QA-LLM: 基于本地知识库+LLM的问答系统

## ⚠️注意：后续更新，请移步[README](https://github.com/RapidAI/Knowledge-QA-LLM) ## Knowledge QA LLM =3.8, - 基于本地知识库+LLM的问答系统。该项目的思路是由[langchain-ChatGLM](https:/ ......
Knowledge-QA-LLM 知识库 Knowledge LLM 知识

解密Prompt系列12. LLM Agent零微调范式 ReAct & Self Ask

这一章我们正式进入大模型应用，聊聊如何把思维链和工具使用结合得到人工智能代理。先介绍基于Prompt的零微调方案Self Ask和React，我们会结合langchain写个简单的Agent来玩一玩 ......
范式 Prompt Agent ReAct Self

图技术在 LLM 下的应用：知识图谱驱动的大语言模型 Llama Index

LLM 如火如荼地发展了大半年，各类大模型和相关框架也逐步成型，可被大家应用到业务实际中。在这个过程中，我们可能会遇到一类问题是：现有的哪些数据，如何更好地与 LLM 对接上。像是大家都在用的知识图谱，现在的图谱该如何借助大模型，发挥更大的价值呢？ ......
图谱 模型 语言 知识 Index

LLM-Blender：大语言模型也可以进行集成学习

最近在看arxiv的时候发现了一个有意思的框架：LLM-Blender，它可以使用Ensemble 的方法来对大语言模型进行集成。 官方介绍如下：LLM-Blender是一个集成框架，可以通过利用多个开源大型语言模型(llm)的不同优势来获得始终如一的卓越性能。 LLM集成 我们都知道集成学习是一种 ......
LLM-Blender 模型 Blender 语言 LLM

用 Hugging Face 推理端点部署 LLM

开源的 LLM，如 [Falcon](https://huggingface.co/tiiuae/falcon-40b)、[(Open-)LLaMA](https://huggingface.co/openlm-research/open_llama_13b)、[X-Gen](https://hug ......
端点 Hugging Face LLM

LLM is all you need for the backend

一、LLM给软件开发范式带来了什么改变？ 人们一直在说Github Copilot将取代程序员。我们认为这是错误的。我们已经有了类似GPT-4这种强大的LLM模型，却还要把自己限制在编写传统代码上吗？不！所有代码都有bug！ 代码不是对业务逻辑进行编码的理想方式，代码必须经过审查，并且它按照程序员的 ......
backend need LLM all for

本地运行MLC-LLM对话模型体验

## 摘要 在macOS (Apple M2芯片)计算机运行MLC-LLM对话模型。 ## MLC-LLM简介 [https://mlc.ai/mlc-llm/#windows-linux-mac] [开源 AI 聊天机器人 MLC LLM 发布，完全本地运行无需联网](https://github ......
模型 MLC-LLM MLC LLM

语言模型的预训练[6]：思维链(Chain-of-thought，CoT)定义原理详解、Zero-shot CoT、Few-shot CoT 以及在LLM上应用

语言模型的预训练[6]：思维链(Chain-of-thought，CoT)定义原理详解、Zero-shot CoT、Few-shot CoT 以及在LLM上应用 ......
CoT Chain-of-thought shot Zero-shot Few-shot

大语言模型的预训练[5]：语境学习、上下文学习In-Context Learning：精调LLM、Prompt设计和打分函数设计以及ICL底层机制等原理详解

大语言模型的预训练[5]：语境学习、上下文学习In-Context Learning：精调LLM、Prompt设计和打分函数设计以及ICL底层机制等原理详解 ......
上下文 语境 底层 In-Context 函数

LLM + TensorRT 采坑记录

TensorRT的使用，尝试对LLM进行加速。本文为采坑记录 环境：ubuntu20.04, cuda 12.2, pytorch 2.0.1, tensorrt 8.6.1, torch_tensorrt 1.4.0, transformer 0.6.0 设备有限，仅打算尝试[opt-1.3b]( ......
TensorRT LLM

人工智能LLM模型：奖励模型的训练、PPO 强化学习的训练、RLHF

# 人工智能LLM模型：奖励模型的训练、PPO 强化学习的训练、RLHF # 1.奖励模型的训练 ## 1.1大语言模型中奖励模型的概念 在大语言模型完成 SFT 监督微调后，下一阶段是构建一个奖励模型来对问答对作出得分评价。奖励模型源于强化学习中的奖励函数，能对当前的状态刻画一个分数，来说明这个状 ......
模型 人工智能 人工 智能 RLHF

吴恩达《LangChain for LLM Application Development》课程笔记

1. 前言LangChain是一个用来构建LLM应用的开源框架，主要是为基于大语言模型的应用提供一系列的构建工具包。这个短课程的主要内容有：模型、提示和解析器：调用LLM，提供提示并解析响应。LLM的记忆：用于存储对话和管理有限上下文空间的记忆。链式操作：创建操作序列。文档问答：将LLM应用于您的专 ......
Application Development LangChain 课程 笔记

Open LLM 排行榜近况

Open LLM 排行榜是 Hugging Face 设立的一个用于评测开放大语言模型的公开榜单。最近，随着 [**Falcon 🦅**](https://huggingface.co/tiiuae/falcon-40b) 的发布并在 [Open LLM 排行榜](https://huggingf ......
近况 排行榜 Open LLM

Function calling by LLM资料收集

参考资料： https://towardsdatascience.com/the-power-of-openais-function-calling-in-language-learning-models-a-comprehensive-guide-cce8cd84dc3c https://gith ......
资料收集 Function calling 资料 LLM

LLM多模态•audiocraft•av(interfacing FFmpeg API)•Audio/Video/Bitstream

无论是ChatGPT、 LLM大语言模型、还是Meta公司的AI生成音乐🎶， 都需要对 Audio、Video、Bitstream 进行处理。 以Meta(Facebook已改名为Meta)开源的 audiocraft 为例： ASR(Audio转文本, 人机语音交互与识别)、 TTS(文本合成语 ......
模态 interfacing audiocraft Bitstream FFmpeg

LLM App构建指南

为什么我们需要LLM 语言的进化使我们人类至今难以置信地走得很远。它使我们能够以我们今天所知道的形式有效地分享知识和协作。因此，我们的大部分集体知识继续通过无组织的书面文本保存和传播。 过去二十年来为数字化信息和流程而采取的举措通常侧重于在关系数据库中积累越来越多的数据。这种方法使传统的分析机器学习 ......
指南 LLM App

LLM Powered Autonomous Agents

Building agents with LLM (large language model) as its core controller is a cool concept. Several proof-of-concepts demos, such as AutoGPT, GPT-Engine ......
Autonomous Powered Agents LLM

Observe.AI 推出 300 亿参数联络中心 LLM

导读 对话智能平台 Observe.AI 宣布推出具有 300 亿参数容量的联络中心大型语言模型 (Contact Center LLM)，以及旨在提高代理性能的生成式 AI 套件。 该公司声称，与 GPT 等模型相比，其专有的 LLM 是在大量真实世界的联络中心交互数据集上进行了训练，能够处理为联 ......
参数 Observe 300 LLM AI

LangChain：一个让你的LLM变得更强大的开源框架

前言 你可能听说过，最近几个月出现了很多人工智能的应用程序。你可能也在用一些这样的应用。 比如ChatPDF和CustomGPT AI这些AI工具，它们可以帮我们省去很多麻烦，我们不用再翻来覆去地看文档，就能找到想要的答案。它们让AI为我们做了很多工作。 那么，开发这些工具的人是怎么做到的呢？其实， ......
LangChain 框架 LLM

LLM-Client一个轻量级的LLM集成工具

大型语言模型(llm)已经彻底改变了我们与文本交互的方式，OpenAI、Google、AI21、HuggingfaceHub、Anthropic和众多开源模型提供了不同的功能和优势。但是每个模型都有其独特的体系结构、api和兼容性需求，集成这些模型是一项耗时且具有挑战性的任务。 所以这时候LangC ......
轻量 轻量级 LLM-Client LLM 工具

ChatGLM-6B第二代模型开源，拿下LLM模型中文能力评估榜单第一名

ChatGLM-6B 自3月14日发布以来，深受广大开发者喜爱。截至 6 月24日，来自 Huggingface 上的下载量已经超过 300w。 为了更进一步促进大模型开源社区的发展，我们再次升级 ChatGLM-6B，发布 ChatGLM2-6B 。在主要评估LLM模型中文能力的 C-Eval 榜 ......
模型 ChatGLM 能力 LLM 6B
共163篇  :4/6页 首页上一页4下一页尾页