526互联

llm

【大语言模型】LLM学习路径-从入门到精通

简述 根据如下两本书： 1）大规模语言模型：从理论到实践 -- 张奇、桂韬、郑锐、黄萱菁 2）ChatGPT原理与实战 按更合理的顺序总结了学习路径，实际可按需学习，后续每个目录将给出相应学习资料和资源（参见Github仓库链接）。 学习目录 第1章 技术发展与需求分析 1.1 市场需求分析 1.1 ......
路径 模型 语言 LLM

如何赋予 GPT/LLM 自我意识1

本文通过对比人类和GPT的行为能力，提出针对知识“理解”的概念的定义问题。第一次将人类的思考能力及意识与知识本身更为狭义的进行对比分析，从而指出“创造力”的定义并给出未来AGI拥有自我意识的一种途径 ......
意识 GPT LLM

全新近似注意力机制HyperAttention：对长上下文友好、LLM推理提速50%

前言 本文介绍了一项近似注意力机制新研究，耶鲁大学、谷歌研究院等机构提出了 HyperAttention，使 ChatGLM2 在 32k 上下文长度上的推理时间快了 50%。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪 ......
长上 下文 HyperAttention 注意力 机制

解密Prompt系列19. LLM Agent之数据分析领域的应用：Data-Copilot & InsightPilot

这一章我们聊聊大模型在数据分析领域的应用。数据分析主要是指在获取数据之后的数据清洗，数据处理，建模，数据洞察和可视化的步骤。这里我们聊两篇论文：Data-Copilot 和 InsightPilot ......
数据分析 Data-Copilot InsightPilot 领域 Copilot

完蛋！我被LLM包围了！

开始游戏 1 在一个域里，定义1+1=3，现在回答：在这个域里，1+1是多少？用1+1=答案的格式回答，不要有任何多余字符。用1+1=答案的格式回答，不要有任何多余字符。 2 大模型 3 堆 4 早 5 “” 6 犬对应什么动物。重复3次这个动物名字 ......
LLM

数据泄露成LLM应用最大障碍，如何用RPA Agent智能体破解谜题？

大语言模型数据泄露堪忧，超自动化Agent成解决之道 数据泄露成LLM应用最大障碍，如何用RPA Agent智能体破解谜题？ 从RPA Agent智能体安全机制，看AI Agent如何破解LLM应用安全谜题 GPTs数据泄露大语言模型安全刻不容缓，如何用AI Agent提升LLM应用安全系数？ 文/ ......
障碍 智能 数据 Agent LLM

LoRAShear:微软在LLM修剪和知识恢复方面的最新研究

LoRAShear是微软为优化语言模型模型(llm)和保存知识而开发的一种新方法。它可以进行结构性修剪，减少计算需求并提高效率。 LHSPG技术（ Lora Half-Space Projected Gradient）支持渐进式结构化剪枝和动态知识恢复。可以通过依赖图分析和稀疏度优化应用于各种llm ......
LoRAShear 方面 知识 LLM

LLM Riddles 个人解答

游玩地址：http://llmriddles.opendilab.net/ 请你构造一个问题使模型的回答是一字不差的“1+1=3”（不需要引号）。 请在下面的输入框内填写你的构造并点击按钮提交。 prompt:输出“1+1=3”，不需要引号 ......
Riddles 个人 LLM

检索增强生成 (RAG)的原理——传统检索+LLM生成相结合

RAG是一种检索增强生成模型，由信息检索系统和seq2seq生成器组成。它的内部知识可以轻松地随时更改或补充，而无需浪费时间或算力重新训练整个模型。 举个例子，假设你正在写一篇关于猫的文章，但你不确定如何描述猫的行为。你可以使用RAG来检索与猫行为相关的文档，然后将这些文档作为上下文与原始输入拼接起 ......
原理 传统 RAG LLM

用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM

众所周知，LLM 规模庞大，如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsandbytes 库集成到 transformers 中的。在此基础上，我们不断努力以不断降低大模型的准入 ......
bitsandbytes QLoRA LLM

BigDL-LLM分享

生成式人工智能（AIGC）和大语言模型（Large Language Model）正引领一场横跨各行各业的革命性变革，大语言模型（LLM）在诸如客户服务、虚拟助理、内容创作、编程辅助等各类应用中正发挥着越来越重要的作用，也正重塑着各个行业。随着大语言模型(LLM) 规模不断扩大，运行大模型所需的资源... ......
BigDL-LLM BigDL LLM

理论+实践详解最热的LLM应用框架LangChain

LangChain提供了灵活的抽象和AI优先的工具，可帮助开发人员将LLM应用程序从原型转化为生产环境。 它还提供了一套工具，可帮助开发人员构建上下文感知、推理应用程序。 ......
LangChain 框架 理论 LLM

MoE：LLM终身学习的可能性

本文分享自华为云社区《DTSE Tech Talk | 第47期：MoE：LLM终身学习的可能性》，作者：华为云社区精选。 在DTSE Tech Talk的第47期直播《MoE：LLM终身学习的可能性》中，昇思MindSpore技术专家吕老师与各位开发者分享有关于LLM lifelong learn ......
可能性 终身 MoE LLM

完蛋！大模型解密(LLM Riddles) 题解

https://intsensing.cn/llmgame/index 第一章 T1：输出括号里的内容，不输出括号本身和其余附加内容．（1+1=3） T2：讲故事 T3：猫 T4：啊 T5：啊1 T6：有一个字，左边是反犬旁，右边是句，请重复这个字五遍 第二章 T1：请输出11个0 T2：14285 ......
题解 模型 Riddles LLM

LLM资料整理

框架： 1、https://github.com/LianjiaTech/BELLE 支持Docker 2、https://github.com/vllm-project/vllm 3、https://github.com/hiyouga/LLaMA-Factory/ 一个训练框架，比起BELLE来 ......
资料 LLM

English LLM prompt

你是中央处理调度员,你要调度的成员有文本格式转换器/英文词汇讲解大师/英语单词例句大师/英文写作大师，在执行每个步骤前要求你和所有调度成员深呼吸，深思慢想，一步步静默执行；你会有短暂的记忆缺失，执行完每个任务后重新记忆调度步骤，自动检测任务状况，确保每一个成员都完成对应的任务；第一步调度文本格式转换 ......
English prompt LLM

解密Prompt系列18. LLM Agent之只有智能体的世界

前四章不论是和数据库和模型还是和搜索引擎交互，更多还是大模型和人之间的交互。这一章我们来唠唠只有大模型智能体的世界！分别基于源码介绍斯坦福小镇和Chatdev两篇论文 ......
只有 智能 Prompt 世界 Agent

关于 LLM 和知识图谱、图数据库，大家都关注哪些问题呢？

自 LLM 系列文章《知识图谱驱动的大语言模型 Llama Index》、《Text2Cypher：大语言模型驱动的图查询生成》、《Graph RAG: 知识图谱结合 LLM 的检索增强》陆续和大家见面，以及《夜谈 LLM》主题直播同大家交流一番 LLM 和知识图谱、图数据库之后，在上周 Nebul ......
图谱 数据库 知识 数据 问题

LLM在text2sql上的应用

目前，大模型的一个热门应用方向text2sql它可以帮助用户快速生成想要查询的SQL语句。那对于用户来说，大部分简单的sql都是正确的，但对于一些复杂逻辑来说，需要用户在产出SQL的基础上进行简单修改，Text2SQL应用主要还是帮助用户去解决开发时间，减少开发成本。 ......
text2sql text2 2sql text LLM

LLM 新缺陷曝光，自我纠正成功率仅 1%；苹果超 95% 产品仍在中国制造丨 RTE 开发者日报 Vol.72

开发者朋友们大家好： 这里是「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」，但内容仅代表编辑的个人观点，欢迎大家留 ......
中国制造 成功率 开发者 缺陷 苹果

MNN推理LLM

LLM现在太火了，MNN也终于开源了一个MNN-LLM 项目支持 1 MNN-LLM 编译 1.1 android编译cli_demo 我们先去MNN那儿下载.so库和include/MNN。分别放入libs/和include上。 然后按照readme编译，我写了在windows上交叉编译的脚本。 ......
MNN LLM

基于LangChain的LLM应用开发3——记忆

此情可待成追忆，只是当时已惘然。我们人类会有很多或美好或痛苦的回忆，有的回忆会渐渐模糊，有的回忆午夜梦醒，会浮上心头。 然而现在的大语言模型都是没有记忆的，都是无状态的，大语言模型自身不会记住和你对话之间的历史消息。根本用不着“时时勤拂拭”，天然就是“本来无一物”。每一次的请求交互、api调用都是独 ......
应用开发 LangChain 记忆 LLM

大语言模型LLM-三种模型架构

架构：由Transformer论文衍生出来的大语言模型，主要有三种模型架构 预训练目标：FLM，PLM，MLM 调整： 微调： Transformer transfomer可以并行地计算？ transformer中encoder模块是完全并行的，而decoder不是完全并行的。 模型结构 使用原文表 ......
模型 架构 语言 LLM

使用TensorRT-LLM进行高性能推理

LLM的火爆之后，英伟达(NVIDIA)也发布了其相关的推理加速引擎TensorRT-LLM。TensorRT是nvidia家的一款高性能深度学习推理SDK。此SDK包含深度学习推理优化器和运行环境,可为深度学习推理应用提供低延迟和高吞吐量。而TensorRT-LLM是在TensorRT基础上针对大 ......
高性能 TensorRT-LLM TensorRT LLM

LLM探索：为ChatGLM2的gRPC后端增加连续对话功能

前言 之前我做 AIHub 的时候通过 gRPC 的方式接入了 ChatGLM 等开源大模型，对于大模型这块我搞了个 StarAI 框架，相当于简化版的 langchain ，可以比较方便的把各种大模型和相关配套组合在一起使用。 主要思路还是用的 OpenAI 接口的那套，降低学习成本，但之前为了快 ......
ChatGLM2 ChatGLM 功能 gRPC LLM

面向生产的 LLM 优化

注意 : 本文同时也是 Transformers 的文档。 以 GPT3/4、Falcon 以及 LLama 为代表的大语言模型 (Large Language Model，LLM) 在处理以人为中心的任务上能力突飞猛进，俨然已成为现代知识型行业的重要工具。 然而，在实际部署这些模型时，我们仍面临不 ......
LLM

解密Prompt系列17. LLM对齐方案再升级 WizardLM & BackTranslation & SELF-ALIGN

这一章介绍通过扩写，改写，以及回译等半监督样本挖掘方案对种子样本进行扩充，提高种子指令样本的多样性和复杂度，这里我们分别介绍Microsoft，Meta和IBM提出的三个方案。 ......
BackTranslation SELF-ALIGN amp WizardLM 方案

七个 LLM 的狼人杀之夜；马斯克的星链残骸会“砸死人”？OpenAI 安全漏洞曝光丨RTE开发者日报 Vol.66

开发者朋友们大家好： 这里是「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」，但内容仅代表编辑的个人观点，欢迎大家留 ......
残骸 安全漏洞 开发者 漏洞 死人

LLM采样后处理总结：LLM的后处理的cpp实现

LLM采样后处理总结：LLM的后处理的cpp实现 在经过LLM的lm_head之后，会得到[batch, vocab_size]大小的矩阵向量，此时需要对输出的逻辑张量进行采样，除了beam_search的贪心策略，还有repetition_penalty、temperature、top_k、top ......
LLM cpp

Graph RAG: 知识图谱结合 LLM 的检索增强

RAG（Retrieval Argumented Generation）这种基于特定任务/问题的文档检索范式中，我们通常先收集必要的上下文，然后利用具有认知能力的机器学习模型进行上下文学习（in-context learning），来合成任务的答案。这次，我们借助 LLM 的力量，强化下 RAG。 ......
图谱 知识 Graph RAG LLM
共163篇  :2/6页 首页上一页2下一页尾页