526互联

LLM

【开源项目】AI Vtuber 一个由多LLM驱动的虚拟主播，可以在Bilibili/抖音 直播中与观众实时互动或本地聊天。使用多种TTS技术并可进行AI变声。通过特定指令协同SD绘图。并有循环文案

AI Vtuber是一个由 ChatterBot / GPT / Claude / langchain 本地 or 云端 / chatglm / text-generation-webui / 讯飞星火 / 智谱AI / 谷歌Bard / 文心一言 做为 大脑 驱动的虚拟主播 Live2D / Vt... ......
变声 文案 指令 并有 实时

LLM实践-在Colab上使用免费T4 GPU进行Chinese-Llama-2-7b-4bit推理

一、配置环境 1、打开colab，创建一个空白notebook，在[修改运行时环境]中选择15GB显存的T4 GPU. 2、pip安装依赖python包 !pip install --upgrade accelerate !pip install bitsandbytes transformers_ ......
Chinese-Llama Chinese Colab Llama 4bit

论文阅读：iterator zero-shot llm prompting for knowledge graph construction

Abstract 知识图谱，一种相互连接和可解释的结构。 生成需要更多的人力、领域知识、并需要适用于不同的应用领域。 本论文提出借助LLM，通过0-shot和外部知识不可知的情况下生成知识图谱。 主要贡献： 迭代的prompting提取最终图的相关部分 0-shot，不需要examples 一个可扩 ......
construction zero-shot knowledge prompting iterator

解密Prompt系列16. LLM对齐经验之数据越少越好？LTD & LIMA & AlpaGasus

总结下指令微调、对齐样本筛选相关的方案包括LIMA，LTD等。论文都是以优化指令样本为核心，提出对齐阶段的数据质量优于数量，少量+多样+高质量的对齐数据，就能让你快速拥有效果杠杠的模型 ......
AlpaGasus amp 经验 数据 Prompt

大语言模型LLM推理及训练显存计算方法

一、推理：显存计算 推理的显存大头就是：参数量，参数类型版本一般有以下四种： float 32位 浮点数 4 字节 half / BF16 16位 浮点数 2 字节 int8 8位 整数 1 字节 int4 4位 整数 0.5 字节 以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 = ......
显存 模型 语言 方法 LLM

全新注意力算法PagedAttention：LLM吞吐量提高2-4倍，模型越大效果越好

前言 吞吐量上不去有可能是内存背锅！无需修改模型架构，减少内存浪费就能提高吞吐量！ 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV ......
吞吐量 PagedAttention 算法 注意力 模型

基于本地知识库和LLM的知识库问答难点及解决方案

难点：由于langchain采用的是硬切分文档的方式，导致文档分割不够准确，例如：在文档中若有分点描述的情况，对文档硬性分割后，会把各个重点分隔开，导致后续向量召回时，片段是残缺的。如： 如果硬性分割文档，则在召回阶段拿到所有的通知信息。 解决方案：考虑使用语义分析的方式来分割文档，BERT模型训练 ......
知识库 知识 难点 解决方案 方案

解密Prompt系列15. LLM Agent之数据库应用设计：DIN & C3 & SQL-Palm & BIRD

这一章我们来唠唠大模型和DB数据库之间的交互方案，除了基于Spider数据集的SOTA方案DIN之外，还会介绍两个改良方案C3和SQL-Palm，以及更贴合实际应用的大规模复杂SQL数据集BIRD。 ......
amp SQL-Palm 数据库 数据 Prompt

从Google开发者大会浅谈LLM的应用

这周参加了在上海世博中心举办Google I/O Connect中国开发者大会，有几年没参加这么高质量的活动，有点感慨。 期间重点听了关于GCP和Google AI大语言模型的主题演讲，发现目前各大厂商仍然还处于大语言模型的早期应用阶段，Google PaLM 2也不例外。作为业界最领先的AI公司之 ......
开发者 大会 Google LLM

通过提示大语言模型进行个性化推荐LLM-Rec: Personalized Recommendation via Prompting Large Language Models

论文原文地址：https://arxiv.org/abs/2307.15780 本文提出了一种提示LLM并使用其生成的内容增强推荐系统的输入的方法，提高了个性化推荐的效果。 ## LLM-Rec Prompting ![](https://img2023.cnblogs.com/blog/17994 ......
Recommendation Personalized Prompting Language 模型

基于 LLM 的知识图谱另类实践

大语言模型时代，我们有了 few-shot 和 zero-shot 的能力。借助这些 LLM 能力，如何更便捷地实现知识图谱的知识抽取，用知识图谱来解决相关问题。 ......
图谱 另类 知识 LLM

SemanticFunction 融合 LLM 和传统编程

本文将继续和大家介绍 SemanticKernel 神奇的魔法，将使用 LLM 大语言模型编写的自然语言函数和传统的编程语言编写的函数融合到一起的例子。通过本文的例子，大家可以看到 SemanticKernel 框架所推荐的一个工作模式，同时可以更好的理解 SemanticKernel 框架的用法 ......
SemanticFunction 传统 LLM

[AIGC] experience on new code LLM(WizardCoder-Python-34B-V1.0) by Wizard

Today I have a try on new large model designed by code generating named WizardCoder-Python-34B-V1.0. It's quite astonishing. You can have a try throug ......
WizardCoder-Python WizardCoder experience Python Wizard

解密Prompt系列14. LLM Agent之搜索应用设计：WebGPT & WebGLM & WebCPM

本章介绍如何和搜索引擎进行交互的LLM Agent设计，主要包含以下几个模块：搜索改写，事实抽取，聚合推理，行为交互。我们会以WebCPM为基础，同时介绍WebGPT，WebGLM的异同 ......
amp Prompt WebGPT WebGLM WebCPM

mlc-llm 环境搭建

mlc-llm 文章总目录：https://www.cnblogs.com/wutou/p/17668924.html ## 环境说明 物理机系统： Windows 11 VMware 虚拟机：16.2.4 build-20089737 VMware 虚拟机系统：[ubuntu-22.04.3-de ......
mlc-llm 环境 mlc llm

大语言模型LLM网络结构介绍

大语言模型（Large Language Model，LLM）的网络结构通常基于深度神经网络，其中最常见的是基于变换器（Transformer）架构的模型。以下是一般情况下大语言模型（如GPT系列）的网络结构概述： 多层变换器（Multi-layer Transformers）：大语言模型通常由多个 ......
模型 语言 结构 网络 LLM

langchain中的LLM模型使用介绍

# 简介 构建在大语言模型基础上的应用通常有两种，第一种叫做text completion,也就是一问一答的模式，输入是text，输出也是text。这种模型下应用并不会记忆之前的问题内容，每一个问题都是最新的。通常用来做知识库。 还有一种是类似聊天机器人这种会话模式，也叫Chat models。这种 ......
langchain 模型 LLM

如何做LLM微调

为了构建一个企业内的知识库，您可以按照以下步骤使用预训练的通用语言LLM进行fine-tune，同时确保数据的安全性： 1. 数据收集：由于您不能将100个PDF文件传到企业外的LLM上，您可以在企业内部进行数据收集。请找到合适的人员，负责将这些PDF文件转换为文本格式，可以使用OCR技术或其他合适 ......
LLM

精进语言模型：探索LLM Training微调与奖励模型技术的新途径

# 精进语言模型：探索LLM Training微调与奖励模型技术的新途径 LLMs Trainer 是一个旨在帮助人们从零开始训练大模型的仓库，该仓库最早参考自 [Open-Llama](https://github.com/beichao1314/Open-Llama)，并在其基础上进行扩充。 有 ......
模型 Training 途径 语言 技术

如何使用LLM实现文本自动生成视频

推荐：使用NSDT场景编辑器助你快速搭建可二次编辑的3D应用场景 介绍 基于扩散的图像生成模型代表了计算机视觉领域的革命性突破。这些进步由Imagen，DallE和MidJourney等模型开创，展示了文本条件图像生成的卓越功能。有关这些模型内部工作的介绍，您可以阅读本文。 然而，Text-2-Vi ......
自动生成 文本 视频 LLM

llm 多模态通用大模型（nlp/cv）知识讲解

模型算法(最难，模型结构与训练方法) 数据（最耗时，数据与模型效果之间的关系） 算力（GPU显卡+模型量化） 模型参数量、训练数据量： 模型参数量决定 整个模型的理论效果 训练数据量决定 整个模型的实际效果 多模态：用于表示某种信息的模式（图片、文字、语音、视频） 通过各种预训练模型将信息的不同模式 ......
模态 模型 知识 llm nlp

Python 矢量数据库和矢量索引：构建 LLM 应用程序

矢量数据库支持快速相似性搜索和跨数据点扩展。对于 LLM 应用程序，矢量索引可以通过将矢量附加到现有存储来简化完整矢量数据库的体系结构。选择索引还是数据库取决于特殊需要、现有基础结构和更广泛的企业要求。 ......
矢量 应用程序 索引 数据库 程序

构建LLM应用程序时需要了解的5件事

构建基于LLM的应用程序无疑可以为几个问题提供有价值的解决方案。然而，理解并主动解决幻觉、提示上下文、可靠性、快速工程和安全性等挑战将有助于利用LLM的真正潜力，同时确保最佳性能和用户满意度。在本文中，我们将探讨开发人员和从业者在构建LLM应用程序时应该知道的这五个关键注意事项。 ......
应用程序 程序 LLM

解密Prompt系列13. LLM Agent-指令微调方案: Toolformer & Gorilla

本章介绍基于模型微调，支持任意多工具组合调用，复杂工具调用的方案。工具调用的核心是3个问题：在哪个位置使用工具，使用什么工具，如何生成调用语句 - Gorilla & Toolformer ......
指令 Toolformer Gorilla 方案 Prompt

关于 LLM 和图数据库、知识图谱的那些事

本文着重介绍了 LLM、RAG、Graph 是什么，以及 LLM 如何同知识图谱结合，让知识抽取更加便利。此外，还讲述了一些 LLM 在数据库领域的应用场景，比如：用自然语言查询数据。 ......
图谱 数据库 知识 数据 LLM

[LLM] 开源 AI 大语言模型的本地化定制实践

LLM（Large Language Model，大型语言模型）是一种基于深度学习的自然语言处理模型，旨在理解和生成人类语言。 它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。 LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。 本文假 ......
模型 语言 LLM AI

云原生 AI 工程化实践之 FasterTransformer 加速 LLM 推理

*作者：颜廷帅（瀚廷）* ## 01 背景 OpenAI 在 3 月 15 日发布了备受瞩目的 GPT4，它在司法考试和程序编程领域的惊人表现让大家对大语言模型的热情达到了顶点。人们纷纷议论我们是否已经跨入通用人工智能的时代。与此同时，基于大语言模型的应用也如雨后春笋般出现，为我们带来了协同办公、客 ......
FasterTransformer 工程 LLM AI

最流行的开源 LLM （大语言模型）整理

本文对国内外公司、科研机构等组织开源的 LLM 进行了全面的整理。 Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。 所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 ......
模型 语言 LLM

在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化

前言 LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 本文转载自DeepHub IMBA 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技 ......
检查点 梯度 方法 LoRA GPU

LLM部署

# LLM部署 ## 如何从huggingface上下载模型 ### 安装git-lfs ```shell curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash su ......
LLM
共163篇  :3/6页 首页上一页3下一页尾页