526互联

accelerate gpu llm

cleaning of llm corpus 大模型语料清洗

cleaning of llm corpus 大模型语料清洗 数据是人工智能领域发展的基础要素之一。随着大规模预训练模型及相关技术不断取得突破，在相应研究中使用高效数据处理工具提升数据质量变得越来越重要。llm_corpus_quality集成了包含清洗、敏感词过滤、广告词过滤、语料质量自动评估等功 ......
语料 cleaning 模型 corpus llm

gpu

目前在网络中零知识证明生成速度较慢，从几十秒到几分钟，不适合一些带有隐私功能钱包和匿名身份平台的应用。为了防止隐私泄露，这些证明生成无法外包给第三方。 目前命令行程序可以访问GPUs, FPGAs, ASICs等硬件设备，但是浏览器的资源很受限。目前已经有一些团队采用硬件加速zk, 例如Scroll ......
gpu

LLM series: Transformer

🥥 Homepage Dataset, DataLoader, and Transforms Model Traning Model 🥑 Get Started! Import libraries: import torch import torch.nn as nn import torch. ......
Transformer series LLM

NVIDA GPU-SXM和NVIDA GPU-PCIe 两种类型显卡到底哪个性能更高？

相关： 大模型时代该用什么样的显卡 —— 实验室新进两块A800显卡 浅析：NVIDA GPU卡SXM和PCIe之间的差异性 原来SXM类型的显卡比PCIex类型显卡性能要高。PCIE版本是通用接口，可以提供给所有电脑主板使用；而SXM类型的显卡是必须搭配nvidia公司的自家的主板来使用的。 SX ......
NVIDA GPU 显卡 GPU-PCIe 性能

大语言模型LLM幻觉的解决方法：检索增强生成RAG

当你向大语言模型LLMs集成的问答系统平台咨询医疗方面的问题，比如呼吸道感染应该怎么治疗，它可能直接给出答案，但不会提供这个答案的依据来源，这是因为大语言模型应用过程中还存在答案透明度不足的缺陷导致。此外，大语言模型还有知识更新的滞后性、在处理复杂任务时的准确性的问题。 为了解决这些问题，检索增强生 ......
幻觉 模型 语言 方法 LLM

使用CLIP和LLM构建多模态RAG系统

使用CLIP和LLM构建多模态RAG系统 在本文中我们将探讨使用开源大型语言多模态模型(Large Language Multi-Modal)构建检索增强生成(RAG)系统。本文的重点是在不依赖LangChain或LLlama index的情况下实现这一目标，这样可以避免更多的框架依赖。 什么是RA ......
模态 系统 CLIP LLM RAG

GPU环境搭建（TrWebOCR）

查看显卡信息 lspci | grep -i nvidia 查看系统是否受支持 uname -m http://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#system-requirements 验证是否有编译环境 gc ......
TrWebOCR 环境 GPU

支持NVIDIA GPU —— 如何运行docker环境下的Jax环境

项目地址： https://github.com/NVIDIA/JAX-Toolbox 具体的安装命令： 地址： https://github.com/NVIDIA/JAX-Toolbox/pkgs/container/jax linux/amd64 docker pull ghcr.io/nvid ......
环境 NVIDIA docker GPU Jax

Jax框架 —— 如何在没有GPU和TPU的设备上debug代码 —— 在CPU上使用GPU仿真设置 —— Jax框架在多卡设备上的自动并行特性的仿真体验

Jax计算框架是Google用来取代Tensorflow的新一代计算框架，这个框架使用类似pytorch的技术，但是在pytorch技术之上加入了更加强大的技术，但是这也导致该框架使用起来要比pytorch难一些，但是该框架的计算性能又比较优秀，因此依旧具有较大的吸引力。 Jax框架的性能优势主要体 ......
框架 设备 Jax GPU 特性

面向初学者的机器学习、数据科学、AI、LLM课程统统免费

微软真是活菩萨，面向初学者的机器学习、数据科学、AI、LLM课程统统免费 微软真是活菩萨，面向初学者的机器学习、数据科学、AI、LLM课程统统免费 大家好，我是老章 推荐几个质量上乘且完全免费的微软开源课程 面向初学者的机器学习课程 地址：https://microsoft.github.io/ML ......
初学者 机器 课程 科学 数据

LLM增强LLM；通过预测上下文来提高文生图质量；Spikformer V2；同时执行刚性和非刚性编辑的通用图像编辑框架

文章首发于公众号：机器感知 LLM增强LLM；通过预测上下文来提高文生图质量；Spikformer V2；同时执行刚性和非刚性编辑的通用图像编辑框架 LLM Augmented LLMs: Expanding Capabilities through Composition 本文研究了如何高效地组合 ......
刚性 图像编辑 上下文 Spikformer LLM

基于 FFmpeg 和 NVIDIA GPU 的视频硬件编解码实验

【官方文档地址】：使用 FFmpeg 和 NVIDIA GPU 硬件加速 ( PDF ) 从 Kepler 一代开始的所有 NVIDIA® GPU 都支持完全加速的硬件视频编码和解码。在本文档的其余部分中，硬件编码器和硬件解码器分别称为 NVENC 和 NVDEC。 NVENC和NVDEC的硬件能力 ......
硬件 FFmpeg NVIDIA 视频 GPU

为什么在使用onnxruntime-gpu下却没有成功调用GPU？

20240105，记。 最近在使用GPU对onnx模型进行加速过程中（仅针对N卡，毕竟也没有别的显卡了。。），遇到了点问题：就是明明在安装了合适版本的显卡驱动和CUDA后，onnx还是不能够成功调用GPU，并且还出现了先导入torch，再导入onnxruntime就可以成功调用的奇怪现象。 测试机器 ......
onnxruntime-gpu onnxruntime gpu GPU

AI_GPU-硬件-驱动-cuda

硬件 GeForce 系列 是英伟达主打的消费级GPU产品线 Quadro 系列 是英伟达专业级GPU产品线,针对商业和专业应用领域进行了优化 NVIDIA Quadro P1000显卡 Jetson 系列 是面向边缘计算和人工智能应用的嵌入式开发平台,具备强大的计算和推理能力： Jetson Or ......
硬件 AI_GPU cuda GPU AI

转载：大模型所需 GPU 内存笔记

转载文章：大模型所需 GPU 内存笔记 引言 在运行大型模型时，不仅需要考虑计算能力，还需要关注所用内存和 GPU 的适配情况。这不仅影响 GPU 推理大型模型的能力，还决定了在训练集群中总可用的 GPU 内存，从而影响能够训练的模型规模。 大模型推理的内存计算只需考虑模型权重即可。 大模型训练的内 ......
模型 内存 笔记 GPU

如何避免LLM的“幻觉”(Hallucination)

生成式大语言模型（LLM）可以针对各种用户的 prompt 生成高度流畅的回复。然而，大模型倾向于产生幻觉或做出非事实陈述，这可能会损害用户的信任。 大语言模型的长而详细的输出看起来很有说服力，但是这些输出很有可能是虚构的。这是否意味着我们不能信任聊天机器人，每次都必须手动检查输出的事实?有一些方法 ......
Hallucination 幻觉 LLM

微软真是活菩萨，面向初学者的机器学习、数据科学、AI、LLM课程统统免费

微软真是活菩萨，面向初学者的机器学习、数据科学、AI、LLM课程统统免费 大家好，我是老章 推荐几个质量上乘且完全免费的微软开源课程 面向初学者的机器学习课程 地址：https://microsoft.github.io/ML-For-Beginners/#/ 学习经典机器学习，主要使用 Sciki ......
活菩萨 初学者 机器 课程 科学

AMOS: Enabling Automatic Mapping for Tensor Computations On Spatial Accelerators with Hardware Abstraction

AMOS: Enabling Automatic Mapping for Tensor Computations On Spatial Accelerators with Hardware Abstraction Abstract 为了实现性能提升，硬件专用化是一个趋势。空间硬件加速器利用专门的层次 ......
Accelerators Computations Abstraction Automatic Enabling

一文读懂大型语言模型LLM

在当今的技术世界中，人工智能正以前所未有的速度发展和演变。这一领域的快速发展得益于先进的机器学习算法、海量数据的可用性以及计算能力的显著提升。特别是，在自然语言处理（NLP）领域，AI的进步已经让计算机不仅能理解人类语言的基本结构，还能在更深层次上把握其语义和情感。这种能力的核心在于大型语言模型（大 ......
模型 语言 LLM

打通Rasa Action Server和LLM接口的尝试方法

本文使用最简单的方法对打通 Rasa Action Server 和 LLM 接口进行了尝试，即当 Rasa 对话 intent 为 out_of_scope 时，调用 action_gpt_fallback 的 action，在 action 中根据 tracker.latest_message. ......
接口 方法 Action Server Rasa

解密Prompt系列22. LLM Agent之RAG的反思：放弃了压缩还是智能么？

当前RAG多数只让模型基于检索内容回答，其实限制了模型自身知识压缩形成的智能。既要事实性又要模型智能，需要最大化使用模型内化到参数中的信息，只在必要时调用外部知识，这里介绍前置和后置处理的几种方案~ ......
还是 智能 Prompt Agent LLM

国产深度学习框架吸引用户的一种免费手段——免费GPU时长

国产的深度学习框架基本成为了一个头部公司的标配了，不论是阿里、百度还是华为都推出了自己的深度学习框架，这几家公司为了吸引用户也都采取了免费使用GPU的活动，但是与阿里、百度的不同，华为是与固定的高校的实验室合作，为合作的大学实验室提供免费算力，并且这个算力的使用时限目前应该是没有限制的；而与华为不同 ......
时长 框架 深度 手段 国产

GPU服务器常见问题汇总

Q1、从启动盘安装时黑屏/屏幕卡住？ Q2、1T固态硬盘Ubuntu系统磁盘分区策略： Q3、安装Ubuntu需要选择更新吗？ Q4、安装Ubuntu后重启无法开机？ Q5、首次开机的配置代码？ Q6、CUDA及cuDNN安装指南： A6、安装步骤如下： Q7、Anaconda安装教程： A7、安装... ......
常见问题 常见 服务器 问题 GPU

LLM 系列

LLM prompt 大模型微调-综述 大模型微调-Prompt Tuning 大模型微调 - LoRA 系列 大模型微调 - Prefix Tuning / P-Tuning v2 RAG Embedding Embedding 模型收录 embedding - bi encode AND cro ......
LLM

摩尔线程S2000GPU环境配置

引子 书接上文，这边再来一个国产AI芯片的环境配置，OK，让我们开始吧。 一、安装系统Ubuntu20.04.1 1、USB光盘刻录系统 2、安装 3、系统主板BIOS开启Above4G及Resize BAR功能 4、命令lspci | grep 123 二、安装GPU环境 1、安装驱动程序（服务器 ......
线程 环境 S2000 2000 GPU

Unity3D Shader在GPU上是如何执行的详解

Unity3D是一款广泛应用于游戏开发的跨平台开发引擎，它提供了丰富的功能和工具来帮助开发者创建高质量的游戏。其中一个重要的功能就是Shader，它可以用来控制对象的渲染效果。在Unity3D中，Shader是在GPU上执行的，那么它是如何工作的呢？本文将详细解释Unity3D Shader在GPU ......
Unity3D Shader Unity3 Unity GPU

Unity3D Shader Compute Shader基于GPU的并发计算详解

在游戏开发中，计算密集型的任务通常需要耗费大量的CPU资源，这可能导致游戏性能下降，影响玩家的游戏体验。为了解决这个问题，Unity3D引入了Shader Compute Shader技术，它使用GPU进行并发计算，将一些计算密集型任务从CPU转移到GPU上执行，以提高游戏的性能和效率。本文将详细介 ......
Shader Unity3D Compute Unity3 Unity

Unity3D Shader在GPU上是如何执行的详解

前言 Unity3D是一款广泛应用于游戏开发的跨平台开发引擎，它提供了丰富的功能和工具来帮助开发者创建高质量的游戏。其中一个重要的功能就是Shader，它可以用来控制对象的渲染效果。在Unity3D中，Shader是在GPU上执行的，那么它是如何工作的呢？本文将详细解释Unity3D Shader在 ......
Unity3D Shader Unity3 Unity GPU

Bert-vits2最终版Bert-vits2-2.3云端训练和推理(Colab免费GPU算力平台)

对于深度学习初学者来说，JupyterNoteBook的脚本运行形式显然更加友好，依托Python语言的跨平台特性，JupyterNoteBook既可以在本地线下环境运行，也可以在线上服务器上运行。GoogleColab作为免费GPU算力平台的执牛耳者，更是让JupyterNoteBook的脚本运行 ......
Bert-vits Bert vits 云端 Colab

在linux中查看运行指定进程资源占用（cpu+gpu）

在运行程序时有时候会需要查看资源占用，以方便部署在其他服务器上时进行参考。以下是总结了我在linux上查找程序进程资源的两种方法（cpu和gpu都有）。 ......
进程 资源 linux cpu gpu
共438篇  :1/15页 首页上一页1下一页尾页