使用TensorRT-LLM进行高性能推理

LLM的火爆之后，英伟达(NVIDIA)也发布了其相关的推理加速引擎TensorRT-LLM。TensorRT是nvidia家的一款高性能深度学习推理SDK。此SDK包含深度学习推理优化器和运行环境,可为深度学习推理应用提供低延迟和高吞吐量。而TensorRT-LLM是在TensorRT基础上针对大模型进一步优化的加速推理库，它号称可以增加4倍的推理速度。

所以本文将对其做一个简单的使用介绍。

https://avoid.overfit.cn/post/9601a73924024e2895957627f8e35bda

本栏目推荐文章
• cleaning of llm corpus 大模型语料清洗
• SQL Server 高性能写入的一些总结
• 高性能、低功耗 基于8位AVR®RISC的ATMEGA328PB-MUR、ATMEGA328PB-ANR、ATMEGA328PB-AUR微控制器（MCU）
• limit 影响性能的原因和优化方案
• js中的对象，如果赋值给多个变量，那么会有性能问题吗
• 解析x86与x64：架构之争、性能较量与未来趋势
• 记一次卡顿的性能优化经历实操
• php环境，性能优化
• LLM series: Transformer
• 升讯威在线客服系统的并发高性能数据处理技术：为多线程处理同步数据

高性能 TensorRT-LLM TensorRT LLM高性能tensorrt-llm tensorrt llm tensorrt-llm tensorrt llm tensorrt torch-tensorrt tensorrt ubuntu 22.04 cudnn tensorrt yolov7 yolov 杂谈tensorrt模型 框架tensorrt代码 深度tensorrt模型