526互联
首页
Ai
Java
Python
Android
Mysql
JavaScript
Html
CSS
TensorRT-LLM
使用TensorRT-LLM进行高性能推理
LLM的火爆之后,英伟达(NVIDIA)也发布了其相关的推理加速引擎TensorRT-LLM。TensorRT是nvidia家的一款高性能深度学习推理SDK。此SDK包含深度学习推理优化器和运行环境,可为深度学习推理应用提供低延迟和高吞吐量。而TensorRT-LLM是在TensorRT基础上针对大 ......
高性能
TensorRT-LLM
TensorRT
LLM
更新时间 2023-10-22
共1篇 :1/1页
首页
上一页
1
下一页
尾页