526互联
首页
Ai
Java
Python
Android
Mysql
JavaScript
Html
CSS
TritonServer
记录TritonServer部署多模型到多GPU踩坑 | 京东云技术团队
一、问题是怎么发现的 部署chatglm2和llama2到一个4*V100的GPU机器上遇到问题 config.pbtxt 中设置模型分别在指定gpu上部署实例配置不生效 如以下配置为在gpu0上部署本模型,部署count=1个实例,在gpu1上部署本模型,部署count=2个实例 instance ......
TritonServer
模型
团队
技术
GPU
更新时间 2023-10-17
共1篇 :1/1页
首页
上一页
1
下一页
尾页