multi-stream

ControlNet-trt优化总结3：使用multi-stream和cuda-graph构建并行流水线 上节谈到使用TRT-API来构建网络，在这一节中总结一些trick来提升模型的运行效率，这些trick在所有的trt优化中均可使用，主要有以下几点： 使用cuda_graph减少kernel间的 ......