onnx 部署的bug(1)

发布时间 2023-11-13 17:38:57作者: RVIER

onnx

tensorFlow 转onnx的文件做部署时,onnx读取遇到的问题:

image-20220926160335798

主要报错信息为:

[09/26/2022-16:03:16] [E] [TRT] ModelImporter.cpp:720: While parsing node number 10 [Reshape -> "reshape"]:
[09/26/2022-16:03:16] [E] [TRT] ModelImporter.cpp:721: --- Begin node ---
[09/26/2022-16:03:16] [E] [TRT] ModelImporter.cpp:722: input: "biased_tensor_name"
input: "shape_tensor"
output: "reshape"
name: "reshape"
op_type: "Reshape"
doc_string: ""
domain: ""

[09/26/2022-16:03:16] [E] [TRT] ModelImporter.cpp:723: --- End node ---
[09/26/2022-16:03:16] [E] [TRT] ModelImporter.cpp:726: ERROR: ModelImporter.cpp:162 In function parseGraph:
[6] Invalid Node - reshape
Attribute not found: allowzero
TensorRT load onnx model already!
[09/26/2022-16:03:16] [E] [TRT] 4: [network.cpp::nvinfer1::Network::validate::2411] Error Code 4: Internal Error (Network must have at least one output)
[09/26/2022-16:03:16] [E] [TRT] 2: [builder.cpp::nvinfer1::builder::Builder::buildSerializedNetwork::417] Error Code 2: Internal Error (Assertion enginePtr != nullptr failed.)
[09/26/2022-16:03:16] [I] [TRT] [MemUsageChange] Init CUDA: CPU +0, GPU +0, now: CPU 39230, GPU 4403 (MiB)

可以看出主要模型的[Reshape -> "reshape"]:这一部分出错,

通过网站https://netron.app/查看模型

best_modelSubmit.onnx

上网查询发现很多也都是Reshape出错,也有的建议尽量别使用reshape。

Pytorch转TensorRT中的坑_永恒_一瞬的博客-CSDN博客。[ONNXRuntimeError] :6 : RUNTIME_EXCEPTION : Non-zero status code returned while running Reshape node | 码农家园 (codenong.com)

此处先留一个坑(后续调查一下为啥reshape特别容易出错,但是reshape很常用,按理说不应该存在这种问题)


但是因为我在项目中是做最后部分的,时间比较紧,要求上游修改模型架构,重新训练,也不太来得及。人家也不愿意做。

我一番搜索,发现了onnx文件依然可以做模型修改。那是不是可以先修改onnx文件,将Reshape去掉在做模型的读取部署呢。

答案当然是可行的。要不然也不会有这篇记录。

具体思路为,将onnx的Reshape-->reshape替换或者删掉,因为这一部分只做了数组的尺寸的变化,对数据结果并不会产生任何影响。

工具就是onnx-modifier: A tool to modify onnx models in a visualization fashion, based on Netron and flask

onnx_modifier_logo image-20220926162406749

onnx-modifier功能还是很丰富的,刚好可以满足我的要求,在这里对作者表示敬意和感谢。

修改后的模型如下:(我删掉了Reshape,还给最后的输出层改了一个名字output,原来的reshape容易引起误解)

modified_best_modelSubmit.onnx

经测试完全成功,onnx的模型部署一切正常,输出与源文件一致。(打完收工,完结撒花!)