ONNXRuntime
加载动态库onnxruntime
public static IntPtr OnnxRuntimeImportResolver(string libraryName, Assembly assembly, DllImportSearchPath? searchPath) { //调试信息 LogHelper.NlogTrace(li ......
为什么在使用onnxruntime-gpu下却没有成功调用GPU？
20240105，记。 最近在使用GPU对onnx模型进行加速过程中（仅针对N卡，毕竟也没有别的显卡了。。），遇到了点问题：就是明明在安装了合适版本的显卡驱动和CUDA后，onnx还是不能够成功调用GPU，并且还出现了先导入torch，再导入onnxruntime就可以成功调用的奇怪现象。 测试机器 ......
onnxruntime GPU 推理错误
错误 [E:onnxruntime:Default, provider_bridge_ort.cc:1480 TryGetProviderInfo_CUDA] /onnxruntime_src/onnxruntime/core/session/provider_bridge_ort.cc:1193 ......
【开源】java版本BertTokenizer以及使用onnxruntime推理
python训练的模型，转换为onnx模型后，用python代码可以方便进行推理，但是java代码如何实现呢？ 首先ONNX 推理，可以使用`onnxruntime` ```xml com.microsoft.onnxruntime onnxruntime 1.15.1 ``` 另外，训练的模型需要 ......
RuntimeError: /onnxruntime_src/onnxruntime/core/providers/cuda/cuda_call.cc:121
使用google colab 使用gpu的运行换脸程序报错了 原因是因为没有开启gpu的使用，如何开启可以参考 [https://www.tutorialspoint.com/google_colab/google_colab_using_free_gpu.htm](https://www.tuto ......
【模型部署 01】C++实现分类模型（以GoogLeNet为例）在OpenCV DNN、ONNXRuntime、TensorRT、OpenVINO上的推理部署
深度学习领域常用的基于CPU/GPU的推理方式有OpenCV DNN、ONNXRuntime、TensorRT以及OpenVINO。这几种方式的推理过程可以统一用下图来概述。整体可分为模型初始化部分和推理部分，后者包括步骤2-5。 以GoogLeNet模型为例，测得几种推理方式在推理部分的耗时如下： ......
windows上用vs2017静态编译onnxruntime-gpu CUDA cuDNN TensorRT的坎坷之路
因为工作业务需求的关系，需编译onnxruntime引入项目中使用，主项目exe是使用的vs2017+qt5.12。 onnxruntime就不用介绍是啥了撒，在优化和加速AI机器学习推理和训练这块赫赫有名就是了。 有现成的别人编译好的只有dll动态库，当然我们显然是不可能使用的，因为BOSS首先就 ......