controlnet-trt controlnet onnx trt
一个ONNX-MLIR示例工程代码
一个ONNX-MLIR示例工程代码 https://github.com/onnx/onnx-mlir 此项目(https://onnx.ai/onnx-mlir/)提供了编译器技术，用于将有效的开放神经网络交换（ONNX）图转换为以最低运行时支持实现该图的代码。基于底层LLVM/MLIR编译器技术 ......
pytorch转onnx中关于卷积核的问题
pytorch导出onnx过程中报如下错误： RuntimeError: Unsupported: ONNX export of convolution for kernel of unknown shape. 我报错的部分代码如下： def forward(self, input): n, c, ......
查看onnx模型结构-使用Netron模块
查看onnx模型结构-使用Netron模块 1 安装 $pip install netron 2 可选-查看安装的路径 $ pip show netron 3 查看onnx结构 import netron # �??�?ONNX模�??�??件�??路�? onnx_model_path = r'y ......
Stable Diffusion安装使用ControlNet1.1
一、下载扩展 [https://github.com/Mikubill/sd-webui-controlnet](https://github.com/Mikubill/sd-webui-controlnet) Reload UI 重新加载webui 二、下载模型 [https://huggingf ......
通过colab体验ControlNet
title: 通过colab体验ControlNet banner_img: https://i.imgtg.com/2023/01/29/S2miD.jpg date: 2023-3-20 15:50:00 tags: - 文字生成图片 通过colab体验ControlNet 跑通流程 首先，我们 ......
ControlNet代码改造
title: ControlNet代码改造计划 banner_img: https://drive.studyinglover.com/api/raw/?path=/photos/blog/background/1679397024795.jpeg date: 2023-4-21 11:30:00 ......
ControlNet笔记
title: ControlNet笔记 banner_img: https://i.imgtg.com/2023/01/29/S2miD.jpg date: 2023-3-20 15:50:00 categories: - 笔记 tags: - 文字生成图片 ControlNet笔记 作者的代码开源 ......
ControlNet训练自己数据集
title: ControlNet训练自己数据集 banner_img: https://proxy.thisis.plus/202304271933740.png date: 2023-4-27 19:36:00 tags: - 文字生成图片 ControlNet训练自己数据集 从官方仓库训练 官 ......
UNet pytorch模型转ONNX模型完整code
1 import os 2 import torch 3 import numpy as np 4 from Unet import UNET 5 os.environ["CUDA_VISIBLE_DEVICE"] = "" 6 7 def main(): 8 demo = Demo(model_p ......
onnx 部署的bug（1）
onnx tensorFlow 转onnx的文件做部署时，onnx读取遇到的问题： 主要报错信息为： [09/26/2022-16:03:16] [E] [TRT] ModelImporter.cpp:720: While parsing node number 10 [Reshape -> "re ......
深度学习（pytorch载入onnx测试）
测试模型用之前文章训练的Alexnet模型。 首先将pth文件转为onnx文件: import torch import torch.nn as nn # 自定义AlexNet模型 class AlexNet(nn.Module): def __init__(self): super(AlexNet ......
onnx子图修改与动态静态转化
子图修改 import onnx import onnx_graphsurgeon as gs import onnxruntime as ort import numpy as np def cut_subgraph(origin_graph_path, input_node_name_list, ......
ControlNet-trt优化总结4：onnx图修改与重建
ControlNet-trt优化总结4：onnx图修改与重建 在这一节中，主要总结网络层面的优化，针对于算子插件优化，主要聚焦于以下几点： 修改onnx图，添加不支持的算子插件 增加前后处理部分，前后处理导出为onnx图 onnx图surgeon 原有的graph中存在大量的GN操作，正常fp32的 ......
ControlNet-trt优化总结3：使用multi-stream和cuda-graph构建并行流水线
ControlNet-trt优化总结3：使用multi-stream和cuda-graph构建并行流水线 上节谈到使用TRT-API来构建网络，在这一节中总结一些trick来提升模型的运行效率，这些trick在所有的trt优化中均可使用，主要有以下几点： 使用cuda_graph减少kernel间的 ......
ControlNet-trt优化总结2：使用TRT-API从零构建ControlNet网络
ControlNet-trt优化总结2：使用TRT-API从零构建ControlNet网络 在上节讲到，可以通过手动搭建trt网络的方式来重新构造controlnet网络，这样可以避免onnx中间转换过程中的精度损失，也可避免onnx中间转化时的算子被拆解的细碎的情况，对于不支持的算子，也可通过添加 ......
onnx文件新增 sub/mul前处理节点
#更改onnx里的节点参数内容 import onnx model = onnx.load("best20230908sim.onnx") graph = model.graph initializer = graph.initializer node = graph.node for i in r ......
模型转onnx遇到问题，报错 1. _thnn_fused_lstm_cell ， 2._thnn_fused_gru_cell， 3. Exporting the operator numpy_T to ONNX opset version 11 is not supported.
目录GRULSTMExporting the operator numpy_T to ONNX opset version 11 is not supported RuntimeError: Exporting the operator _thnn_fused_lstm_cell to ONNX o ......
Stable Diffusion基础：精准控制之ControlNet
在AI绘画中精确控制图片的生成是一件比较困难的事情，炼丹师们经常需要大量抽卡才能得到一张满意的图片，不过随着 ControlNet 的诞生，这一问题得到了很大的缓解。 ControlNet 提供了十几种控制网络模型，有的可以控制画面的结构，有的可以控制人物的姿势，还有的可以控制图片的画风，这对于提高 ......
Stable Diffusion基础：ControlNet之重新上色（黑白照片换新颜）
本文给大家分享 Stable Diffusion 的基础能力：ControlNet 之重新上色。 这是一个最近新上的 ControlNet 模型，它可以识别图像中的不同区域，并使用不同的颜色重新绘制它们。 安装 ControlNet 安装 工欲善其事必先利其器，ControlNet 还是先要安装好的 ......
Stable Diffusion基础：ControlNet之图像提示（垫图）
本文给大家分享 Stable Diffusion 的基础能力：ControlNet 之图片提示。 这篇故事的主角是 IP-Adapter，它的全称是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models，翻译成 ......
halcon AI读取onnx模型并推理
*程序功能：读取onnx模型并推理dev_update_off()dev_close_window () read_dl_model ('squeezenet.onnx', DLModelHandle)set_dl_model_param (DLModelHandle, 'type', 'class ......
[trt-hackthon2023]ControlNet-trt优化总结
# trt-hackthon2023 ControlNet-trt优化总结 ## 题目简介 本届赛题是模型优化赛，和上届的hackthon一样，也是借助于TensorRT工具，实现对深度模型的加速，本届赛题要优化的模型为controlNet，即为类SD的图像生成模型。 比赛地址： https://t ......
简单的将pytorch模型部署到onnx
1. 创建一个pytorch模型 这里我用的U2Net，直接加载好训练出的权重 model = U2Net(class_nums=4) model.load_state_dict(torch.load(checkpoint_path)) 2. 将pytorch模型转成onnx格式 x = torcg ......
AI绘画：SDXL版ControlNet模型和使用方法！
SDXL是目前最强的AI绘画基础模型，直接加载模型，就可以生成不错的效果。但是它有一个致命的问题，就是不支持ControlNet。 在AI绘画中，ControlNet是一个非常重要的工具。有了它，就可以生成更加可控精准的图片。ControlNet的用途非常多，比如，控制人物姿势、线稿上色、动漫变真人 ......
Stable Diffusion基础：ControlNet之图片风格迁移
今天继续给大家分享AI绘画中 ControlNet 的强大功能，本次的主角是 Reference，它可以将参照图片的风格迁移到新生成的图片中，这句话理解起来很困难，我们将通过几个实例来加深体会，比如照片转二次元风格、名画改造、AI减肥成功图片制作、绘本小故事等等。 还有之前看很多文章说，Refere ......
dectron2框架export导出并使用 onnx 记录
```shell python tools/deploy/export_model.py \ --sample-image /Users/gatilin/PycharmProjects/model-graphviz-plot/model_graph/detectron/000000439715.jp ......
onnx_runtime 推理
# onnx_runtime 推理 ``` import numpy as np import onnx import onnxruntime as rt #create input data input_data = np.ones((1, 3, 299, 299), dtype=np.float ......
Stable Diffusion基础：ControlNet之人体姿势控制
在AI绘画中精确控制图片是一件比较困难的事情，不过随着 ControlNet 的诞生，这一问题得到了很大的缓解。 今天我就给大家分享一个使用Stable Diffusion WebUI + OpenPose ControlNet 复制照片人物姿势的方法，效果可以参考上图。 OpenPose 可以控制 ......
基于Aidlux平台实现ONNX Runtime部署-水果分类-摄像头和视频
基于Aidlux平台的人工智能开发部署全流程 第一步： 连接Aidlux后，使用jupyter notebook --allow-root进行Aidlux平台联系的jupyter notebook安装配置环境： 1.安装 ONNX、ONNX Runtime !pip install onnx onn ......
onnx2rknn (picodet_s_192_pedestrian_sim.onnx 量化时出现错误）
E ValueError: Cannot reshape a tensor with 1843200 elements to shape [100,8] (800 elements) for 'Reshape_Reshape_8_32/Reshape_Reshape_8_32' (op: 'Resh ......