ControlNet
Stable Diffusion安装使用ControlNet1.1
一、下载扩展 [https://github.com/Mikubill/sd-webui-controlnet](https://github.com/Mikubill/sd-webui-controlnet) Reload UI 重新加载webui 二、下载模型 [https://huggingf ......
通过colab体验ControlNet
title: 通过colab体验ControlNet banner_img: https://i.imgtg.com/2023/01/29/S2miD.jpg date: 2023-3-20 15:50:00 tags: - 文字生成图片 通过colab体验ControlNet 跑通流程 首先，我们 ......
ControlNet代码改造
title: ControlNet代码改造计划 banner_img: https://drive.studyinglover.com/api/raw/?path=/photos/blog/background/1679397024795.jpeg date: 2023-4-21 11:30:00 ......
ControlNet笔记
title: ControlNet笔记 banner_img: https://i.imgtg.com/2023/01/29/S2miD.jpg date: 2023-3-20 15:50:00 categories: - 笔记 tags: - 文字生成图片 ControlNet笔记 作者的代码开源 ......
ControlNet训练自己数据集
title: ControlNet训练自己数据集 banner_img: https://proxy.thisis.plus/202304271933740.png date: 2023-4-27 19:36:00 tags: - 文字生成图片 ControlNet训练自己数据集 从官方仓库训练 官 ......
ControlNet-trt优化总结4：onnx图修改与重建
ControlNet-trt优化总结4：onnx图修改与重建 在这一节中，主要总结网络层面的优化，针对于算子插件优化，主要聚焦于以下几点： 修改onnx图，添加不支持的算子插件 增加前后处理部分，前后处理导出为onnx图 onnx图surgeon 原有的graph中存在大量的GN操作，正常fp32的 ......
ControlNet-trt优化总结3：使用multi-stream和cuda-graph构建并行流水线
ControlNet-trt优化总结3：使用multi-stream和cuda-graph构建并行流水线 上节谈到使用TRT-API来构建网络，在这一节中总结一些trick来提升模型的运行效率，这些trick在所有的trt优化中均可使用，主要有以下几点： 使用cuda_graph减少kernel间的 ......
ControlNet-trt优化总结2：使用TRT-API从零构建ControlNet网络
ControlNet-trt优化总结2：使用TRT-API从零构建ControlNet网络 在上节讲到，可以通过手动搭建trt网络的方式来重新构造controlnet网络，这样可以避免onnx中间转换过程中的精度损失，也可避免onnx中间转化时的算子被拆解的细碎的情况，对于不支持的算子，也可通过添加 ......
Stable Diffusion基础：精准控制之ControlNet
在AI绘画中精确控制图片的生成是一件比较困难的事情，炼丹师们经常需要大量抽卡才能得到一张满意的图片，不过随着 ControlNet 的诞生，这一问题得到了很大的缓解。 ControlNet 提供了十几种控制网络模型，有的可以控制画面的结构，有的可以控制人物的姿势，还有的可以控制图片的画风，这对于提高 ......
Stable Diffusion基础：ControlNet之重新上色（黑白照片换新颜）
本文给大家分享 Stable Diffusion 的基础能力：ControlNet 之重新上色。 这是一个最近新上的 ControlNet 模型，它可以识别图像中的不同区域，并使用不同的颜色重新绘制它们。 安装 ControlNet 安装 工欲善其事必先利其器，ControlNet 还是先要安装好的 ......
Stable Diffusion基础：ControlNet之图像提示（垫图）
本文给大家分享 Stable Diffusion 的基础能力：ControlNet 之图片提示。 这篇故事的主角是 IP-Adapter，它的全称是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models，翻译成 ......
[trt-hackthon2023]ControlNet-trt优化总结
# trt-hackthon2023 ControlNet-trt优化总结 ## 题目简介 本届赛题是模型优化赛，和上届的hackthon一样，也是借助于TensorRT工具，实现对深度模型的加速，本届赛题要优化的模型为controlNet，即为类SD的图像生成模型。 比赛地址： https://t ......
AI绘画：SDXL版ControlNet模型和使用方法！
SDXL是目前最强的AI绘画基础模型，直接加载模型，就可以生成不错的效果。但是它有一个致命的问题，就是不支持ControlNet。 在AI绘画中，ControlNet是一个非常重要的工具。有了它，就可以生成更加可控精准的图片。ControlNet的用途非常多，比如，控制人物姿势、线稿上色、动漫变真人 ......
Stable Diffusion基础：ControlNet之图片风格迁移
今天继续给大家分享AI绘画中 ControlNet 的强大功能，本次的主角是 Reference，它可以将参照图片的风格迁移到新生成的图片中，这句话理解起来很困难，我们将通过几个实例来加深体会，比如照片转二次元风格、名画改造、AI减肥成功图片制作、绘本小故事等等。 还有之前看很多文章说，Refere ......
Stable Diffusion基础：ControlNet之人体姿势控制
在AI绘画中精确控制图片是一件比较困难的事情，不过随着 ControlNet 的诞生，这一问题得到了很大的缓解。 今天我就给大家分享一个使用Stable Diffusion WebUI + OpenPose ControlNet 复制照片人物姿势的方法，效果可以参考上图。 OpenPose 可以控制 ......
人工智能AI图像风格迁移(StyleTransfer),基于双层ControlNet(Python3.10)
图像风格迁移（Style Transfer）是一种计算机视觉技术，旨在将一幅图像的风格应用到另一幅图像上，从而生成一幅新图像，该新图像结合了两幅原始图像的特点，目的是达到一种风格化叠加的效果，本次我们使用Stable-Diffusion结合ControlNet来实现图像风格迁移效果。 安装Contr ......
常用的ControlNet以及如何在Stable Diffusion WebUI中使用
上一次我们已经介绍了如何通过代码的方式使用ControlNet，Stable Diffusion WebUI里面包含了很详细的使用设置，我们可以直接在上面进行操作，所以本文将介绍如何以傻瓜的方式直接使用ControlNet。 如果你用过Stable Diffusion，可能已经注意到图像的输出有无限 ......
使用 diffusers 训练你自己的 ControlNet 🧨
简介 ControlNet 这个神经网络模型使得用户可以通过施加额外条件，细粒度地控制扩散模型的生成过程。这一技术最初由 Adding Conditional Control to Text-to-Image Diffusion Models 这篇论文提出，并很快地风靡了扩散模型的开源社区。作者开源 ......
提供免费 TPU 的 ControlNet 微调活动来啦
相信大家已经感受到 AI 绘画的魅力，多多少少也可以自称半个「prompt 小专家」了，而在 AI 绘画的时候 Stable Diffusion 也会出现一些小瑕疵，比如 AI 不是灵魂画「手」，还有一些特别的肢体动作也不是普通人可以用语言描述清楚的。这个时候，就轮到 ControlNet 出场啦！ ......
使用 🧨 Diffusers 实现 ControlNet 高速推理
自从 Stable Diffusion 风靡全球以来，人们一直在寻求如何更好地控制生成过程的方法。ControlNet 提供了一个简单的迁移学习方法，能够允许用户在很大程度上自定义生成过程。通过 ControlNet，用户可以轻松地使用多种空间语义条件信息 (例如深度图、分割图、涂鸦图、关键点等) ......
登峰造极,师出造化,Pytorch人工智能AI图像增强框架ControlNet绘画实践,基于Python3.10
人工智能太疯狂，传统劳动力和内容创作平台被AI枪毙，弃尸尘埃。并非空穴来风，也不是危言耸听，人工智能AI图像增强框架ControlNet正在疯狂地改写绘画艺术的发展进程，你问我绘画行业未来的样子？我只好指着ControlNet的方向。本次我们在M1/M2芯片的Mac系统下，体验人工智能登峰造极的绘画... ......