Diffusion
Diffusion Model理解
Diffusion Model理解 整体理解 拆楼（正向过程）可以直接一步步加噪声做，建楼（反向过程）需要使用模型来学习 苏剑林. (Jun. 13, 2022). 《生成扩散模型漫谈（一）：DDPM = 拆楼 + 建楼 》文章中截图 从右向左是正向过程，\(q(x_t|x_{t-1})\) 是加噪 ......
Stable Diffusion保姆级安装教程
什么是Stable Diffusion Stable Diffusion（简称SD）是2022年发布的一个深度学习文本到图像生成模型，由慕尼黑大学的CompVis研究团体首先提出，并与初创公司Stability AI、Runway合作开发，同时得到了EleutherAI和LAION的支持。 St ......
Stable Diffusion(SD-Webui)tag快速提权(降权)
1.选中tag（只要光标在你分词里面就行）
2.CRTRL+上下方向键（向上默认提0.1，向下默认减.0.1，当权为1时候会帮你自动消掉括号） ......
Stable_diffusion入门学习
前言 最近升级了一下电脑的显卡，搞了个4060ti 16g的，于是乎终于可以玩玩一直想玩的AI绘画了。简单学习了一下入门教程，了解了一下基本的情况，于是选择秋葉大佬的启动器学习。 但是要画出好看的绘画，还是需要借助于许多其他工具来优化和修复绘画的图形。接下来我将一一记录我在学习过程中所整理的笔记和资 ......
Stable Diffusion Seed
点击了附加/Extra就会看到扩展栏 种子变异（Variation seed） 变异种子，规则和Seed一致 变异强度（Variation strength） 变异种子和原种子的差异强度，为0时为原种子，为1时是新种子（变异种子）。 调整变异强度 简单正向prompt（1 hot girl），原始种 ......
Stable Diffusion 数学支撑
一、生成模型 在概率统计理论中， 生成模型是指能够随机生成观测数据的模型 GAN 模型因其对抗性训练的本质可能导致训练不稳定以及生成多样性不足VAE 依赖于替代损失Flow 模型必须使用专门的架构来构建可逆变换 扩散模型受非平衡热力学的启发。它们定义了一个扩散步骤的马尔可夫链，逐渐向数据添加随机噪声 ......
Stable Diffusion安装使用ControlNet1.1
一、下载扩展 [https://github.com/Mikubill/sd-webui-controlnet](https://github.com/Mikubill/sd-webui-controlnet) Reload UI 重新加载webui 二、下载模型 [https://huggingf ......
Stable Diffusion安装使用Multi Frame Render
一、下载脚本 无跳帧动画脚本下载地址放置目录：./scripts 二、使用 img2img--Script--(Beta) Multi-frame Video rendering-V0.72 其他 PIL.UnidentifiedImageError : cannot identify image ......
Stable Diffusion安装使用Mov2mov
一、下载插件 [https://github.com/Scholar01/sd-webui-mov2mov](https://github.com/Scholar01/sd-webui-mov2mov)刷新UI 二、WebUI操作 1、图生图 图生图目的是选择合适的参数达到想要的效果 2、mov2m ......
Stable Diffusion组成
一、Text Understander（蓝色部分） 将文字转换成某种计算机能理解的数学表示 text understander是个特别的Transformer语言模型（例如clip，可参考Clip介绍） text understander的输入是人类语言（token），输出是一系列的向量（token ......
Stable Diffusion Seed
点击了附加/Extra就会看到扩展栏 种子变异（Variation seed） 变异种子，规则和Seed一致 变异强度（Variation strength） 变异种子和原种子的差异强度，为0时为原种子，为1时是新种子（变异种子）。 调整变异强度 简单正向prompt（1 hot girl），原始种 ......
Stable Diffusion Prompt
Prompt俗称咒语，实际上也是很难完全把控，在实际生图过程中需要不断的摸索。本文从“规则”、“原理”、“结合扩散模型”三个角度对Prompt进行探讨，希望小伙伴们能对Prompt整体有立体的认识。 一、规则 1、增强/减弱（emphasized） 实质是：缩放语义向量 :::warning ()强 ......
Stable Diffusion 数学支撑
一、生成模型 在概率统计理论中， 生成模型是指能够随机生成观测数据的模型 GAN 模型因其对抗性训练的本质可能导致训练不稳定以及生成多样性不足VAE 依赖于替代损失Flow 模型必须使用专门的架构来构建可逆变换 扩散模型受非平衡热力学的启发。它们定义了一个扩散步骤的马尔可夫链，逐渐向数据添加随机噪声 ......
2020CVPR_High-Resolution Image Synthesis with Latent Diffusion Models
1.AutoEncoder AutoEncoder（自编码器）是一种无监督学习的神经网络模型，用于学习有效的数据表示。它的目标是将输入数据编码成一种潜在的、紧凑的表示形式，然后从这个表示中重构原始输入。自编码器由两部分组成：编码器（Encoder）和解码器（Decoder）。编码器（Encoder） ......
2311arxiv_Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model
论文疑点： 1. 怎样利用低维度紧凑的潜在空间减少了计算负担 ......
Diffusion Model扩散模型
1、扩散模型基本原理： 扩散模型包括两个步骤： 固定的（或预设的）前向扩散过程q：该过程会逐渐将高斯噪声添加到图像中，直到最终得到纯噪声。 2.可训练的反向去噪扩散过程pθ：训练一个神经网络，从纯噪音开始逐渐去噪，直到得到一个真实图像 。 正向过程首先，对于一张原始图片，我们给加一个高斯噪声，图片由 ......
Stable diffusion
Stable Diffusion 目前来说效果比较好的影像生成模型, 就算不是Stable Diffusion, 套路也和其相似. 而Stable Diffusion就是目前最好的影像生成模型. How it works 目前最好的影像生成模型, 其内部基本上由三个元件组成. 第一个元件是Text ......
Adding Conditional Control to Text-to-Image Diffusion Models
https://mp.weixin.qq.com/s/iL6YitT7EGP6DnrBehb9MQ 1.Adding Conditional Control to Text-to-Image Diffusion Models 论文地址：https://arxiv.org/pdf/2302.05543 ......
魔导手册 Stable Diffusion 画龙 画坤坤（鲲） 画麒麟
一、选择模型 1、点击Checkpoints 2、拉到最后选择sd-xl-base_1.0 二、开启创作之旅 1、点击Generation 点击Refiner 2、选择 sdxl/sd_xl_refiner_1.0.safetensors（PS 下拉框拉到最后就行啦） 3、输入咒语（正向提示词和反向 ......
魔导手册 Stable Diffusion 云部署
一、什么是Stable Diffusion Stable Diffusion主要用于 文本生成图像 的深度学习模型，也就是常说的txt2img的应用场景中：通过给定 文本提示词（text prompt），该模型会输出一张匹配提示词的图片。 二、云平台选择 这里选择揽睿星舟，按量计费，非常便宜 点击直 ......
Windows 11 搭建Stable Diffusion遇到的问题
趁着双11，将我的 i5 4690 + ddr3 4g x 2 换掉了，换成了 AMD 5600 + ddr4 x 2，另外加了个 1t 的 m2的ssd。 原先的硬件部分留下了： 500w的金河田电源 kingston sdd 128g系统启动盘保留 wd blue 1t 也保留下来，但是最近待机 ......
[论文阅读] Painterly Image Harmonization using Diffusion Model
Pre title: Painterly Image Harmonization using Diffusion Model accepted: AAAI2023 paper: https://arxiv.org/abs/2212.08846 code: https://github.com/bcm ......
简单有效！Direct Inversion: 三行代码提升基于Diffusion的图像编辑效果
前言 本文介绍了由香港中文大学和粤港澳大湾区数字经济院联合提出的基于 Diffusion 的 Inversion 方法 Direct Inversion，可以在现有编辑算法上即插即用，无痛提点。 本文转载自PaperWeekly 作者：KK 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指 ......
使用 DDPO 在 TRL 中微调 Stable Diffusion 模型
引言 扩散模型 (如 DALL-E 2、Stable Diffusion) 是一类文生图模型，在生成图像 (尤其是有照片级真实感的图像) 方面取得了广泛成功。然而，这些模型生成的图像可能并不总是符合人类偏好或人类意图。因此出现了对齐问题，即如何确保模型的输出与人类偏好 (如“质感”) 一致，或者与那 ......
diffusion扩散模型\datawhale组队学习——v3先运行一半
今天我们一起学习如何对模型微调和引导。 微调，用原模型，跑新数据，得到新输出。 引导，引导生成过程，改变输出结果。 作者之前用过sd模型，不同的采样方法在不同的采样步数下有不同的效果。首先采样步数并非越高越好或越低越好，有一个最佳使用区间，其次，不同采样方法有自己不同的最佳采样步数区间。 一般而言3 ......
diffusion扩散模型\datawhale组队学习——v2-抄别人代码还要矫情一下
如果想学diffusion，又没有买纸质书咋办捏？ datawhale为我们提供了大佬的中文笔记！ 学习来源： https://relph1119.github.io/my-team-learning/#/diffusion_models_learning51/ch03/ch03 甚至比看githu ......
prompt提示工程/diffusion扩散模型/datawhale组队学习///day1 看直播
今日学习来源【纯干货】提示工程（Prompt Engineering）- AI编程新范式_哔哩哔哩_bilibili 抄一下评论区的课代表： - 0:00 📚共识扩散模型学习活动- 6:57 🛠️大圆模型和提示工程- 13:53 💬语言模型和大语言模型- 20:49 🔬GBT3.5和深度学习 ......
Stable-diffusion WebUI API调用方法
写这篇文章的主要原因是工作中需要写一个用训练好的模型批量生图的脚本，开始是想用python直接加载模型，但后来发现webui的界面中有不少好用的插件和参数，所以最终改成调用WebUI接口的方式来批量生图。 Stable-diffusion的webui界面使用比较方便，但是它的api文档比较简陋，很多 ......
IDM:Implicit Diffusion Models for Continuous Super-Resolution超分辨率
摘要 当今超分辨领域的模型普遍存在过度平滑（难以保持放大后图像的锐利和纹理，导致高频信息丢失和视觉上变得平滑）和伪影（生成的高分辨率图像中可能出现的不希望出现的失真或瑕疵，包括模糊、马赛克效应或者不自然纹理等）的现象，作者据此提出了IDM模型，IDM模型是在一个统一的端到端框架中集成了隐式神经表示和 ......
论文阅读（二）—— Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators
 ![image](https://img2023.cnblogs.com/blog/3279428/2... ......