Stable Diffusion
目前来说效果比较好的影像生成模型, 就算不是Stable Diffusion, 套路也和其相似. 而Stable Diffusion就是目前最好的影像生成模型.
How it works
目前最好的影像生成模型, 其内部基本上由三个元件组成. 第一个元件是Text Encoder, 它能把输入的文字叙述变成对应的向量; 接下来是一个Generation Model, 现如今大家使用的都是Diffusion Model, 当然使用其他模型也是可以的. 该Generation Module能够接收一个输入的杂讯和输入的文字的encoder, 然后产生一个中间产物, 这个中间产物可以是人能看的懂的, 只是比较小比较模糊的图片, 当然也可以是人完全看不懂的东西, 这个中间产物是图片被压缩以后的结果. 接下来直接套一个Decoder, 这个Decoder的作用就是将图片的压缩版本还原为原本的图片. 通常3个Module是分开训练的, 然后再组合起来.