利用ChatGPT和Midjourney创作绘本
发布时间 2023-06-14 14:48:06作者: BOTAI
面对AI工具的强大创作能力，设计师一直担心工作被AI所取代，然而AI真的会取代设计师吗？
本篇文章从比较简单的绘本故事下手，整理一套全流程AI创作的方法。
工具选择
创作一个绘本故事，主要分成故事和画面两个部分，故事部分自然使用今年最火的ChatGPT来完成。
而绘画方面，如果想精准控制画风和构图动态，按说应该使用Stable Diffusion。
但Midjourney在上手方面优势巨大，且比Stable Diffusion更容易做出吸睛的画作，所以我这次先使用Midjourney的Niji模式来尝试。
使用ChatGPT，随便想一个主题、地点和主角，然后ChatGPT就会帮我们输出一个故事。
我改用对话的方式让ChatGPT修改，向它提出“简短一些”“加入一些反转”“加一些温馨的内容”的要求，它就像一个世界上最好的乙方，非常耐心的修改故事，最终得到了我觉得还OK的版本。如下图所示：
但是上图这个故事还得变成我们绘本分镜的段落语言才能使用，于是对ChatGPT发号施令“用分镜的方式描述出来”，便可以得到带序号的段落文字。
我们可以对ChatGPT说“增加/减少画面”或直接指定”变成8个画面“，非常好控制。如下图所示：
这些简单的分镜语言我们可以通过翻译变成英文作为Midjourney里的主体描述词，
但是绘本的配文不可能使用如此苍白的语言，同样指挥ChatGPT丰富镜头的配文“给每个分镜用绘本的方式写一段故事文案“
如此我们就得到最终绘本里的配文。
我们要完成一篇整体的绘本故事，得保证画风统一、角色正确以及画面能和文案搭配。
（1）因为描述故事场景的文案很长，所以为了统一画风，我们需要尽量简短的关键词来控制画风，我这里使用的是Mike Mignola + Tove Jansson的风格，这两位一个是美漫画家，另一个是儿童画画家，这样就融合成了一个很特别的儿童画风。
【The old man in the white tall hat carefully made delicious food in the restaurant, but the business was not satisfactory】（场景主体描述）, Inspired by Mike Mignola + Tove Jansson（画家风格） --ar 3:4 --niji 5 --s 400 --style expressive（NIJI5 expressive模式）
（2）其次为了相对固定人物，需要给主角一些外貌上的特征，比如我这里面设定了一个带白色厨师帽的老人和红发穿着绿衣的年轻人，当然Midjourney的跑偏率还是比较高，但是这样相对能让你需要的“统一人物”概率高一些。
（3）虽然ChatGPT帮我们写好了分镜的描述，但是我们还是尽量人工优化一下，尽量输出给Midjourney简单直接的描述，不要有复杂的语句，如果跑出的图和你想要的画面南辕北辙，尝试把自己的描述换一个方法说给Midjourney听。
将跑出的图和文案（ChatGPT写的配文）结合。首先挑出合适的图，如果有些画面很好但是跑偏的地方可以用PS微调一下，接着使用PS将文案融入图片里，再简单排版一下，一个简单的绘本故事就创作完成啦！
以上是整个流程的制作过程，用类似的方法可以创作出更长更完整的故事，也可以创作出漫画或插画。
我们也不用苛求全过程只使用AI来创作。现阶段我依旧视AI为辅助工具，可以更高效的帮助你完成自己的工作或创作。
如何更进一步
Stable Diffusion+Controlnet出图更好控制一些，你可以完全文生图，也可以绘制草图后让Stable Diffusion去画，利用好“局部重绘”功能可以更好的完善细节。
下图就是手绘稿通过Stable Diffusion得到的生成图。
现在的Stable Diffusion出图质量非常依赖模型，如果需要的画风没有对应的模型，而Midjourney又能跑出想要的画风，不妨尝试让Midjourney生成的图，再到Stable Diffusion炼制自己的专属模型，这样达成的效果会很好。
