最近AI 生成 avatar 或者 portrait 特别火,火到什么程度呢?有人用这个一天挣了 100 万美元,我也一直很喜欢生成头像,这种生成的技术叫做 Dreambooth,应该是 Google 发布的一论文,然后有人把它实现了。
生成步骤
准确照片
要拍 20 张左右的照片,如果是肖像生成, iphone 有人像模式,用这种方式拍出来的效果最好,20 张照片应该从人脸的各个角度进行拍摄。
准备训练
用上面拍的 20 张照片进行训练,训练时间在不同的 GPU 上差距很大,不太推荐在 T4 上面去训练,推荐 A100,显存至少要 20 G 以上。
生成
训练完成就可以根据 prompt 去生成,用什么样的 prompt 非常有技巧,推荐一个参考网站。 PromptHero – Search prompts for Stable Diffusion, DALL-E & Midjourney
论文
代码实现
diffusers/examples/dreambooth at main · ShivamShrirao/diffusers · GitHub
huggingface 也有训练的代码,和相关的参数,并且还总结了各种经验。
Training Stable Diffusion with Dreambooth using Diffusers (huggingface.co)
diffusers/examples/dreambooth at main · huggingface/diffusers · GitHub