用 Dreambooth 生成自己的肖像

最近AI 生成 avatar 或者 portrait 特别火,火到什么程度呢?有人用这个一天挣了 100 万美元,我也一直很喜欢生成头像,这种生成的技术叫做 Dreambooth,应该是 Google 发布的一论文,然后有人把它实现了。

Dreambooth
20221210Q3OTIm

生成步骤

准确照片

要拍 20 张左右的照片,如果是肖像生成, iphone 有人像模式,用这种方式拍出来的效果最好,20 张照片应该从人脸的各个角度进行拍摄。

准备训练

用上面拍的 20 张照片进行训练,训练时间在不同的 GPU 上差距很大,不太推荐在 T4 上面去训练,推荐 A100,显存至少要 20 G 以上。

生成

训练完成就可以根据 prompt 去生成,用什么样的 prompt 非常有技巧,推荐一个参考网站。 PromptHero – Search prompts for Stable Diffusion, DALL-E & Midjourney

论文

[2208.12242] DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation (arxiv.org)

代码实现

GitHub – XavierXiao/Dreambooth-Stable-Diffusion: Implementation of Dreambooth (https://arxiv.org/abs/2208.12242) with Stable Diffusion

diffusers/examples/dreambooth at main · ShivamShrirao/diffusers · GitHub

huggingface 也有训练的代码,和相关的参数,并且还总结了各种经验。

Training Stable Diffusion with Dreambooth using Diffusers (huggingface.co)

diffusers/examples/dreambooth at main · huggingface/diffusers · GitHub

发表评论