Stable Diffusion 的论文我粗看了一下,并没有完整的去看所有的数学推导,知道大概的过程后,随手找了几个科普性质的文章,最后又找了几段代码,Stable Diffusion 是好几个技术拼在一起,包括 openai 的 CLIP,U-NET等。
我的学习目标
我学习这些的目标可以拆解如下。
- 会用,利用开源的模型,可以自己运行起来。
- 明白其原理,大致的搞明白其原理,但是不会去纠小细节。
- 了解其各个参数的作用和用法。
- 找其原理实现的代码,把代码跑起来。
- 怎么样把模型服务化,做到高可用。
怎么用 stable diffusion 的文章一大把,讲其原理的视频和文章相对少一些,但是也是有的,推荐 beginners-guide-to-diffusion-models 这个文章解决的比较清楚,并且作者是还画了图,看完后你大概知道什么是 step,什么是 CFG,什么是调度器之类的了。
代码实现发现 fast.ai 有一个课程,讲解了基本的原理,并且实现了相应的代码,Stable Diffusion Deep Dive,他的整个代码也都可以看一看diffusion-nbs
视频推荐
这个是 fat.ia 相关的视频,在 Stable Diffusion 方面介绍的较详细 https://www.youtube.com/@howardjeremyp/videos
https://www.youtube.com/watch?v=1CIpzeNxIhU&t=242s&ab_channel=Computerphile