简单理解 Stable Diffusion 和 代码实现

Stable Diffusion 的论文我粗看了一下,并没有完整的去看所有的数学推导,知道大概的过程后,随手找了几个科普性质的文章,最后又找了几段代码,Stable Diffusion 是好几个技术拼在一起,包括 openai 的 CLIP,U-NET等。

我的学习目标

我学习这些的目标可以拆解如下。

  1. 会用,利用开源的模型,可以自己运行起来。
  2. 明白其原理,大致的搞明白其原理,但是不会去纠小细节。
  3. 了解其各个参数的作用和用法。
  4. 找其原理实现的代码,把代码跑起来。
  5. 怎么样把模型服务化,做到高可用。

怎么用 stable diffusion 的文章一大把,讲其原理的视频和文章相对少一些,但是也是有的,推荐 beginners-guide-to-diffusion-models 这个文章解决的比较清楚,并且作者是还画了图,看完后你大概知道什么是 step,什么是 CFG,什么是调度器之类的了。

代码实现发现 fast.ai 有一个课程,讲解了基本的原理,并且实现了相应的代码,Stable Diffusion Deep Dive,他的整个代码也都可以看一看diffusion-nbs

视频推荐

20221219BziuVD
这个是 fat.ia 相关的视频,在 Stable Diffusion 方面介绍的较详细 https://www.youtube.com/@howardjeremyp/videos

Stable Diffusion 视频推荐

https://www.youtube.com/watch?v=1CIpzeNxIhU&t=242s&ab_channel=Computerphile

发表评论