openai CLIP 库实现图片搜索

在看 stable diffusion 代码的时候,发现基本上都会用一个库 CLIP,是 openai 开源出来的, openai/CLIP: Contrastive Language-Image Pretraining 可以把图像和文本转换到一个向量空间,最简单的应用是可以用文本搜索图片,像 stable diffusion 这种生成模型,其实就是好几种技术拼接在一起,才会有这样的效果。

openia

图片搜索

Search photos on Unsplash using natural language 实现了文字到图片的搜索,原理非常简单,把要搜索的图片都转换面向量,把要搜索的文字也转换成向量,直接到这些向量就相似度就可以。

讓AI幫你穿搭!用CLIP實作一個時尚穿搭資料庫 (aif.tw)

openai CLIP

发表评论