惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

腾讯CDC
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
P
Proofpoint News Feed
D
DataBreaches.Net
D
Docker
云风的 BLOG
云风的 BLOG
大猫的无限游戏
大猫的无限游戏
月光博客
月光博客
J
Java Code Geeks
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
罗磊的独立博客
Martin Fowler
Martin Fowler
U
Unit 42
Engineering at Meta
Engineering at Meta
IT之家
IT之家
Vercel News
Vercel News
B
Blog RSS Feed
人人都是产品经理
人人都是产品经理
博客园 - Franky
博客园 - 【当耐特】
Stack Overflow Blog
Stack Overflow Blog
G
Google Developers Blog
MongoDB | Blog
MongoDB | Blog

少数派

派早报:Google 发布 Fitbit Air 等 - 少数派 「新人报到」確認需求,再開始 - 少数派 从 SOLO 独立开发者社区,我看到了越来越多开发者开始做自己的产品 - 少数派 我怎么管理那些"不常做,但总会忘"的生活事项 - 少数派 人形机器人量产元年,数据才是具身智能的“生死线” - 少数派 BuhoLaunchpad 高度还原 Mac 启动台:开发历程与思考 - 少数派 五年陪伴依然不舍,DIY 换壳后让罗技 MX Master 3 继续服役 - 少数派 新玩意 240|少数派的编辑们最近买了啥? - 少数派 一日一技|为什么你应该关闭 iOS 的键盘声音 - 少数派 我做了个插件和 Skills,一键提取任何网站的设计规范 Design.md - 少数派 住在三四线城市的你,该开始录播客了 - 少数派 甘南秘境,大白高国 - 少数派 AI的审美:谁让把我变成川内倫子 - 少数派 返工怎能不烦恼,打工人片单总有一部是你的「嘴替」 - 少数派 为了让「上厕所」更健康,我做了一个小工具 - 少数派 AI + Skill,能够让生成的文章去除 AI 味吗? - 少数派 新玩意|韶音OpenDots ONE 耳夹式耳机 - 少数派 《美满》| 在每一个春天的晚上相爱(362) - 少数派 新玩意|优篮子 PS01 MagSnap 磁吸支架 - 少数派 自我整合手记 | 我开始早睡了:用稳定规则,为自由托底 - 少数派 用龙虾(OpenClaw)两个多月,我最深的12个体会 - 少数派 听歌时间到,12 张你可能错过的 2025 华语乐坛好专辑 - 少数派 承诺能追吗 - 少数派 macOS 26启动台没了? 我做了个不一样的App启动器 - Keboard - 少数派 《四海为家的人》| INTJ对话INTJ(361) - 少数派 你发过的那些黑历史,是时候一次清干净了 - 少数派 新玩意:安安静静玩,越玩越专注:计客密码机 - 少数派 iPad 用户首次体验 Android 平板:vivo Pad6 Pro - 少数派 数据逻辑强 - 少数派 极北行+ | 一路向北,探访日本至北之地 | 001 - 少数派
基于 DALL·E 的配图生成指南 - 少数派
2022-07-04 · via 少数派

找不到合适的配图,一直以来是我对写作心存畏惧的原因之一。正所谓「一图胜千言」,很多时候写好了的文字,总差一张恰到好处的配图画龙点睛。

另一方面,中文环境下比文字版权状况更糟糕的,可能就是图片版权了。不少新媒体 / 自媒体不能恰当地引用图片并标注来源,其实累积了不小的法律风险1

所幸少数派的大部分作者专注于软硬件分享,可以或截图、或自拍、或借用官方商业图片(毕竟通常是正面宣传,没有太大的风险),从而规避了上述问题2

所以今天分享的内容,可能只适用于少数派了吧 : )

2021年1月,致力于「用通用人工智能造福全人类」的 OpenAI 公司基于其 GPT-3 模型发布了划时代的 DALL·E,实现了从文本生成图像。

来自 DALL·E 论文的 Figure 3,第一行图片是正对照,第二行图片是由 DALL·E 基于每列标题自动生成的图片,剩余三行奇奇怪怪的图片由其他对比算法生成。

DALL·E 的弱鸡版(mini)去年 4 月公开,完全版(mega)一直拖到今年 5 月,DALL·E 2 都正式发布了3,才趁大家都在排队时偷偷放出。

所以我们在指南中建议如下策略,并在后文提供每个策略的具体步骤:

  1. 只是想测试看看效果,可以直接使用 Hugging Face 上的 dalle-mini;
  2. 需要程序化频繁调用,可以考虑在 Google Colab 部署一份私有的 mini;
  3. 追求更好的生成效果,有条件的同学可以尝试一下 mega。

直接使用 mini 版

  1. 访问 dalle-mini 模型在 Hugging Face 上的页面
  2. 在文本输入框填入语句,点击 Run 运行;
  3. 等待 20-60s 就能看到结果了,就这么简单!
为了方便对比效果,我们统一使用官方案例「an armchair in the shape of an avocado(牛油果形状的扶手椅)」作为输入

你可能会问为什么图片只有 256 x 256 这么大,抱歉忘记在上一节中说了,DALL · E 的能力就是如此设计的,二代在这方面有明显改善。如果想基于一代生成更高清的图片,可以尝试专门用于图片高清放大的 AI 模型,这里就不展开啦~

云上部署 mini 版

  1. 在 Google Colab 打开 DALL · E 的代码
  2. 按顺序运行各代码块(如果有任何提示记得点击 run anyway):
安装依赖
选择 mini 模型(付费大佬可以选择 mega 或 mega_full)
运行后端服务并等待
等到提示服务运行在 8000 端口,拷贝上面红框处的地址
访问 https://saharmor.github.io/dalle-playground/,填入刚才的地址,在文本输入框填入描述后回车运行即可。相比 Hugging Face 上的 mini 版本,感觉 Google Colab 是「多核版」的。

本地部署 mega 版

有勇气在本地(或服务器上)自己运行 mega 版的话,应该不太需要我描述具体步骤,一句话带过:从 代码仓库 clone 下来后,用 docker compose 方式运行起 backend 和 interface 即可。

说实话没感觉与 mini 有太大的区别,考虑心理作用的话,勉强可以说画质有那么一丢丢的提高。值得注意的是,左下图是以上 27 张图中最接近官方宣传效果的(见下图)
官方在介绍 DALL · E 的博客文章中给出的样例输出 https://openai.com/blog/dall-e/

我在本地跑 mega_full 时(对的,其实还有 mega_full,如果 GPU 显存够 12G 就可一试),遇到了一些问题,在此列出以便大家避坑:

  1. 本地 build dalle-backend image 时,特别容易因为网络问题失败,在 Dockerfile 中利用 ENV 语句加上 proxy 会好很多;
  2. 类似的,build dalle-interface image 时,可以在 RUN npm install 后面补上一个 --registry=https://registry.npmmirror.com
  3. 跑 interface 的时候可能会报 eslint 的 warning,修改一下 package.json 跳过:
  4. 初次启动 backend 时会从 wandb 下载模型参数,按道理应该会有一个进度条,但在我的环境中经常不予显示,这个时候可以通过检查 ~/.cache/wandb 下面的文件大小的变化来确认进程没有挂……

最后的 FAQs

DALL · E 是不是有点过时了?

从算法模型上来说是的,但它仍然是普通用户能够直接、免费体验的最先进的文本到图像生成器了。

能否再给一些生成案例?

「logo of pi」

为什么 Hugging Face 的版本有点奇怪?

本文初版发布后,我突然从社交平台上得知了一个令人震惊的事实:原来 Hugging Face 上的 DALL · E Mini(见前文「直接使用 Mini 版」一节)是一个叫 craiyon.com 的团队盗版的。

在 OpenAI 的要求下,模型已改名为 craiyon 但 Hugging Face 页面上没有修改标题,只是加了一行小字

craiyon 用了一个更简单的模型(BART)搭配更少的训练数据,在 Hugging Face 上构建了一个易于体验的文本-图片生成器。从前面的案例图其实也能够看出来,craiyon 生成的牛油果椅的外形其实比较类似,远不如正版 DALL · E 那么千奇百怪。而且在一些 edge case 中,比如上面案例中的「people mountain people sea」,craiyon 的生成结果明显不如 DALL · E。

据 Hugging Face 的 CEO 说,craiyon 刚上线的第一个晚上他们的工程师一夜未睡。现在这个模型每天被大家调用数万次以上,已成为互联网上最受欢迎的 meme 生成器4。数万次调用看上去不多,但直接导致现在想直接体验 craiyon 平均需要等待 60 秒以上,而我刚开始写这篇文章时只需要 20 秒。

突然感觉本文更有价值了 : )