刚刚！OpenAI 推出 Dalle-3

阿法兔研究笔记2023/10/27 07:39

作者:阿法兔研究笔记

欢迎大家转发到朋友圈~~这样兔儿就更有动力发更多好内容了~

* 转载本文，请附上所有参考文献链接

关于 DALL-E 3

*本文 1000 字左右

https://openai.com/dall-e-3

DALL-E 3 目前处于研究和试用预览阶段，将于 10 月份向 ChatGPT Plus 和企业客户提供。
DALL-E 3 :能够理解微妙的细微差别，并根据包含大量细节的提示词出图
根据 OpenAI 官网，DALL-E 3 主要是针对 ChatGPT Plus 和企业版用户都将可以使用。

现代文本到图像系统往往会忽略文字或描述，迫使用户学习提示工程。DALL-E 3 代表着 OpenAI 在生成与您提供的文本完全一致的图像能力方面的一次飞跃 (Modern text-to-image systems have a tendency to ignore words or descriptions, forcing users to learn prompt engineering. DALL·E 3 represents a leap forward in our ability to generate images that exactly adhere to the text you provide.)
即使相同的提示词，DALL-E 3 也比 DALL-E 2 有显著改进，如下： 提示词 “An expressive oil painting of a basketball player dunking, depicted as an explosion of a nebula.”

左图是 DALL-E 2，右图的 DALL-E 3
DALL-E 3 DALL-E 3 是在 ChatGPT 的基础上开发的，它可以让用户把 ChatGPT 作为你的头脑风暴伙伴和提示的提炼者。从简单的句子到详细的段落，你都可以向 ChatGPT 提出自己的需求。
ChatGPT 中的 DALL-E 3 当你提出一个想法时，ChatGPT 会自动为 DALL-E 3 生成量身定制的详细提示，让你的想法栩栩如生。如果你喜欢某个图像，但它不太合适，你可以要求 ChatGPT 进行调整，只需几个字即可。

DALL-E 3 将于 10 月初向 ChatGPT Plus 和企业客户推出。与 DALL-E 2 一样， 用户使用 DALL-E 3 创建的图片归自己所有，无需获得 OpenAI 的许可即可对其进行转载、销售或商品化。
其它示例
和 ChatGPT 的集成：让 ChatGPT 制作一个有趣的漫画，ChatGPT 可以为 DALL-E 3 提出了概念，并编写了详细的提示词。

再举个例子，跟 ChatGPT 说："制作有趣的表情包：make a funny meme. should be unlike anything seen before."; it prompted DALL·E with: "A penguin in a desert with a suitcase, looking confused, with a text caption that says 'I think I booked the wrong flight'." Not cherry-picked:

还可以使用 DALL-E 3 制作一些非常漂亮和有趣的可视化效果：

还有海报：

卡通图片：

Sam 展示的视频:

原理：

早的 DALL·E 是 OpenAI 的多模态预训练模型，通过 120 亿参数的模型，在 2.5 亿图像文本对上训练完成
DALL-E 是一个两阶段的模型：它的第一个阶段是离散变分自编码器（Discrete Variance Auto-Encoder，dVAE），用于生成图像的 token。它的第二个阶段是混合了图像和文本特征的，以 Transformer 为基础的生成模型