OpenAI推出Dalle-3

阿法兔热度: 28831

DALL-E 3 代表着OpenAI在生成与您提供的文本完全一致的图像能力方面的一次飞跃

原文作者:阿法兔

原文来源:阿法兔研究笔记

https://openai.com/dall-e-3

  • DALL-E 3 目前处于研究和试用预览阶段,将于 10 月份向 ChatGPT Plus 和企业客户提供。
  • DALL-E 3 :能够理解微妙的细微差别,并根据包含大量细节的提示词出图
  • 根据OpenAI官网,DALL-E 3 主要是针对 ChatGPT Plus 和企业版用户都将可以使用。

现代文本到图像系统往往会忽略文字或描述,迫使用户学习提示工程。DALL-E 3 代表着OpenAI在生成与您提供的文本完全一致的图像能力方面的一次飞跃(Modern text-to-image systems have a tendency to ignore words or descriptions, forcing users to learn prompt engineering. DALL·E 3 represents a leap forward in our ability to generate images that exactly adhere to the text you provide.)

即使相同的提示词,DALL-E 3 也比 DALL-E 2 有显著改进,如下:提示词“An expressive oil painting of a basketball player dunking, depicted as an explosion of a nebula.”

OpenAI左图是DALL-E 2,右图的DALL-E 3

DALL-E 3DALL-E 3 是在 ChatGPT 的基础上开发的,它可以让用户把 ChatGPT 作为你的头脑风暴伙伴和提示的提炼者。从简单的句子到详细的段落,你都可以向 ChatGPT 提出自己的需求。

ChatGPT 中的 DALL-E 3当你提出一个想法时,ChatGPT 会自动为DALL-E 3生成量身定制的详细提示,让你的想法栩栩如生。如果你喜欢某个图像,但它不太合适,你可以要求 ChatGPT 进行调整,只需几个字即可。

OpenAIDALL-E 3 将于 10 月初向 ChatGPT Plus 和企业客户推出。与 DALL-E 2 一样,用户使用 DALL-E 3 创建的图片归自己所有,无需获得OpenAI的许可即可对其进行转载、销售或商品化。

其它示例

和ChatGPT 的集成:让 ChatGPT 制作一个有趣的漫画,ChatGPT可以为 DALL-E 3 提出了概念,并编写了详细的提示词。

OpenAI

再举个例子,跟 ChatGPT说:"制作有趣的表情包:make a funny meme. should be unlike anything seen before."; it prompted DALL·E with: "A penguin in a desert with a suitcase, looking confused, with a text caption that says 'I think I booked the wrong flight'." Not cherry-picked:

OpenAI

还可以使用 DALL-E 3 制作一些非常漂亮和有趣的可视化效果:

OpenAI

还有海报:

OpenAI

卡通图片:

OpenAI

Sam展示的视频:

OpenAI

原理:

  • 早的DALL·E 是 OpenAI 的多模态预训练模型,通过120亿参数的模型,在2.5亿图像文本对上训练完成
  • DALL-E 是一个两阶段的模型:它的第一个阶段是离散变分自编码器(Discrete Variance Auto-Encoder,dVAE),用于生成图像的token。它的第二个阶段是混合了图像和文本特征的,以Transformer为基础的生成模型

OpenAI

上述原理参考自:知乎DALL·E 原理通俗理解-Mr.RottenPeach的文章

你对DALL·E 3怎么看?可以试用一下:)对比一下和Midjourney

参考资料:

1.知乎:DALL·E 原理通俗理解-Mr.RottenPeach

2.Greg的推特

3.https://openai.com/dall-e-3

4.https://zhuanlan.zhihu.com/p/506778898

声明:本文为入驻“MarsBit 专栏”作者作品,不代表MarsBit官方立场。
转载请联系网页底部:内容合作栏目,邮件进行授权。授权后转载时请注明出处、作者和本文链接。未经许可擅自转载本站文章,将追究相关法律责任,侵权必究。
提示:投资有风险,入市须谨慎,本资讯不作为投资理财建议。
免责声明:本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况,及遵守所在国家和地区的相关法律法规。
关键字:OpenAIDALL-E 3