Adobe声称，它的新图像生成模型是迄今为止最好的

Adobe旗下的生成式AI模型Firefly在创意界并不享有最佳声誉。

特别是火虫图像生成模型被批评为令人失望和有缺陷，与中途之路、OpenAI的DALL-E 3和其他竞争对手相比，存在在扭曲肢体和景观，以及忽视提示中的细微差别的倾向。但Adobe正试图通过其第三代模型——Firefly Image 3来纠正这一问题，并将在本周公司的Max London会议上发布。

这款模型现在可在Photoshop（测试版）和Adobe的Firefly网络应用程序中使用，比其前身（图像2）和其前身的前身（图像1）产生更加“逼真”的图像，这得益于其能够理解更长、更复杂的提示和场景，以及改进的光照和文本生成能力。Adobe表示，它应更准确地呈现排版、图标、光栅图像和线条艺术，并且在描绘拥挤人群以及具有“详细特征”和“多种情绪表达”的人物方面更为“出色”。

就我所知，在我简短的非科学测试中，图像3似乎比图像2更上一层楼。

我没有能够亲自尝试图像3。不过Adobe公关发送了一些模型的输出和提示，我设法通过网络上的图像2运行相同的提示，以得到样本来与图像3的输出进行比较（请记住，图像3的输出可能是精心挑选的）。

请注意这张头像照片中的灯光，与下面一个相比，来自第二张图片:

在我看来，图像3的输出看起来更加详细和栩栩如生，具有阴影和对比度，而这在图像2的样本中基本上是缺失的。

这里是一组图片，展示了图像3在场景理解方面的表现。

请注意，与图像3的输出相比，图像2的样本在细节水平和整体表现上都相对简单。图像3的样本中，主体的衬衫（腰部周围）有些不协调，但姿势比图像2中的主体更复杂。（而且图像2的衣服也有点问题。）

毫无疑问，图像3的一些改进可以追溯到更大更多样化的训练数据集。

与图片2和图片1一样，图片3是在上传到Adobe Stock的内容上进行训练的，Adobe Stock是Adobe的免版税媒体库，还包括已过期版权的许可和公共领域内容。Adobe Stock不断增长，因此可用的训练数据集也在不断增加。

为了避免诉讼并将自身定位为更“道德”的人工智能供应商（例如OpenAI、Midjourney）的替代方案，Adobe公司推出了一个项目，向Adobe Stock的贡献者支付训练数据集。（我们注意到该项目的条款相当不透明。）有争议的是，Adobe还在AI生成的图片上训练Firefly模型，有人认为这是一种数据洗白的形式。

最近彭博社的报道揭示，在Adobe Stock中生成的人工智能图像并未被排除在Firefly图像生成模型的训练数据之外。考虑到这些图像可能包含重新使用的受版权保护的内容，这一情况令人担忧。Adobe为这一做法进行了辩护，声称人工智能生成的图像仅占其训练数据的一小部分，并经过审查流程以确保它们不描绘商标或能够识别的人物或提及艺术家的姓名。

当然，无论是更多样化、更“道德”采集的训练数据，还是内容过滤器和其他安全措施，都不能保证完全没有缺陷的体验 — 请看用户用图像2制作出伸中指的人。真正的考验将在社区开始使用图像3后才会显现。

全新的人工智能功能

图像3为Photoshop带来了多项新功能，不仅仅是增强了文本转图像的功能。

在Image 3中新增了一种名为“样式引擎”的功能，以及一个新的自动样式化切换按钮，使模型能够生成更丰富的颜色、背景和主题姿势。它们可以用作“参考图像”，让用户能够基于他们想要未来生成内容的颜色或色调与之一致的图像来调整模型。

三种新的生成工具——生成背景、生成相似和增强细节——利用图像3对图像进行精确编辑。生成背景可以用一个生成的背景取代原有背景，并与现有图像融合在一起；生成相似可以在照片的选定部分（例如人物或物体）提供变体。至于增强细节，则可以“微调”图像以提高锐度和清晰度。

如果这些功能听起来很熟悉，那是因为它们在Firefly网络应用程序中至少已经进行了一个月的测试（在Midjourney中测试时间更长）。这标志着它们在Photoshop中的首次亮相-在beta测试中。

提到网络应用程序，Adobe并没有忽视这种替代路径去使用其人工智能工具。

随着Image 3的发布，Firefly网络应用程序将推出结构参考和风格参考，Adobe将其称为新的“提高创意控制”的方式。(这两项在三月份宣布，但现在开始广泛推广。) 通过结构参考，用户可以生成与参考图像的“结构”相匹配的新图像——比如赛车的正面视图。风格参考本质上是将风格转移命名为另一种方式，保留图像的内容(例如非洲野生动物园中的大象)，同时模仿目标图像的风格(如铅笔素描)。

以下是结构参考的操作示例：

风格参考：

我询问了Adobe，询问了所有的升级后，Firefly图像生成的价格是否会发生变化。目前，最便宜的Firefly高级计划是每月$4.99 — 低于竞争对手Midjourney（每月$10）和OpenAI（要求订阅$20每月的ChatGPT Plus才能使用DALL-E 3）。

Adobe表示，目前的会员制度和生成积分系统将继续保持不变。该公司还表示，其赔偿政策将继续保持不变，即Adobe将支付与Firefly生成的作品相关的版权索赔，对于AI生成的内容添加水印的做法也不会改变。内容凭据——用于识别AI生成媒体的元数据——将继续自动附加到在网络上和Photoshop中生成的所有Firefly图像，不管是从头开始生成还是部分使用生成功能进行编辑。