Adobe也在研究生成式视频

Adobe表示他们正在建立一个人工智能模型来生成视频。但是他们并没有透露这个模型将在什么时候推出，具体细节也很少，除了存在这个事实之外。

作为对OpenAI的Sora、谷歌的Imagen 2以及越来越多初创公司在新兴生成式人工智能视频领域推出的模型的回应，Adobe的模型将在今年晚些时候加入Premiere Pro，Adobe旗下的旗舰视频编辑套件，这是Adobe公司不久前推出的Firefly系列生成式人工智能产品的一部分。

像许多当今的生成式人工智能视频工具一样，Adobe的模型可以从头开始创建视频素材（可以是提示信息或参考图片），并为Premiere Pro带来了三项新功能：物体添加、物体移除和生成式扩展功能。

它们很容易理解。

对象添加功能可以让用户选择视频剪辑的一部分 — 比如上部的三分之一，或是左下角 — 并输入提示来插入对象在这个部分。在与TechCrunch的简报中，Adobe的发言人展示了一张真实的公文包照片，里面装满了由Adobe模型生成的钻石。

对象移除功能可以从片段中移除物体，比如镜头背景中的话筒或咖啡杯。

关于生成扩展功能，它会在片段的开头或结尾添加几帧（不过，Adobe并没有说明具体是多少帧）。生成扩展并不是为了创造整个场景，而是为了添加缓冲帧以与配乐同步或延长镜头停留时间，例如增加情感厚重感。

为了解决围绕这类生成式人工智能工具不可避免地出现的深度伪造的恐惧，Adobe表示他们将在Premiere中引入内容认证（Content Credentials）-用于识别AI生成的媒体的元数据。内容认证是Adobe支持的媒体溯源标准，已经在Photoshop中和Adobe的图像生成Firefly模型的组件中使用。在Premiere中，它们不仅将指示哪些内容是由AI生成的，还会指出使用了哪个AI模型来生成它。

我询问Adobe用于训练模型的数据，比如图片、视频等是什么。公司没有透露，也没有说明如何（或是否）对数据集的贡献者进行补偿。

上周，彭博社援引知情人士的话报道，Adobe正在向其股票媒体平台Adobe Stock的摄影师和艺术家支付高达120美元的费用，用于提交短视频剪辑来训练其视频生成模型。据称，报酬范围从每分钟视频大约2.62美元到每分钟7.25美元不等，取决于提交的内容，质量更高的镜头对应着更高的费率。

这将是与Adobe目前与Adobe Stock的艺术家和摄影师的安排有所不同，后者的作品用来训练其图像生成模型。公司根据Stock中他们的内容量及使用方式支付给这些贡献者一笔年度奖金，而不是一次性费用。尽管这是根据一个不透明的公式进行计算的奖金，并不保证每年都能获得。

彭博社的报道，如果属实，描绘了一种与生成式人工智能视频竞争对手（如OpenAI）截然不同的方法，据说OpenAI曾擅自利用公开可获取的网络数据，包括YouTube上的视频，来训练其模型。YouTube的CEO尼尔·莫汉最近表示，利用YouTube视频来训练OpenAI的文本到视频生成器将违反平台的服务条款，突显了OpenAI以及其他人的公平使用论点的法律上的脆弱性。

包括OpenAI在内的一些公司因被指控在训练人工智能时侵犯知识产权法，未给予版权内容的所有者信用或报酬而被起诉。Adobe似乎打算避免这种情况发生，就像它有时竞争的生成AI企业Shutterstock和Getty Images一样（它们也有许可模型训练数据的安排），并通过其知识产权保护政策，将自己定位为企业客户一个可以被验证为“安全”的选择。

关于付费方面，Adobe尚未透露客户使用Premiere即将推出的视频生成功能将需要支付多少费用；可能定价仍在讨论中。但该公司透露，付款方案将遵循早期Firefly型号所建立的生成积分系统。

对于订阅Adobe创意云的付费客户，生成点数每月重新开始计算，每月分配额根据计划不同而不同，范围从25到1,000个不等。更复杂的工作量（例如更高分辨率的生成图片或多图像生成）需要更多点数，这是一个普遍规律。

我心中最大的疑问是，Adobe基于人工智能的视频功能值得他们最终需要花费的代价吗？

迄今为止，Firefly的图像生成模型被广泛批评为令人失望和存在缺陷，与Midjourney、OpenAI的DALL-E 3和其他竞争工具相比。视频模型发布时间尚不明确，这并没有给人太多信心，认为它能避免相同命运。Adobe拒绝向我展示对象添加、对象删除和生成扩展的实时演示，而坚持展示预先录制的吸引人示范。

也许为了防患未然，Adobe表示正在与第三方供应商就将他们的视频生成模型集成到Premiere中进行讨论，以加强工具如生成扩展等功能。

其中一个供应商是OpenAI。

Adobe表示正在与OpenAI合作，探讨将Sora引入Premiere工作流程。考虑到这家人工智能初创公司最近向好莱坞伸出的橄榄枝，与OpenAI合作是合理的选择；值得一提的是，OpenAI首席技术官米拉·穆拉蒂将出席今年的戛纳电影节。其他早期合作伙伴包括Pika，一家致力于开发人工智能工具用于生成和编辑视频的初创公司，以及Runway，这是市场上第一家提供生成视频模型的供应商之一。

一位Adobe的发言人表示，公司未来愿意与他人合作。

现在，要明确指出的是，这些整合更像是一种概念实验，而不是目前可用的产品。Adobe反复强调给我听，它们处于“早期预览”和“研究”阶段，而不是客户可以很快体验的东西。

我想说，这基本上概括了Adobe的生成视频新闻发布会的整体氛围。

Adobe显然试图通过这些公告表明，它正在考虑生成视频，即使仅仅是在初步阶段。不这样做是愚蠢的——在生成AI竞赛中临时措手不及，可能会失去有价值的潜在新收入来源，假设经济最终对Adobe有利。（毕竟，AI模型的训练、运行和服务成本都很高。）

但它展示的观念并不是特别令人信服。随着Sora在市场上越来越普及，肯定会有更多创新问世，该公司还有很多需要证明的地方。