Adobe 表示,视频生成功能将于今年引入 Firefly。
用户在短短几个月内就将首次有机会试用 Adobe 用于视频生成的人工智能模型。该公司表示,由 Adobe 的 Firefly Video 模型提供支持的功能将在 2024 年底之前在 Premiere Pro 测试版应用程序和一个免费网站上推出。
Adobe 表示,三个功能——生成式扩展、文本转视频和图像转视频——目前处于私人测试阶段,但很快就会公开。
生成式扩展功能(Generative Extend)可将任何输入视频延长两秒,今年晚些时候将嵌入 Premiere Pro 测试版应用程序。萤火虫(Firefly)的文本转视频和图像转视频模型,能够根据提示或输入图像生成五秒的视频,也将于今年晚些时候在萤火虫的专用网站上提供。(Adobe 指出,时间限制可能会增加。)
几十年来,Adobe 的软件一直是创意人士的最爱,但像这样的生成式人工智能工具可能会改变该公司所服务的整个行业,无论结果是好是坏。Firefly 是 Adobe 对最近一波生成式人工智能模型的回应,包括 OpenAI 的 Sora 和 Runway 的 Gen - 3 Alpha。这些工具吸引了观众,在几分钟内就能制作出原本人类需要数小时才能完成的片段。然而,这些早期的工具尝试通常被认为太不可预测,无法在专业环境中使用。
但 Adobe 认为可控性是其能够脱颖而出的地方。Adobe 数字媒体首席技术官埃利·格林菲尔德(Ely Greenfield)告诉 TechCrunch,对于 Firefly 的人工智能工具,存在着“巨大的需求”,因为它们可以补充或加速现有的工作流程。
例如,格林菲尔德表示,去年添加到 Adobe Photoshop 中的 Firefly 的生成填充功能,是“我们在过去十年中推出的使用最频繁的功能之一”。
Adobe 不会透露这些 AI 视频功能的价格。对于其他 Firefly 工具,Adobe 为 Creative Cloud 客户分配一定数量的“生成积分”,通常一个积分能产生一个生成结果。显然,更昂贵的计划会提供更多积分。
在与 TechCrunch 的一次演示中,格林菲尔德展示了今年晚些时候将推出的由 Firefly 驱动的功能。
生成式扩展功能可以从原始视频结束的地方接着进行,以相对无缝的方式添加额外的两秒钟镜头。该功能获取场景中的最后几帧,通过 Firefly 的视频模型对其进行处理,以预测接下来的几秒钟。对于场景中的音频,生成式扩展功能将重新创建背景噪音,例如交通声或自然之声,但不会是人的声音或音乐。格林菲尔德表示,这是为了符合音乐行业的许可要求。
在一个示例中,格林菲尔德展示了一段经过该功能修改的宇航员望向太空的视频片段。就在屏幕上出现不寻常的镜头光晕后,我就能辨别出它被延长的那一刻,但摄像机的平移和场景中的物体保持一致。我能看到当你的场景结束得太快,而你需要将其延长一点以进行过渡或淡出时,它会很有用。
萤火虫(Firefly)的文本转视频和图像转视频功能更为人所熟知。它们允许您输入文本或图像提示,并生成最多 5 秒钟的视频。用户将能够在 firefly.adobe.com 上访问这些 AI 视频生成器,可能会有速率限制(不过 Adobe 并未具体说明)。
Adobe 还表示,Firefly 的文字转视频功能在单词拼写正确方面表现相当出色,而这是人工智能视频模型往往难以做好的事情。
在保障措施方面,Adobe 一开始就谨慎行事。格林菲尔德表示,萤火虫(Firefly)的视频模型对生成包含裸体、毒品和酒精等内容的视频有限制。此外,他补充说,Adobe 的视频生成模型没有使用公众人物(如政治家和名人)的数据进行训练。而对于某些竞争对手来说,情况肯定并非如此。