Runway的新视频生成AI Gen-3 提供了改进的控制功能

在高质量人工智能生成视频领域的竞争日益激烈。

周一，Runway公司发布了Gen-3 Alpha，这是一家致力于为电影和图像内容创作者打造生成式人工智能工具的公司。该公司最新的人工智能模型能够根据文字描述和静态图像生成视频片段。Runway称，该模型在生成速度和保真度方面都比之前的旗舰视频模型Gen-2有了“重大”改进，同时还可以对创建的视频的结构、风格和运动进行精细控制。

Gen-3将在未来几天内面向Runway订阅用户开放，包括企业客户和参与Runway创意合作伙伴计划的公司。

Runway在其博客上写道：“Gen-3 Alpha擅长生成具有丰富动作、手势和情感的表现力丰富的人物角色。它设计用于诠释各种风格和电影术语，实现想象力丰富的过渡，并精确对场景中的元素进行关键帧设置。”

Gen-3 Alpha 有其局限性，包括其视频最长只能达到10秒。然而，Runway 的联合创始人Anastasis Germanidis承诺，Gen-3只是下一代模型系列中的第一个也是最小的一个，未来还会推出更多基于升级基础设施训练的视频生成模型。

Germanidis今天上午在接受TechCrunch采访时表示：“这个模型在处理复杂的字符和物体互动方面可能会有困难，生成的内容有时并不总是严格遵循物理规律。这次的初期版本将支持生成5秒和10秒的高清内容，生成速度明显比第二代快。生成一个5秒的视频需要45秒，生成一个10秒的视频需要90秒。”

像所有视频生成模型一样，Gen-3 Alpha经过大量视频和图片的示例训练，以便“学习”这些示例中的模式，从而生成新的视频片段。培训数据来自哪里？Runway不会透露。近年来，很少有生成式人工智能供应商自愿提供这样的信息，部分原因是他们认为培训数据是竞争优势，因此将其和相关信息保存在内部。

"我们有一个内部研究团队负责监督我们所有的培训，我们使用精心策划的内部数据集来训练我们的模型，" Germanidis说道。他就说到这里。

培训数据的细节也是知识产权相关诉讼的潜在来源，如果供应商在公开数据上进行培训，包括网上受版权保护的数据——因此也是披露内容不多的另一个不利因素。一些案件正在法庭上审理，拒绝供应商关于公平使用培训数据的辩护，认为生成式人工智能工具未经艺术家许可即复制了艺术家的风格，并让用户生成类似艺术家原创作品的新作品，而艺术家却没有得到报酬。

Runway在某种程度上解决了版权问题，称其在开发模型时咨询了艺术家。（是哪些艺术家？不清楚。）这与Germanidis在2023年TechCrunch Disrupt大会的炉边对话中告诉我的内容相一致。

他说：“我们正在与艺术家密切合作，以找出解决这个问题的最佳方法。我们正在探索各种数据合作伙伴关系，以进一步发展……并打造下一代模型。”

Runway还表示计划发布第三代产品，并增加一套新的安全措施，包括一个适用于阻止使用受版权保护的图片和违反Runway服务条款的内容生成视频的内容管理系统。另外，他们还正在开发一个可追溯的系统，与由微软、Adobe、OpenAI和其他公司支持的C2PA标准兼容，用于确认视频是由第三代产品生成的。

“我们新推出的内部视觉和文本审核系统经过改进，采用自动监管来过滤不适当或有害的内容，”Germanidis说道。“C2PA认证验证了所有第三代模型创建的媒体的来源和真实性。随着模型功能和生成高保真内容的能力增强，我们将继续大力投资于我们的协调和安全工作。”

Runway还透露，它已与“领先的娱乐和媒体组织”合作，创建了Gen-3的定制版本，允许更多的“样式控制”和一致的角色，针对“特定的艺术和叙事要求”。 公司补充说：“这意味着生成的角色、背景和元素可以在各种场景中保持一致的外观和行为。”

视频生成模型面临的一个重大未解决问题是控制，也就是说，让模型生成与创作者艺术意图一致的视频。正如我的同事德文·科尔德韦最近所写的，传统电影制作中的简单事情，比如选择角色服装的颜色，需要在生成模型中进行变通，因为每个镜头都是独立创建的。有时甚至连变通方法也不管用，这就给编辑留下了大量手工工作。

Runway已从投资者那里筹集了超过2.365亿美元，包括谷歌（与其拥有云计算信用额）和英伟达，以及风险投资公司如Amplify Partners，Felicis和Coatue。该公司已与创意产业紧密对齐，随着其在生成式人工智能技术的投资增加。Runway经营Runway Studios，一个作为企业客户的制作合作伙伴的娱乐部门，并举办AI电影节，这是首个专门展示完全由人工智能制作的电影或部分由人工智能制作的电影的活动之一。

但是竞争正在变得更加激烈。

人工智能创业公司Luma上周宣布推出了Dream Machine，这是一个视频生成器，在为其能够使模因动画化而广受关注。就在几个月前，Adobe也透露他们正在开发自己训练于Adobe Stock媒体库内容的视频生成模型。

在其他地方，像OpenAI的Sora这样的现有人士仍然受到严格的监管，但OpenAI已经开始向营销机构、独立电影导演和好莱坞电影导演推广Sora。 （OpenAI首席技术官Mira Murati出席了2024年戛纳电影节。）今年的翠贝卡电影节 - 也与Runway合作策划使用人工智能工具创作的电影 - 展示了由获得早期访问权限的导演使用Sora制作的短片。

Google还将其图像生成模型Veo交给了一些特定的创作者，包括唐纳德·格洛弗（艺名Childish Gambino）和他的创意代理机构Gilga，同时努力将Veo引入产品，如YouTube Shorts。

然而，无论各种合作如何展开，有一点变得明显：生成式人工智能视频工具可能会颠覆我们所知的电影和电视行业。

电影制片人泰勒·佩里最近表示，他因看到Sora的表现而暂停了计划中的8亿美元扩建制作工作室的计划。《复仇者联盟：终局之战》等大片的导演乔·罗素预测，在一年内，人工智能将能够创作出一部完整的电影。

根据好莱坞动画师和漫画家工会委托的2024年研究发现，采用人工智能的电影制作公司中有75% 减少、整合或淘汰了岗位。该研究还估计到2026年，超过10万个美国娱乐行业的工作将会因生成式人工智能而受到干扰。

需要一些严格的劳工保护措施，以确保视频生成工具不会步其他生成式人工智能技术的后尘，导致对创意工作需求急剧下降。