Sora动力短视频的创作者解释AI生成视频的优势和局限性

OpenAI的视频生成工具Sora在二月份给AI社区带来了惊喜，展示出流畅、逼真的视频，似乎领先于竞争对手。但这次精心策划的发布遗漏了很多细节 — 这些细节被一位获得提前访问权限的电影制作人填补了，他使用Sora制作了一部短片。

Shy Kids是一支总部位于多伦多的数字制作团队，被OpenAI选中作为少数几个为OpenAI宣传目的制作短片的团队之一，尽管在创作"air head"时他们有相当大的创作自由。在接受视觉效果新闻媒体fxguide采访时，后期制作艺术家Patrick Cederberg描述了他的工作中“实际上使用Sora”的一部分。

对大多数人来说，也许最重要的一点就是：尽管OpenAI的帖子强调短片让读者以为它们几乎是完全从 Sora 中产生出来的，但事实是这些都是专业制作，包括完整的分镜头、编辑、色彩校正以及后期工作像是描边和特效。就像苹果说“用iPhone拍摄”但并没有展示摄影棚设置、专业的灯光以及颜色工作，Sora 的帖子只是谈论它可以让人们做什么，并没有说明他们到底是怎么做到的。

塞德伯格的采访很有趣，而且非常不太技术性，所以如果你有兴趣，可以去fxguide阅读一下。不过关于使用Sora的一些有趣信息告诉我们，尽管它令人印象深刻，但这个模型也许并没有我们想象的那么大的飞跃。

换句话说，在传统电影制作中简单的事情，比如选择一个角色的服装颜色，都需要在生成系统中进行复杂的变通和检查，因为每个镜头都是独立制作的。这显然可能会改变，但目前肯定更加费时费力。

Sora的输出也必须注意不期望的元素：Cederberg描述了模型经常会在气球上生成一个脸，而主角的头就在这气球上，或者前面挂着一根绳子。如果无法及时排除这些元素，就需要在后期将它们删除，这是另一个耗时的过程。

角色或相机的精准定时和移动并不是完全可能的：“在实际生成过程中，这些不同的动作发生的时间有点时间控制，但并不是精确的……这有点像瞎编。”Cederberg说道。

例如，确定类似挥手这样的手势的时机是一个非常粗略、建议驱动的过程，不像手动动画那样精确。而像向上移动人物身体的平移镜头可能与电影制片人想要的不符-所以在这种情况下，团队渲染了一个竖屏方向构图的镜头，然后在后期裁剪为平移。生成的视频剪辑也经常没有特定理由地放慢了速度。

事实上，Cederberg说，使用像“向右移动”或“跟踪镜头”这样的日常电影语言通常不一致，整个团队都觉得相当惊讶。

“在与艺术家合作之前，研究人员并没有真正像电影制片人那样思考，”他说。

因此，团队进行了数百次拍摄，每次只有10到20秒，最终只使用了少数几次。瑟德贝格估计比例为300:1 - 但当然我们在普通拍摄中的比例可能会令我们惊讶。

团队实际上制作了一个幕后视频，解释了一些他们遇到的问题，如果你感兴趣的话。就像许多与人工智能有关的内容一样，评论对整个努力都挺批评的，虽然没有最近被抨击的人工智能辅助广告那么恶毒。

最后一个有趣的细节与版权有关：如果你让Sora给你一个“星球大战”的片段，它会拒绝。如果你试图用“身穿长袍的男人持有激光剑站在一个复古未来飞船上”的方式规避，它也会拒绝，因为它通过某种机制识别出你的意图。它还拒绝执行“阿罗诺夫斯基式镜头”或“希区柯克变焦”。

一方面，这是完全合理的。但这也引发了一个问题：如果Sora知道这些是什么，这是否意味着模型是在这些内容上进行训练，以更好地识别侵权行为？OpenAI一直对其训练数据保密得近乎荒谬，就像首席技术官米拉·穆拉蒂与乔安娜·斯特恩的采访一样，几乎肯定永远不会告诉我们。

至于Sora在电影制作中的应用，显然它是一个强大而有用的工具，但它的作用并不是“从一块白布上创作电影”。不过。正如另一个恶棍曾经著名地说过的那样，“那会在以后”。