鱼羊发自凹非寺
量子位公众号 QbitAI
啊？Sora 火爆短片《气球人》，也“造假”了？？？
背后艺术家团队的最新揭秘，可谓一石激起千层浪：
原来，视频画面并非完全由 AI 生成，其中有大量视觉效果需要人类后期实现。
be like：
这下网友不干了，合着大家伙儿跟 OpenAI 玩真心，OpenAI 背后却耍起心眼子来了：
他们含糊其辞，就是希望观众认为短片完全是 AI 生成的，这是不是有点不诚实了啊。
还有网友直接开喷：误导性营销！这是误导性营销！
究竟是怎么个事儿，咱们还是具体捋一捋。
揭秘 Sora 大片工作流
尽管 OpenAI 一开始就介绍了，《气球人》这样的短片出自艺术家团队之手，他们只是把 Sora 开放给了艺术家使用，但官方并未提及短片具体是如何制作而成的。
现在，《气球人》背后的艺术家团队 Shy Kids 自己来了个大揭秘，内容包括：
视频片段一致性如何实现 他们如何处理 Sora 生成的视频素材 Sora 生成视频的局限性及后期处理视频一致性
《气球人》中主角形象的一致性可谓惊艳众人。
但实际上吧，据 Shy Kids 团队中负责后期制作的老哥 Patrick Cederberg（简称老帕）透露，想要实现这种前后一致并不是写写提示词就能成的。
Sora 并没有提供工具，来帮助实现不同镜头之间的主体一致性。也就是说，哪怕提示词都是一样的，两次运行的结果也会有所不同。
他们的做法是，尽可能详细地去对主角形象进行描述。
解释角色的服装以及气球的类型是我们解决一致性问题的方法，目前 Sora 还没有集成适当的功能来实现此类控制。即便如此，团队在用 Sora 生成视频素材时还是遇到了不少这样那样的问题。
比如，提示词里明明写了气球是黄色的，但 Sora 生成的片段里气球却可能变红。
视频素材处理
一致性之外，老帕提到，在时间轴方面，Sora 允许用户修改关键帧。但这种时间控制并不精准，无法保证一定能实现预想的效果。
另外，想要实现这个镜头：
即把镜头焦点从牛仔裤一路上移到气球头，也得人类自己后期裁切平移画面，因为 Sora 本身不会渲染这样的镜头：它总是倾向于把焦点集中在气球头上。
老帕还谈到，他们在写提示词时也遇到了一些问题：
OpenAI 在让艺术家试用 Sora 前，并没有考虑到真正的电影制作人是如何思考的。简单来说，就是 Sora 对摄影术语（比如跟拍、平移等）的理解有限。老帕认为，这一点上 Sora 不如 Runway。
值得一提的是，尽管 Sora 原生支持生成 1080p 视频，但老帕他们实际上生成的素材都是 480p 的。他们是在后期使用 Topaz 等工具对视频素材进行了超分处理。
生成速度方面，根据老帕的回忆，每次大概需要 10-20 分钟的时间。
视频后期
接下来，就到了网友们反应最强烈的部分——后期。
前面已经说到，Sora 本身还解决不了不同视频片段里一致性的问题。
除了气球不一定符合设定，或许是因为训练数据的原因，Sora 还喜欢自动给气球加上奇奇怪怪的人脸。
给主角生成其实并不需要的假人头。
Sora 还很坚定地认为气球得带根绳。
总而言之言而总之，这些都需要老帕上手丢到 AE 里，进行后期处理。
另外，尽管 Shy Kids 发现“35mm 胶卷”这样的关键词很好用，能让 Sora 生成的视频画面风格更一致，但艺术家们仍需要为最后的成片做调色，为画面添加颗粒和闪烁效果，以使整部影片画面更加协调统一。
老帕还提到了一个有意思的细节：
Sora 很喜欢慢镜头。
我不知道为什么，但有很多镜头看上去都是 0.5 倍速和 0.75 倍速。因此我们需要对大量画面进行调速，免得影片看上去像个大型慢动作项目。
那么，Sora 生成的视频素材有多少最终被用在了影片里？
“数学很差”的老帕估计了一下，大概是300:1。
音频方面，Sora 目前还不能生成声音，因此旁白和音乐都是团队自己加上去的。
版权
为了不侵犯版权，OpenAI 给 Sora 上了一些限制。
比如，你不能把提示词写成“35mm 胶卷，未来宇宙飞船中，一名男子拿着光剑靠近”，那样 Sora 会直接拒绝生成，因为这画面太像《星球大战》了。
哦对，像什么“阿罗诺夫斯基式镜头”和“希区柯克变焦”也是不行的。
3 人团队 2 周制作完成
该说不说，在外界卷起风波之前，Shy Kids 团队对于 Sora 的表现还是很满意的。
毕竟，制作《气球人》这样一个高质量短片，最后只用了他们仨 1.5 到 2 周的时间。
团队认为，现在，对于专业的电影团队来说，Sora 当然还有很大进步空间，但对于大部分人而言，Sora 已经足够惊艳。
用老帕自己的话说：
我觉得人们应该将 Sora 变成工作流里的一部分。不过，如果他们不想跟 AI 沾边，也没关系。
对于这样的观点，也有不少网友表示认同，认为 Sora 这样的视频生成 AI，是对现有工作流很好的补充。
Adobe 把它们集成进软件里，就是一个很不错的主意。
但，“我厌倦了 OpenAI 们的精美 Demo 营销”。
还有网友不满的点在于，爆火的“人工智能生成视频”背后有大量的人类工作，他们投入数百个小时工作，却被 AI 掩盖了真实的价值。
那么，这事儿你怎么看？
参考链接：
[1]https://www.fxguide.com/fxfeatured/actually-using-sora/
[2]https://twitter.com/bilawalsidhu/status/1783544598259794046
