新智元报道
编辑：编辑部
Sora 再次给全世界带来亿点点震撼！首批导演、艺术家们与 Sora 合作的视频短片出炉了。谈及初印象，他们盛赞 Sora 能把不可能的想法带入现实，最惊艳的是还可以创造完全超现实的内容。
Sora 给好莱坞的震撼，就在刚刚变成了现实！
几天前，「OpenAI 正在向好莱坞推销 Sora」的消息才刚刚传出。
而今天一早，首批拿到 Sora 授权的导演、艺术家们，就已经公开自己创作的最新短片了。堪称神速！
OpenAI 为之配文——Sora 初印象。
Hollywood，果然一夜之间变 Sorawood。
OpenAI 联创 Greg 转发了最经典的一个励志小短片——气球人。
有网友称，「Sora 会把每个人都变成 Steven Spielberg，它将永远颠覆好莱坞」！
还有人表示，「我的初步收获是：（人类）创意方向是关键，而 Sora 的魔力在于将超现实带入生活。我们是否正在进入下一个新达达主义时代」？
Sora 最新短片，究竟有多震撼？
我们来一一感受下。
害羞的孩子：「气球人」鸡汤短片
第一部是关于「气球人」的励志故事短片。
仅用 1 分 21 秒向人们传递了满满的正能量——「每个人都有那么一点儿独特之处，让他们与众不同」。
镜头场景由小拉大，一位男子慢慢走向自行车，骑着车走在路上，直到视频 20 秒的时，才看到男子的完整形象——「气球人」。
接下来视频中，讲述了气球人生活面对的一些挑战。
比如，「有一次，女朋友非让他去仙人掌店，给叔叔 Jerry 挑一份结婚礼物」。
正是「气球人」的身份，让他拥有了看世界不同视角的机会。
视频后半部分，是气球升空后，随风飘到世界各个地方去看、去听、去感受。
整个短片看下来，完全是一碗鸡汤，告诉我们「异」是上天赋予每个人的礼物，要积极面对生活。
值得一提的是，背后创作者来自一家多媒体制作公司（总部设在多伦多）的三人团队：Walter Woodman、Sidney Leeder 和 Patrick Cederberg。
他们分享道，「我们现在有能力扩展我们曾经认为不可能实现的故事」。
导演 Walter 表示，「尽管 Sora 在生成看似真实的事物方面表现出色，但真正让我们兴奋的是它创造完全超现实事物的能力。这是抽象表现主义的新时代」。
「来自世界各地的人们，有故事急于倾诉的人们，终于有机会向世界展示他们的内心世界了」。
金色唱片：从地球原材料，到人类生活的时间胶囊
下面是由导演 Paul Trillo 生成的短片。他也曾是 Runway Gen-2 放出之后，首批用户。
整体采用了快镜头的方式，以金属人的视角探索世界。
从海底，到现实世界商店、图书馆、金字塔、悬崖，再到接近混沌的世界，还配上了动感的音乐。
Paul Trillo 是一位才华横溢的多领域艺术家、作家及导演，他的作品曾受到《滚石》和《纽约客》等知名媒体的高度评价。
他已经荣获 19 次「Vimeo Staff Picks」奖项，这是对 Vimeo 平台上最优秀短片的一种认可。
Paul 表示，「与 Sora 合作，我第一次感觉到作为电影人的自我释放。不再受时间、资金或他人许可的限制，我能够自由地探索和尝试，以大胆和创新的方式进行创作」。
他的实验性视频作品，正体现了这种创作理念。
只有你不再简单复制旧的东西，而是创造新颖且不可能的想法时，Sora 的能力才能得到最大发挥，让我们有机会见证那些原本无法实现的创意。
就在刚刚，Paul 又放出了自己与 Sora 合作的最新短片——「金色唱片」，也算是接上一个短片的续作。
这个纪录片描述了，从地球的原材料到人类地球生活的时间胶囊。
Paul 表示，制作过程是是把 Sora 生成的 11 个不同片段剪辑在一起。
网友评论道，「关于控制/保留率，你有什么可以分享的吗」？
Paul 表示，「现在还不能说太多，但我可以说，它的功能与众不同，我尽了最大努力去打破它的美学风格」。
「异种生物」纪录片：飞猪来了！
再来看看，这个堪称史诗级「动物纪录预告片」。
各种你没有见过的异种生物，Sora 仅凭想象，都造出来了。
猫有着鱼一样的尾巴、长颈鹿有着鹤一样的下半身、鲨鱼突然多出了与章鱼一样的触角、蜜蜂有着马头。
还有二师兄也变成了「飞猪」。
视频中，简要介绍了从第一集，到第八集，分别将要深入带你了解的异种动物。
背后的创作者 Don Allen III 是一位跨领域的艺术家、演说家和顾问，曾在梦工厂动画（DreamWorks Animation）开启了他的职业路程。
他曾与众多科技和娱乐巨头合作，探索混合现实、虚拟现实和 AI 的应用领域。
「我一直在创造增强现实中的异种生物，这些在我脑海中构思的有趣组合，现在可以更轻松地原型化，然后再将这些 3D 角色完整地构建并置于空间计算机中」。
Don 提到，Sora 非同寻常是其最大的优势，它不受常规物理规律或传统思维方式的限制。
他表示，通过与 Sora 的合作，他的创作重心从「技术难题转向了纯粹的创意……开启了即时可视化和快速原型设计的新世界」。
同时，Don 也表示，「这让我能够更专注地投入时间和精力在更重要的地方……以及我期望我的角色所传达的情感深度」。
梦幻美人鱼
大海中 3 位「美人鱼」的短片，简直让人惊吓下巴。
他们身上透明，斑斓的鳞片，在太阳照射下，给人一种如梦如幻般的感觉。
Josephine Miller 是伦敦 Oraar Studio 的联合创始人及创意总监。该工作室专注于 3D 视觉、增强现实和数字时尚的设计。
「Sora 让我能够实现多年来一直梦想，但技术上无法实现的创意」。
「这种快速将想法以高品质进行创意概念化的能力，不仅对我的创作过程构成了挑战，也促使我在讲故事的艺术上不断改进。Sora 让我能够在更少的技术限制下，将想象力转化为现实」。
用 AI 探寻人性
艺术家 Alexander Reben 在过去十年，深入到了一项独特的探索中：通过 AI 挖掘人性中的幽默与荒谬。
他还手动将 AI 生成的图像转换成三维模型，并将这些模型具象化于现实世界中，创造出一系列雕塑作品。
而下面的视频中，通过与 Sora 的合作，Alexander 实现了各种 3D 立体雕塑的艺术生成。
他表示，「我尝试使用 Sora 作为开拓 3D 雕塑的新起点。我开始对摄影测量学（一种通过照片测量物体的技术）及其在雕塑中的应用前景深感兴趣。特别是，将视频转化为 3D 模型的可能性激发了我的好奇心，这不仅仅是技术上的突破，更暗示着将 AI 的应用推向一个全新的维度」。
人类寄给外星人的地球名片
下面这则视频讲述的是人类与外星人的第三类接触。
开篇就是一个钻石在旋转。
随后出现的这个画面，概念与「旅行者」号寄给外星人的地球名片非常类似。
它是由身兼音乐家、研究员、创意活动家及多学科艺术家多重身份的 August Kamp 制作。
August 解释道，「Sora 对我来说是一个历史性的转折点。作为一个艺术家，我的视野一直受到想象力和实际条件之间矛盾的限制，得以如此直观地打造和改进电影级视觉效果，我感觉自己踏入了艺术的全新领域...我真的非常期待，随着这些工具的发展，将会出现哪些新的故事讲述方式」。
多元素组合
再来看看另一家创意机构 Native Foreign 制作的短片。
这个视频是由修钟人，上个世纪大城市街景，酒吧喝酒男子对女子一见钟情，海洋上浮起一辆汽车等多个元素组成的内容。
总部位于加州洛杉矶 Native Foreign，是一家获得艾美奖提名的创意机构。
它因擅长品牌故事讲述、动效和标题的设计，以及先进的生成式 AI 工作流程而闻名。
联合创始人 Nik Kleverov 正利用 Sora 将「概念可视化」，并为品牌合作伙伴快速迭代创意。
他认为，创意的叙述不再受预算的严格限制。
「我是那种喜欢用动态思维来思考的创意工作者，因此在使用 Sora 时，我深感任何创意都能变成现实」。
Sora 模型成本猜测
虽然以上这些测试效果的确惊艳，但所要花费的成本，却是难以想象的高昂。
最近的一篇来自 Factoral Funds 的报道中，估算了 Sora 模型在训练和推理时的成本。
文章 highlight 中介绍：
- Sora 训练需要大量的计算资源，预计需要 4211——10528 个 H100 GPU 运行一个月
- 推理成本：一个 H100 GPU 大约，每小时能生成 5 分钟的视频。
训练计算估算：从 DiT 到 Sora 的推算
根据 OpenAI 的报告，虽然可以获取 Sora 的详细信息有限，但可以基于 DiT（Diffusion Transformers）论文的数据，将 Sora 看作是 DiT 在视频生成方面的扩展。
DiT-XL 模型有 675M 参数，使用了大约 1021 FLOPS 的总计算量，相当于大约 0.4 Nvidia H100 运行一个月（或 12 天使用一台 H100）。
- 计算乘数：假设视频以 24fps 编码，1 分钟的视频包含 1440 帧。考虑到 Sora 的空间和时间压缩，如果按 DiT 论文的 8 倍压缩率，就可以得到 180 帧在潜在空间中的表示。
因此，相较于 DiT 处理图像，处理视频的计算量至少增加了 180 倍。
- 模型大小和数据集：估计 Sora 的模型参数数量远超 675M。如果假设一个 20B 参数的模型，相对于 DiT，计算需求增加了 30 倍。此外，Sora 训练的数据集比 DiT 大很多倍，增加了数据集规模的乘数4-10 倍。
综合考虑，因此得出 Sora 训练所需的计算量。
推理与训练计算
推理与训练计算比较：训练计算是一次性的大量计算，而推理计算虽然较小，但随着模型的广泛应用，会被频繁调用。
平衡点是指花费在推理上的计算量超过训练所需计算量的时刻。
基于 DiT 到 Sora 的推算，Sora 每生成一段视频的计算成本约为 708×10^15 FLOPS，相当于每个 H100 GPU 大约能每小时生成 5 分钟视频。
在生成 15.3M 到 38.1M 分钟视频后，推理计算将超过训练计算。
根据估算，YouTube 每天上传的视频量约为 43M 分钟，Sora 这个平衡点在实际应用中很快就会达到。
好莱坞浅试一把 AI，观众先骂开了
显然，不会用 Sora 的影视从业人员，是真的要 out 了。
好莱坞大导 Tyler Perry 已经因为 Sora，撤掉了 8 亿美元摄影棚扩建计划
OpenAI 此前就早已向好莱坞发起攻势，鼓励电影制作人在新拍摄的电影中用上 Sora。
但此前，对于打翻自己饭碗的 AI，众多好莱坞导演、编剧、演员显然是不满意的，他们曾发动多次罢工。
且不说好莱坞对于 Sora 的态度，观众们对电影中的 AI 是否买账呢？
在最近的电影《魔鬼深夜秀》中，就已经出现了 AI 创作的画面——「骷髅跳舞」。
这些画面会在电影虚构的电视直播中，作为广告播放。
对此，愤怒的观众们纷纷发起控诉。
对此，已经有观众打出了一星评论——「到处都是 AI，不要让这成为开始，否则我们的娱乐中会充斥着狗屎。」
还有观众表示对于这部电影非常失望，号召大家不要为它花钱。
在他的留言区，有人劝他冷静：「这只是电影中一个小元素，我们没必要因此抵制整部电影，否定所有人的辛勤劳动。」
随着争议和争吵声越来越大，编剧、导演卡梅隆和科林不得不发表澄清——
感谢出色的图形和制作团队，为电影赋予了我们想要的 70 年代美学。其中三张静态图片，我们对其进行了进一步编辑，它们最终在电影中以非常简短的插页式广告出现。另一部漫威电影《秘密入侵》，开场画面是用 AI 创作的。
在这段画面里，一艘气势磅礴的宇宙飞船来到了地球，随着绿色的云层在城市上空不详地盘旋，人类面孔变成了斯克鲁人。
视频地址：https://www.163.com/dy/article/IU77LEGN0511ABV6.html
当然，AI 的画面也有漏洞，比如 Samuel L. Jackson 的脸部不太准确，伦敦天际线有两个大本钟。
同样，这也受到了观众的强烈抵制。
而《真探：夜之国》的背景海报，也因为疑似 AI 生成被许多观众炮轰。
看起来，让好莱坞真正拥抱 AI，还有一段时间。
参考资料：
https://openai.com/blog/sora-first-impressions
https://twitter.com/OpenAI/status/1772311389857571157?t=1rrSyZEtcRh7fvBn8EWFJg&s=19
