Sora内测提前开放 Sora视频AI技术震撼好莱坞,引发行业变革

来源:新智元· 2024-02-26 16:05:50

【导读】刚刚,Sora第二波视频放出了!稳定的一致性和模拟现实的逼真度,简直让人惊掉下巴。在好莱坞,已经有导演撤掉自己的8亿美元工作室扩建计划了。

就在昨天,Sora又有全新「神作」炸出了!

两位Sora作者,Bill Peebles、Tim Brooks纷纷甩出全新图片。(顺便还秀了一把基友情?)

「一只小熊猫和一只巨嘴鸟是最好的朋友,在蓝色时刻漫步在圣托里尼岛」,Peebles称这个场景简直就和两人走到OpenAI办公室的画面一模一样。

a red panda and a toucan are best friends taking a stroll through santorini during the blue hour 

这个视频的连贯性简直令人惊呼:在每一帧中,小熊猫和巨嘴鸟的形象始终保持着一致性。 

当然仔细看还是有不少破绽。比如小熊猫的腿有时会交织在一起,画面看起来更像卡通图像,而不像逼真的现实世界。 

但总的来说,这种视频质量已经足以让我们对AI视频的未来放飞想象。 

有网友立刻做出了配音版,贴切的配音一出,视频更有那个味儿了! 

难怪好莱坞大导Tyler Perry直言,自己在看完Sora制作的视频后,直接搁置了自己影师工作室8亿美元的扩建计划! 

更多「神作」来袭

这次两位作者放出的第二批视频,效果更加逼真、更加炸裂。 

网友们接连不断发出惊叹:Sora是怎么做到一次比一次迭代得更好的? 

这个视频是「一名潜水员发现了一艘隐藏的未来沉船,里面有控制论海洋生物和先进的外星技术」。 

a scuba diver discovers a hidden futuristic shipwreck, with cybernetic marine life and advanced alien technology 

潜水员、海底景观、沉船外壳、内部的外星技术都生成得十分逼真。 

当然,这个场景也不是100%完美。立刻有人发现破绽—— 

比如,潜水员没有摆动脚蹼就能游动起来,也没有吐出气泡。 

一位好莱坞电影制片人吐槽说:人的动作看起来没有灵魂,有些像僵尸。 

但对于不那么挑剔的观众,这个20秒视频的质量已经够了。 

有人满意地说:看起来像《深海迷航》的高分辨率版本 

在以往,这个场景无疑要耗费巨资。而现在,好莱坞大片中烧金的高难度场景,都可以用Sora视频替代了,AI淘汰影视行业真不是说说而已! 

这条闪着珠光的银色鳞片、有着冰蓝的眼睛和象牙龙角、吐出白气的小白龙,也让网友们惊呼,太太太震撼了! 

Close-up of a majestic white dragon with pearlescent, silver-edged scales, icy blue eyes, elegant ivory horns, and misty breath. Focus on detailed facial features and textured scales, set against a softly blurred background 

它的拟人化做得很好,眼睛水汪汪的,传达了非常动人的情感,仿佛能听懂人话一样。 

《权力的游戏》中的巨龙,是这样的。跟它比起来,小白龙的差距并不太大。 

有的网友表示,自己对这条小白龙爱不释手,直接给它配了个音—— 

于是一场配音大赛开始了。 

现实场景,是给Sora最难的考题。 

下面这个「一个男人在夏威夷热带水域上空定点跳伞,宠物金刚鹦鹉在旁边飞翔」的视频,Sora再次交出了让人印象深刻的答卷。 

a man BASE jumping over tropical hawaii waters. His pet macaw flies alongside him 

场景如此逼真,直接有人发问:「是真的视频还是AI做的?」 

配上音后是这样的,就问会有多少人发现——这并不是真实的场景? 

如果非要找茬,就是金刚鹦鹉的照明不太对,看起来像是单独做出来的动画,并不像自然条件下的光照。 

定点跳伞的动作生成得不够准确,降落伞太小。 

下面是一只玻璃乌龟,裂缝用金繕工艺修复,在日落时分走在黑色的沙滩上。 

画面的一致性很完美,沙子的物理学特性也完全还原出来了。 

不过美中不足的是:乌龟似乎只有三条腿?😂 

也有人发现「华点」:把沙丘做出崎岖不平的样子,是为了让海龟爬过沙丘后不会留下痕迹吗? 

相比之下,Midjourney生成的玻璃乌龟是这样的,别有一番风味。 

精美的纸艺世界中的一艘船,海面还有海洋动物跃出。 

in a beautifully rendered papercraft world, a steamboat travels across a vast ocean with wispy clouds in the sky. vast grassy hills lie in the distant background, and some sealife is visible near the papercraft ocean's surface 

黑暗的霓虹灯雨林里,闪耀着奇幻的动植物。 

a dark neon rainforest aglow with fantastical fauna and animals 

不过对于这个视频,也有人挑刺说:「这是我见过的Sora最差的demo,它不知为什么就生成了矢量动画的风格。」 

一只戴着眼镜的猫,出现在20世纪60年代的谍战电影中。 

cat in glasses in a 1960s spy movie 

黄昏时分,一只巨大的半透明水母优雅地飘浮在荒芜的城市中,还是用35毫米胶片拍摄的超现实场景。 

A surreal scene unfolds as a giant, translucent jellyfish floats gracefully through a deserted cityscape at dusk. The scene is shot on 35mm film 

这是一个精心制作的立体模型:江户时代,木结构建筑前,一个孤独的武士慢慢穿过小镇。 

A meticulously crafted diorama depicting a serene scene from Edo-period Japan. Traditional wooden architecture. A lone samurai, clad in intricate armor, walks slowly through the town 

一只戴着护目镜的小胖哈巴狗,坐在一辆旧摩托车旁边的凳子上。 

仔细看可以发现,狗肚子一呼一吸的样子,显得非常真实。 

a small chubby Pug dog in goggles is sitting on a stool next to an old motorcycle 

一只棕色边牧戴着太阳镜,滑着滑板。 

a brown and white border collie stands on a skateboard, wearing sunglasses 

可怕的事来了,有人在底下留言称,棕色边牧是自己的狗,这个视频是自己拍的。 

而我们,竟有那么一刻恍惚了:他说的究竟是真是假? 

总之,网友们迫不及待等待公测了。 

还有人给Sora出了神考题——「一部手机正在直播进入黑洞的过程」。 

网友猜测:虚幻引擎被用来生成部分数据集?

随着这些视频被放出,网友们心中的疑问也越来越强烈—— 

Sora模型究竟是用什么数据训练的? 

不少网友也觉得,怎么Sora生成的画面,看起来有些似曾相识?仿佛就是直接用虚幻引擎(Unreal Engine)做出来的一样。 

随后,越来越多人公认:Sora训练的数据集,应该就是用UE产生的。 

其实,在Sora刚诞生时大佬就纷纷预测——Sora是由游戏引擎提供支持的。 

Pytorch联合创始人Soumith Chintala就这样认为。 

数据科学家和机器学习工程师Ralph Brooks也给出了自己的分析: 

如果要创建大量不同角度的高清视频,就需要进行模拟。其中,有很多线索让我相信,UE5在一定程度上就是用来创建训练数据的。 

比如这段广为人知的樱花漫步视频中,人物移动的方式跟UE5中非常相似。现实中的人走路是不会用恒定速度的。 

英伟达高级科学家Jim Fan同样表示,「如果Sora接受过大量UE5合成数据的训练,我不会感到惊讶的!」 

当然,它可能没有明确调用UE5,但非常有可能将UE5生成的文本、视频对作为合成数据,添加到训练集中。 

早有预言帝猜中,Sora的推理管道是用的CLIP底座、文本转3D对象,和游戏引擎模拟。 

果然,「人工训练数据耗尽」不会阻止LLM的发展,合成数据才是AI的未来! 

「精简版」体验,就藏在技术报告里!

网友们看到这些一代比一代强的demo,已经心痒难耐了。 

好消息是:虽然Sora还没有正式开放功能,但在技术报告里,已经可以小体验一把了! 

报告地址:https://openai.com/research/video-generation-models-as-world-simulators 

通过选择不同的关键词,比如人物、衣着、天气环境、地理位置等选项,就可以体验Sora生成的不同视频。 

这样我们就可以看到——a穿着b样子的衣服,在c地点的d天气下,惬意地散步。 

好莱坞大佬直言很害怕,影视行业真完蛋了?

这也难怪,好莱坞知名导演、制片人、演员Tyler Perry因为Sora,决定搁置自己亚特兰大工作室耗资8亿美元的扩建计划。 

本来,Perry导演在过去四年里,一直计划斥资8亿美元扩建自己的工作室,为占地330英亩的土地增加12个摄影棚。 

然而,在2月16日看过Sora做出的视频后,他决定撤销自己的8亿美元计划,因为他拍摄的大片中,可能并不需要找取景地,或者搭建实景了。 

「以前,我们只是被告知AI可以做这些事,但是真的看到它做出来的场景,还是太令人震惊了!」 

Perry导演表示,因为Sora给自己带来的冲击太过强烈,8亿美元扩建计划已被无限期推迟。

现在,拍电影时再也不需要亲自前往拍摄地点了。

不论是想要科罗拉多的雪地场景、月球上的场景,还是山中客厅中拍摄两个人的场景,都再也不要搭建真实布景,只要在办公室的电脑上,就能完成一切!

而这也就意味着,巨大的变化将波及行业的每一个角落,影响到演员、灯光、运输、音效和剪辑等所有从业者的饭碗。

现在,Perry导演已经在两部电影中的现场拍摄和后期制作中使用了AI,避免了耗费数小时给演员画老年妆。

Sora的出现彻底改变了游戏规则。

在以往,HBO的试播可能需要耗资1500万、2000万乃至3500万美元,而现在,这个成本低到不可想象。公司显然会选择成本更低的方案。

在不远的将来,很多工作岗位都会消失。

影视行业该建立怎样的安全防护措施,保住大家的饭碗?


您可能关注: Sora AI视频 AI技术

[免责声明]如需转载请注明原创来源;本站部分文章和图片来源网络编辑,如存在版权问题请发送邮件至398879136@qq.com,我们会在3个工作日内处理。非原创标注的文章,观点仅代表作者本人,不代表本站立场。