注意看,这个机器人对抗人类的视频,在网上彻底火了。
这个 AI 神器,名叫Wonder Studio AI。
刚发宣传片时,就曾引发 wo cao 声一片。
无需动捕设备,一键生成 CG 动画
有关Wonder Studio,官方的说法是," 一种可自动为 CG 角色制作动画、打光,并将其合成到真实场景中的 AI 工具 "。
按照官网说明,对于用户来说,在 CG 动画制作阶段,你不再需要复杂的 3D 软件,也不需要昂贵的动捕硬件。
只需一台用来拍摄的相机,拍好视频后丢进 Wonder Studio 处理,就足以以假乱真。
具体步骤是这样的:
首先用相机拍摄一段视频,视频中,真人演员可以随意做出任何动作;
将 MP4 或 MOV 等格式的视频导入Wonder Studio,并选定需要处理的视频段落,拖入中间区域等待处理;
点击菜单栏的 next 按钮,AI 开始识别和分析视频中的人物;
选中右侧选项栏中所需要的 CG 模型,拖拽至需要替换的人物区域;
最后,选择解算生成,就能完成视频段落中 CG 模型对真人演员的替换。
对于专业人士来说,除了最终成品,Wonder Studio 还能导出新视频的不同轨道,包括动作捕捉、摄像机跟踪和空镜等等。
面对需要修改的细节,也可以直接上手微调。
传统的 CG 制作流程,需要移除原有人物、把需要替换的 CG 元素导入引擎或 Blender 等软件当中、根据相机解算结果进行合成、匹配灯光、渲染……最终把新的 CG 模型放到视频场景中。
比较而言,用上 Wonder Studio 后简化了很多工序,也难怪很多人评论,如果这个工作流跑通,是十分利好小成本影视制作的。
不过,Wonder Studio 并非十全十美。
主要体现在 CG 模型覆盖原人物后,CG 角色和背景衔接处处理不算优秀。
比如会出现美颜瘦脸特效开太大,以至于脸部周围背景扭曲的情况:
而且,CG 模型的边缘像素会被拉伸,原人物的衣物等不能做到 100% 消除和被覆盖:
开头展示的爆火视频中,其实也有不少穿帮镜头。
《头号玩家》男主创业项目
有意思的不止是产品,Wonder Studio 背后的公司,也颇有故事。
它的出品方是一家名叫Wonder Dynamics 的 AI 初创公司,致力于通过 AI 提高电影制作的效率和质量。
截至目前,公司在种子轮和 A 轮一共募集了1150 万美元融资。
Wonder Studio 是他们筹备 3 年后,推出的一款基于 AI 的在线视频特效处理平台。
公司已经表示,Wonder Studio 后续还将继续简化动作捕捉和渲染环节,继续提高制作效率。而且在公司的设想中,创作者在将来还能在系统自由上传自己的 3D 模型。
再来看公司创始团队,不少人是熟面孔。
比如世界闻名的导演斯皮尔伯格,就是这家公司的顾问。
而公司创始人之一,是《头号玩家》男主演泰尔 · 谢里丹。
(不知道是说男主 " 干一行爱一行 " 好呢,还是说他 " 积极致力于用 AI 抢自己饭碗 " 好,)
还有消息称,美国导演组合罗素兄弟正在拍摄的一部电影中,Wonder Studio 已经参与了部分制作环节。电影主角是《怪奇物语》主演 Millie Bobby Brown 和《银河护卫队》中星爵的扮演者 Chris Pratt,电影将上线 Netflix。
期待电影之前,更值得关注的一点是,最近这段时间,AI 力量对视觉领域疯狂下手了。
这就不得不提到近日在科技圈疯狂刷屏的 Meta 大杀器,Segment Anything Model(SAM)。
该模型惊艳世人的能力,就是能够识别和分离图像及视频中的特定对象。使用 SAM,用户可以通过单击或输入文字,来选中需要编辑的任何物体。
Meta 在介绍 SAM 时写道:
SAM 已经学会了关于物体的一般概念,并且,它还可以为任何图像,或视频中的任何物体生成 msak,包括训练集中不包含的类型。
SAM 足够通用,且在新的图像领域无需额外训练,达到即开即用。
这种零样本迁移的能力,正是 GPT-4 能力惊人的重要原因之一。因此,国内外不少媒体称 SAM 的发布为 CV 领域的 ChatGPT 时刻。
目前,SAM 已经开源,并进一步提供了其 10 亿掩码数据集的完整细节,
Meta 官方的说法是,随着技术发展,SAM 可以成为 AR、VR 等更通用系统的强大组件。
联想到今天介绍的 Wonder Studio,接入 SAM 能力后,对原有人类图像的分割,是不是就不再会出现裙角被遗漏的情况了?
内测申请地址:
https://docs.google.com/forms/d/e/1FAIpQLSdLY3_MQuMEqBy-MZCyXHoPe2YK5BUiSQecjCt0eLUQCux4qA/viewform
参考链接:
[ 1 ] https://twitter.com/shota7180/status/1644815889576128512
[ 2 ] https://twitter.com/wonderdynamics/status/1644376317595615233?s=46&t=HBob6gxh8cOfZTIbieKeSA
— 联系作者 —
还没有评论,来说两句吧...