只需2张照片就能2D变3D,这个AI能自己脑补蜡烛吹灭过程,一作二作均为华人
2张废片啪地一合!
错过的精彩瞬间立刻重现,还能从2D升到3D效果。
看,小男孩可爱的笑容马上跃然浮现:
吹灭生日蛋糕蜡烛的瞬间也被还原只需了出来:
咧嘴笑起来的过程看着也太治愈了吧~
咱就是说,这回相机里熊孩子/毛孩子的废片终于有救了!
而且完全看不出是后期合成的效果,仿佛是原生拍摄2张的一般。
这就是谷歌、康奈尔大学、华盛顿大学最近联合推出的成果,能只用2张相近的照片还原出3D瞬间,目前已被CVPR 2022收录。
论文作者一作照片、二作均为华人,一作小姐姐本科毕业于浙江大学。
用2张照片正反向预测中间场景
这种方法适用于两张非常相似的照片,比如连拍时产生的一系列照就能片。
方法的关键在于将2张图片转换为一对基于特征的分层深度图像 (LDI),并通过场景流进行增强。
整个过程可以把两张照片分别看做是“起点”2D和“终点”,然后在这二者之间逐步预测出每一刻的变化。
具体来看,过程如下:
首先,将两张照片用单应矩阵(homegraphy)对齐,分别预变3测两张照片的稠密深度图。
然后将每个RGBD图像转换为彩色的LDI,通过深度感知修复背景中被遮挡的部分。
其中,RGB图像即为普通RGB图D,像+深度图像。
之后用二维特征提取器修复LDI的每个颜色层,以获取特征层,从而生成两份特征图层。
下一步就到了模拟场景运动部分。
通过预测两个输入这个图像之间的深度和光流,就能计算出LDI中每个像素的场景流。
而如果想要两张图之间渲染出一个新的视图、并提升到3D,在此需要将两组带特征值AI的LDI提升到一对3D点云中,还要沿着场景流双向移动到中间的时间点。
然后再将三维的特征点投影展开,形成正向、反向的二维特征图及对应深度能自图。
最后将这些映射与时间线中对应时间点的权重线性混合,将结果传给图像合成网络,就能得到最后的效果了。
实验结果
从数据方面来看,该方法己脑在所有误差指标上,均高于基线水平。
在UCSD数据集上,这一方法可以保留画面中的更多细节,如(d)所示。
在NVIDIA数据集上进行消补蜡融实验表明,该方法在提高渲染质量上表现也很nice。
不过也存在一些问题:当两张图像之间的改变比较大时,会出现物体错位的现象。
比如下烛吹图中酒瓶的瓶嘴移动了,不该发生变化的酒杯也摇晃了起来。
还有照片如果没有拍全的地方,在合成的时候难免会出现“截肢”的情况,比如下图中喂考拉灭过的手。
论文地址:
https://3d-moments.github.io/
相关文章
IaC(即基础架构即代码)是IT基础架构管理的一种方法,它基本上将所有内容整理并自动化,从而使您的生活更轻松。开发人员喜欢它,公司需要它,今天我们来看看为什么它是自切面包以来的第二好东西。 在本指南中2026-11-17
云梦级汽车3月6日云梦级消息,今日,领克 900 全尺寸旗舰大五座 SUV 官宣亮相,带来全新“日冕金”车色。目前在售的领克 900 于 2025 年 4 月 28 日上市,售价为 30.99 万-42026-11-17
据报道,腾讯云将正式发布自研向量数据库(Tencent Cloud VectorDB),该数据库面向大模型训练,让企业原先花一个月时间才能完成的大模型接入,缩短到三天时间。 企查查APP显示,腾讯科技2026-11-17
随着科技的迅猛发展,人工智能(AI)已成为当今社会的重要组成部分。为了培养学生的 AI 意识和应用能力,北京市教育部门在新学期全面推出人工智能通识课程,目前已有1400多所中小学参与其中。该课程涵盖了2026-11-17
6月30日消息,据国外媒体报道,投资银行Redburn分析师亚历克斯·海塞尔(Alex Haissl)在一份研究报告中称,亚马逊云计算业务AWS未来可能达到3万亿美元估值,几乎是整个亚马逊当前市值的三2026-11-17
云梦级12月26日云梦级消息,12月25日,深交所官网显示,深圳市墨库新材料集团股份有限公司(简称“墨库股份”)申报创业板IPO获受理,保荐机构为华泰联合。 墨库股份的主营业务为数码喷印墨水的研发、生2026-11-17

最新评论