一款名为 DUSt3R 的 AI 工具近日在 GitHub 上备受瞩目,其能够在短短2秒钟内通过仅有2张图片完成3D 重建,让许多网友大呼惊奇,甚至认为这比之前热门的 Sora 更加实用。这一工具在单目 / 多视图深度估计以及相对位姿估计任务上表现出色,被认为是目前最先进的技术之一。
作者团队采用了一种全新的方法,称为 DUSt3R,它不需要任何相机校准或视点姿势的先验信息,就能完成任意图像的密集或无约束3D 重建。这意味着用户只需提供图片,无需额外的测量数据,便能轻松获得完整的3D 重建效果。DUSt3R 的网络架构基于标准 Transformer 编码器和解码器,受到 CroCo 的启发,并通过简单的回归损失训练完成。
在实验中,DUSt3R 在多项任务上取得了 SOTA 的成绩,包括绝对姿态估计、多视图姿态回归、单目深度估计和多视图深度估计。不仅如此,DUSt3R 还能够处理两张没有任何重叠内容的图像,仍然准确地完成3D 视图的重建,展现出其强大的功能和适用性。
该工具的出现引起了许多网友的兴趣,有人甚至在实验中测试了不同相机拍摄的图像,结果依然有效。DUSt3R 的出现为3D 重建任务提供了一种简单而高效的解决方案,让用户可以更轻松地完成相关工作。其优异的性能和快速的重建速度让人对其未来应用前景充满期待。
通过 DUSt3R 这一新工具的出现,用户可以更快速地实现3D 重建,无论是在室内还是室外场景,都能得到准确且完整的效果。这一技术的应用将极大地方便用户进行相关任务,带来更多可能性和创新。
论文https://arxiv.org/abs/2312.14132
项目入口:https://dust3r.europe.naverlabs.com/
评论0