
nianticlabs/doubletake
📦 开源项目nianticlabs
基于几何引导的深度估计框架,利用代价体分析实现高精度多视图立体视觉。
DoubleTake 代表了多视图立体视觉(MVS)和深度估计领域的重大进展。该框架在 ECCV 2024 上首次亮相,通过引入显式的几何引导约束,解决了从多个摄像机视角估计精确深度图的固有挑战。与在处理无纹理区域或复杂遮挡时表现不佳的标准端到端模型不同,DoubleTake 利用代价体构建来保持空间一致性和几何完整性。
该代码库包含 PyTorch 核心实现,提供了在标准深度估计基准上训练和评估模型所需的工具。关键技术特性包括优化的代价体处理,使模型能够更有效地跨不同视角进行深度推理。这种方法减少了深度图中的噪声并增强了物体边界的清晰度,非常适合需要高保真 3D 重建的应用,如 AR/VR、机器人和自动驾驶。代码库采用模块化设计,方便研究人员尝试不同的几何先验和集成策略。