Neural 3D Scene Reconstruction with the Manhattan-world Assumption

本文工作：基于曼哈顿世界假设，重建室内场景三维模型。

1.1 曼哈顿世界假设

参考阅读文献：Structure-SLAM: Low-Drift Monocular SLAM in Indoor Environments==IEEE IROS20/RA-L
知乎解析：结构环境中的单目SLAM方法

曼哈顿假设：环境中存在垂直/正交的信息，如室内场景的地面、墙面、天花板通常被对齐在三个互相垂直的主方向。通过判断相机和曼哈顿世界之间的旋转矩阵，进而可以获得相机与相机之间的相对旋转矩阵。

1.2 作者本人解读

知乎：从多视角图像做三维场景重建 (CVPR’22 Oral)

1.3 SDF (Signed Distance Field) 有向距离场

表示空间中的每一个点到物体表面的最小距离，物体外部为正、内部为负。

学习链接：

1. 有向距离场(Raymarching SDFs) – 一个图形学的博主
2. 实时渲染基础（5）几何（Geometry） – 又一个图形学
3. Signed Distance Field及其生成算法 – 知乎

1.4 动机

为了解决室内弱纹理区域等问题带来的重建困难，对地面、墙面区域设计了对应的几何约束来解决弱纹理区域的歧义性，保证重建的质量。

2.1 方法

本文证明了平面约束可以方便地集成到最近基于隐式神经表示的重建方法中。具体来说，使用MLP网络将有符号距离函数表示为场景几何体。基于曼哈顿世界假设，采用平面约束对二维语义分割网络预测的地板和墙壁区域的几何结构进行正则化。为了解决分割不准确的问题，使用另一个MLP对3D点的语义进行编码，并设计了一种新的loss，该loss联合优化了3D空间中的场景几何和语义。