上海最好的网站设计公司,做英文网站内容来源,设计师网站建设,宜宾建设招标网站摘要 Neural Radiance Fields (NeRF) 已通过密集视图图像展示了卓越的 3D 重建能力。然而#xff0c;在稀疏视图设置下#xff0c;其性能显着恶化。我们观察到#xff0c;在这种情况下#xff0c;学习不同视图之间像素的 3D 一致性对于提高重建质量至关重要。在本文中… 摘要 Neural Radiance Fields (NeRF) 已通过密集视图图像展示了卓越的 3D 重建能力。然而在稀疏视图设置下其性能显着恶化。我们观察到在这种情况下学习不同视图之间像素的 3D 一致性对于提高重建质量至关重要。在本文中我们提出了 ConsistencyNeRF一种利用深度信息来规范像素之间的多视图和单视图 3D 一致性的方法。具体来说ConstantNeRF 采用深度导出的几何信息和深度不变损失来集中于表现出 3D 对应性并保持一致深度关系的像素。对最近代表性作品的大量实验表明我们的方法可以显着提高稀疏视图条件下的模型性能与各种基准的普通基线相比PSNR 提高 94%SSIM 提高 76%LPIPS 提高 31%包括 DTU、NeRF 合成和 LLFF。 框架 本文所提出的多视图和单视图 3D 一致性正则化的演示。我们利用不同视图之间的多视图深度对应关系来对多视图 3D 一致性进行正则化以屏蔽满足 3D 对应关系红点或不满足 3D 对应关系绿点的像素并根据掩模信息构造损失。我们还通过基于最先进的 MiDas 模型预测的单目深度构建深度尺度不变损失函数来规范单视图 3D 一致性。 实验效果 以 3 个视图作为输入的 LLFF 数据集的新颖视图综合结果。 我们观察到基线受到模糊结果的影响而我们的 ConsistencyNeRF 可以产生具有细粒度细节的清晰结果。 结论 在本文中我们针对具有挑战性的稀疏视图合成问题提出了 ConcientNeRF它增强了具有 3D 一致性的神经辐射场。为了在不同视图中的像素之间建立对应关系我们提出了一种基于掩码的损失以 3D 一致性来定位像素而不是在训练目标中平等地对待所有像素。此外我们采用同一块中像素之间的深度一致性正则化来规范同一视图中像素之间的3D一致性。我们的实验结果表明我们提出的方法显着提高了具有稀疏视图设置的代表性 NeRF 方法的性能并且可以比以前的基于深度的方法带来更大的性能提升。这些有希望的结果表明基于一致性的 NeRF 是渲染具有正确几何形状和细粒度细节的图像的重要方向。总之我们提出的方法为稀疏视图合成的挑战性问题提供了一种新的有效解决方案并且在未来各个领域的应用中具有广阔的前景。 论文链接https://arxiv.org/pdf/2305.11031v1.pdf
