网站备案证书在哪里下载,网站可以做无形资产吗,淘宝网站建设服务类目选择,天津百度快速排名优化3D 生成重建016-SA3D从nerf中分割一切 文章目录 0 论文工作1 方法介绍2 实验结果 0 论文工作
1 SAM的背景和目标#xff1a; SAM 是一种强大的二维视觉基础模型#xff0c;能够在 2D 图像中进行任意物体的分割。传统上#xff0c;SAM 在二维空间表现出色#xff0c;但其无… 3D 生成重建016-SA3D从nerf中分割一切 文章目录 0 论文工作1 方法介绍2 实验结果 0 论文工作
1 SAM的背景和目标 SAM 是一种强大的二维视觉基础模型能够在 2D 图像中进行任意物体的分割。传统上SAM 在二维空间表现出色但其无法直接应用于三维物体分割。 本文的目标是将 SAM 的能力扩展到 3D 物体分割避免了 3D 数据采集和标注的昂贵过程。为了实现这一目标SA3D 利用 Neural Radiance Field (NeRF) 作为桥梁将 2D 图像和 3D 空间进行连接。 2. 关键技术和创新 NeRF 作为先验 本文提出的方法通过利用 NeRF 学到的密度分布将 SAM 得到的二维掩膜从一个视角映射到三维空间。NeRF 提供了从多视角图像到三维场景的连接因此可以为不同视角之间的物体分割提供一致的指导。通过在 NeRF 中学习的视角一致的特征可以在不同的视角中重建物体的三维掩膜。 掩膜反向渲染首先从一个视角使用 SAM 对目标物体进行分割得到一个二维掩膜。然后通过反向渲染将二维掩膜投影到 3D 空间构建三维物体的体素掩膜。在这个过程中NeRF 提供了密度信息来指导如何将二维掩膜有效地映射到三维空间。 自我提示在完成当前视角的掩膜渲染后SA3D 自动从 NeRF 渲染出的二维掩膜中提取有效的提示信息并将其作为输入传递给 SAM进行下一视角的分割。这个过程是交替进行的直到通过多个视角生成完整的三维掩膜。 自我提示在简单场景中是一个可行的方法。但是场景比较复杂的话比图说每个视图上有多个同类型的物体在跨视图进行逆映射的时候就会出现不一致。后面会有一些论文去优化这个问题。 paper github
1 方法介绍
在 SA3D (Segment Anything in 3D) 方法中自我提示Self-Prompting 是一种关键的技术用来通过多视角的迭代过程生成三维掩膜。具体来说自我提示的实现过程可以分为以下几个步骤 初始二维掩膜生成 1、给定一个视角中的目标物体用户提供一个手动的粗略分割提示例如一些粗略的点或框。使用 SAMSegment Anything Model对这个视角中的物体进行分割生成一个二维掩膜mask。 2、掩膜反向渲染。在生成了二维掩膜后使用 NeRF神经辐射场技术将该掩膜投影到三维空间中。这一步是通过 反向渲染inverse rendering来完成的即根据二维掩膜的密度分布信息估计物体在三维空间中的分布。具体来说NeRF 学习了一个三维场景的密度和颜色分布通过这些信息可以将二维掩膜“反向映射”到三维空间中的体素网格从而得到目标物体的三维掩膜。 3、跨视角自我提示反向渲染得到三维掩膜后SA3D 会自动生成用于下一视角的提示信息。这一步就是 自我提示 的关键。从 NeRF 渲染出的三维掩膜通过与当前视角的关系提取可靠的提示。具体来说NeRF 渲染出的三维掩膜会被转换为该视角的二维图像并与其他视角进行对比寻找在其他视角中可能可靠的目标物体区域。这个过程类似于“从一视角生成另一视角的分割提示”。通过将已经生成的三维掩膜投影到新的视角自动生成的提示信息可以帮助 SAM 在新的视角中进行物体分割。 4、循环迭代自我提示的过程是 交替迭代 的。在每一轮迭代中首先利用当前视角的二维掩膜通过 NeRF 渲染到三维空间再利用三维掩膜在不同视角中生成新的二维分割提示然后传递给 SAM 进行分割。随着迭代次数的增加目标物体的三维掩膜逐渐变得更加精确和完整因为每次迭代都会利用来自不同视角的信息进行完善。 自动生成提示通过利用 NeRF 渲染出的三维掩膜SA3D 自动提取出下一视角的分割提示而无需人工干预。这意味着整个分割过程可以在没有更多人工输入的情况下继续进行。 跨视角信息利用通过在不同视角间的交替提示系统能够在多视角下自我调整并优化三维分割结果。 总结自我提示的实现本质上是一种通过 NeRF 渲染的三维掩膜来生成可靠提示的过程并通过跨视角的反馈和迭代逐步完善目标物体的三维分割结果。这使得 SA3D 能够在多视角间利用信息自我引导快速生成高质量的三维物体分割而无需人工提供多个视角的详细标注。
2 实验结果
