网站图片速度网络搜索关键词排名

一、系统概述

这篇文章是一个十分完整的物体级SLAM框架，偏重于建图及高层应用，在前端的部分使用了ORBSLAM作为基础框架，用于提供点云以及相机的位姿，需要注意的是，这篇文章使用的是相机，虽然用的是点云这个词，但其形容的实际上是三角化之后的ORB特征点。除此之外，论文使用YOLO作为目标检测的基础框架，提供目标的包围框以及语义类别。
在地图构建的部分，论文选择将物体添加到地图中形成物体地图，并且利用物体之间的相互关系，构建了基于物体的拓扑地图，在拓扑地图的基础上又构建出了后续物体抓取、增强现实等丰富的应用。

二、物体级的信息关联

信息关联，即data association，强调的是建立2d-3d或者2d-2d之间的联系，即观测到的物体之间的匹配关系，这一问题在一般的SLAM问题中主要是通过描述子匹配的方法来解决的，但是上升到物体之后，这一方法就不是那么好用了。
文章将物体分为了两类：
①局部物体 local object
在当前时刻当前视角下观测到的物体，物体在一开始提取时本身是一帧图像特征点三角化的结果，一帧图像中物体的包围框，对包围框内部的点进行三角化，作为这一物体一开始的点云，物体的中心用点云的均值来表示。
②全局物体 global object
连续几帧都可以对某一物体进行观测，则认为局部物体是确实存在于地图中的，此时物体就变为全局物体，此时物体中心利用多视角下增量构建的点云来计算。

对于这两类物体，论文使用了一系列的方法来对解决信息关联的问题，主要是利用了四个步骤来实现：

IoU模型

IoU模型针对的是连续几帧都可以观测到物体的情况，其方法简单来说就是对包围框进行投影，将前两帧的包围框投影到当前帧，计算包围框与当前帧包围框的交并比，如果重叠足够大则认为通过了IoU模型的检验。

NP检验模型

但是在实际运行代码的过程中，考虑到物体提取的不稳定性以及遮挡等不可抗拒因素，并不是所有物体都可以实现连续观测，因此对于任意两帧，我们采用NP检验模型进行检测。该检测主要是基于一个假设：如果两组点来自同一个物体，其特征点分布应该相同。论文使用了威尔克科森秩和检验来验证这一模型，用的是概率论里面假设检验的知识，如果假设检验认为属于同一物体，那么就可以建立物体之间的联系。

单采样和双采样T检验模型

为了更加准确的检验，论文在NP检验模型之后，又补充了单采样T检验，由于物体中心在不同视角下的观测，分布一般满足高斯分布，基于这一假设，作者通过曼-惠特尼U检验来验证这一假设，依然是使用假设检验的内容进行验证。
前面使用了三种方法进行检验，保证了准确率的同时，也让一些不稳定的匹配关系没能成功保留，所以论文在单采样T检验之后，又补充了一个双采样T检验，通过对历史中心点的检验，来判断观测结果是否属于同一个物体。

可以说论文作者在物体关联这一块，属实是把概率论整的很明白。首先通过投影包围框计算交并比来计算一个连续帧下的物体关联关系，之后用NP检验来扩展到非连续帧下的观测结果，同时用单采样T检验对物体中心也进行一次筛选，最后利用双采样T检验对误筛除的关联进行补充，后面三步其实都是根据假设检验来进行的检测。