中山 网站建设一条龙,wordpress转enlog,中铁建设集团有限公司门户网登录入口,服装定制软件一、系统概述
这篇文章是一个十分完整的物体级SLAM框架#xff0c;偏重于建图及高层应用#xff0c;在前端的部分使用了ORBSLAM作为基础框架#xff0c;用于提供点云以及相机的位姿#xff0c;需要注意的是#xff0c;这篇文章使用的是相机#xff0c;虽然用的是点云这个…一、系统概述
这篇文章是一个十分完整的物体级SLAM框架偏重于建图及高层应用在前端的部分使用了ORBSLAM作为基础框架用于提供点云以及相机的位姿需要注意的是这篇文章使用的是相机虽然用的是点云这个词但其形容的实际上是三角化之后的ORB特征点。除此之外论文使用YOLO作为目标检测的基础框架提供目标的包围框以及语义类别。 在地图构建的部分论文选择将物体添加到地图中形成物体地图并且利用物体之间的相互关系构建了基于物体的拓扑地图在拓扑地图的基础上又构建出了后续物体抓取、增强现实等丰富的应用。
二、物体级的信息关联
信息关联即data association强调的是建立2d-3d或者2d-2d之间的联系即观测到的物体之间的匹配关系这一问题在一般的SLAM问题中主要是通过描述子匹配的方法来解决的但是上升到物体之后这一方法就不是那么好用了。 文章将物体分为了两类 ①局部物体 local object 在当前时刻当前视角下观测到的物体物体在一开始提取时本身是一帧图像特征点三角化的结果一帧图像中物体的包围框对包围框内部的点进行三角化作为这一物体一开始的点云物体的中心用点云的均值来表示。 ②全局物体 global object 连续几帧都可以对某一物体进行观测则认为局部物体是确实存在于地图中的此时物体就变为全局物体此时物体中心利用多视角下增量构建的点云来计算。 对于这两类物体论文使用了一系列的方法来对解决信息关联的问题主要是利用了四个步骤来实现
IoU模型
IoU模型针对的是连续几帧都可以观测到物体的情况其方法简单来说就是对包围框进行投影将前两帧的包围框投影到当前帧计算包围框与当前帧包围框的交并比如果重叠足够大则认为通过了IoU模型的检验。
NP检验模型
但是在实际运行代码的过程中考虑到物体提取的不稳定性以及遮挡等不可抗拒因素并不是所有物体都可以实现连续观测因此对于任意两帧我们采用NP检验模型进行检测。该检测主要是基于一个假设如果两组点来自同一个物体其特征点分布应该相同。论文使用了威尔克科森秩和检验来验证这一模型用的是概率论里面假设检验的知识如果假设检验认为属于同一物体那么就可以建立物体之间的联系。
单采样和双采样T检验模型
为了更加准确的检验论文在NP检验模型之后又补充了单采样T检验由于物体中心在不同视角下的观测分布一般满足高斯分布基于这一假设作者通过曼-惠特尼U检验来验证这一假设依然是使用假设检验的内容进行验证。 前面使用了三种方法进行检验保证了准确率的同时也让一些不稳定的匹配关系没能成功保留所以论文在单采样T检验之后又补充了一个双采样T检验通过对历史中心点的检验来判断观测结果是否属于同一个物体。
可以说论文作者在物体关联这一块属实是把概率论整的很明白。首先通过投影包围框计算交并比来计算一个连续帧下的物体关联关系之后用NP检验来扩展到非连续帧下的观测结果同时用单采样T检验对物体中心也进行一次筛选最后利用双采样T检验对误筛除的关联进行补充后面三步其实都是根据假设检验来进行的检测。
