辽阳县住房和城乡建设局网站,大型网站建设机构,绥芬河市建设局网站,wordpress 登陆logo开源代码#xff1a;D2-Net
1 摘要
在这项工作中#xff0c;我们解决了在困难的成像条件下寻找可靠的像素级对应的问题。我们提出了一种由单一卷积神经网络发挥双重作用的方法#xff1a;它同时是一个密集的特征描述符和一个特征检测器。通过将检测推迟到后期阶段#xf…开源代码D2-Net
1 摘要
在这项工作中我们解决了在困难的成像条件下寻找可靠的像素级对应的问题。我们提出了一种由单一卷积神经网络发挥双重作用的方法它同时是一个密集的特征描述符和一个特征检测器。通过将检测推迟到后期阶段所获得的关键点比基于低层结构早期检测的传统关键点更稳定。我们证明了该模型可以使用从现成的大规模SfM重建中提取的像素对应来训练而不需要任何进一步的注释。该方法在困难的亚琛昼夜定位数据集和InLoc室内定位基准上都获得了最先进的性能以及在其他图像匹配和三维重建基准上具有竞争力的性能。
2 理论介绍
与经典的使用两阶段管道的检测然后描述方法相反我们建议执行密集的特征提取以获得同时是检测器和描述符的表示。因为检测器和描述符都共享底层表示所以我们将我们的方法称为D2。我们的方法如图3所示。 该方法的第一步是对输入图像III应用一个CNN FFF得到一个三维张量FF(I)F F (I)FF(I)F∈Rh×w×nF∈R^{h×w×n}F∈Rh×w×n其中h×wh×wh×w是特征图的空间分辨率nnn是通道数。
2.1. Feature Description
正如在之前的其他工作[38,44,59]中一样对三维张量F的最直接的解释是作为一个密集的描述符向量ddd的集合 与i1……hi 1……hi1……h和j1……wj 1……wj1……w。这些描述符向量可以很容易地在图像之间进行比较以建立对应使用欧氏距离。在训练阶段这些描述符将被调整使场景中相同的点产生相似的描述符即使图像包含强烈的外观变化。在实践中我们在比较描述符之前对描述符应用L2归一化d^ijdij/∥dij∥2.\hat{\mathbf{d}}_{i j}\mathbf{d}_{i j}/\|\mathbf{d}_{i j}\|_{2}.d^ijdij/∥dij∥2.
2.2 Feature Detection
对三维张量FFF的另一种解释是作为二维响应D的集合 其中k1……nk1……nk1……n。在这种解释中特征提取函数FFF可以看作是nnn个不同的特征检测器函数DkD^kDk每个函数产生一个二维响应映射DkD^kDk。这些检测响应图类似于在尺度不变特征变换SIFT[30]中获得的高斯差分DoG响应图或在Harris的角检测器[19]中获得的角度得分图。在我们的工作中这些原始分数经过后处理只选择一个位置子集作为输出关键点。下面将描述这个过程。
Hard feature detection 在传统的特征检测器如DoG中检测图将通过执行空间非局部最大抑制来稀疏化。然而在我们的方法中与传统的特征探测器相反存在多个检测映射Dkk1……nD^kk 1……nDkk1……n并且可以对其中的任何一个检测映射进行检测。因此对于要检测到的一个点i、ji、ji、j我们要求 直观地说对于每个像素ijijij这对应于选择最卓越的检测器DkD^kDk通道选择然后验证在该特定检测器的响应映射DkD^kDk的位置ijijij上是否有一个局部最大值。 Soft feature detection 在训练过程中上述的硬检测程序被软化以便于反向传播。首先我们定义了一个软的局部最大值。得分 其中N(i、jN (i、jN(i、j是像素i、ji、ji、j包括自身的9个邻居的集合。然后我们定义软通道选择它计算一个最大比值。每个模拟通道级非最大抑制的描述符 接下来为了考虑到这两个标准我们在所有特征图k上最大化这两个分数的乘积以获得一个单一的得分图 最后通过进行图像级归一化获得一个像素ijijij处的软检测分数sijs_{ij}sij Multiscale Detection 虽然CNN描述符由于数据增强的预训练而具有一定的尺度不变性但它们对尺度变化本身并不是不变性在观点有显著差异的情况下匹配往往失败。为了获得对尺度变化更稳健的特征我们建议使用图像金字塔[2]就像通常在手工制作的局部特征探测器[28,30,32]或甚至对某些对象探测器[16]中所做的那样。这只在测试期间执行。 给定输入图像III构造一个包含三种不同分辨率ρ0.5、1、2ρ 0.5、1、2ρ0.5、1、2对应于半分辨率、输入分辨率和双分辨率的图像金字塔IρI^ρIρ并用于提取每个分辨率下的特征图FρF^ρFρ。然后将较大的图像结构从低分辨率特征图传播到高分辨率特征图传播方式如下 注意特征映射FρF^ρFρ有不同的分辨率。为了实现(8)中的求和使用双线性插值法将特征图FγF^γFγ的大小调整到FρF^ρFρ的分辨率。通过将上述后处理应用于融合的特征图FρF^ρFρ来获得检测。为了防止重新检测特征我们使用了以下响应门控机制从最粗的尺度开始我们标记检测到的位置这些掩模被上采样最近邻到下一个尺度的分辨率进入标记区域的检测被忽略。
2.2 4. Jointly optimizing detection and description
Training loss 为了训练所提出的模型它使用一个单一的CNN FFF来进行检测和描述我们需要一个适当的损失LLL来共同优化检测和描述目标。在检测的情况下我们希望关键点在视点或照明的变化下是可重复的。在描述的情况下我们希望描述符是独特的以便它们不会不匹配。为此我们提出了一个扩展的三重边际排名损失它已成功地用于描述符学习[6,35]以解释检测阶段。我们将首先回顾三重边际排名损失然后提出我们的联合检测和描述的扩展版本。 给定一对图像I1I2I_1I_2I1I2和它们之间的对应cA↔Bc A↔BcA↔B其中A∈I1A∈I_1A∈I1B∈I2B∈I_2B∈I2我们的三重边际排名损失寻求最小化相应描述符的距离d^A(1)\hat{\mathbf{d}}_A^{(1)}d^A(1)和d^B(2)\hat{\mathbf{d}}_B^{(2)}d^B(2)同时最大化与其他混杂描述符的距离d^N1(1)\hat{\mathbf{d}}_{N_{1}}^{(1)}d^N1(1)和d^N2(2)\hat{\mathbf{d}}_{N_{2}}^{(2)}d^N2(2)在这两种图像中这可能的存在是由于类似的图像结构。为此我们将相应描述符之间的正描述符距离p(c)p (c)p(c)定义为 负距离n(c)n (c)n(c)它解释了其中一个最混杂的描述符d^A(1)\hat{\mathbf{d}}_A^{(1)}d^A(1)和d^B(2)\hat{\mathbf{d}}_B^{(2)}d^B(2)定义为 其中负样本d^N1(1)\hat{\mathbf{d}}_{N_{1}}^{(1)}d^N1(1)和d^N2(2)\hat{\mathbf{d}}_{N_{2}}^{(2)}d^N2(2)是位于正确对应的平方局部邻域之外的最大负样本
对于n2也是如此。边际M的三重边际排名损失可以定义为
直观地说这种三重边际排名损失试图通过惩罚任何可能导致错误匹配分配的混淆描述符来加强描述符的独特性。为了进一步寻求检测的可重复性我们以以下方式在三重边际排名损失中添加了一个检测项 式中sc(1)s_c^{(1)}sc(1)和sc(2)s_c^{(2)}sc(2)分别为I1I_1I1和I2I_2I2中A点和B点的软检测分数(7)CCC为I1I_1I1和I2I_2I2之间所有对应关系的集合。建议的损失基于其检测分数产生所有匹配的边际项mmm的加权平均值。因此为了使损失最小化最独特的对应项具有较低的边际项将获得较高的相对得分反之亦然——相对得分较高的对应项被鼓励使用与其他对应项相似的描述符。
3 结论
