怎么样购买服务器建设网站,建立电影网站教程,手机网站免费做推广,广告营销留电话网站BEVFormer v2: Adapting Modern Image Backbones to Bird’s-Eye-View Recognition via Perspective Supervision 目录 摘要1 介绍2 相关工作2.1 BEV三维目标检测器 摘要
我们提出了一种具有透视监督的新型鸟瞰图#xff08;BEV#xff09;检测器#xff0c;其收敛速度更快… BEVFormer v2: Adapting Modern Image Backbones to Bird’s-Eye-View Recognition via Perspective Supervision 目录 摘要1 介绍2 相关工作2.1 BEV三维目标检测器 摘要
我们提出了一种具有透视监督的新型鸟瞰图BEV检测器其收敛速度更快并且更适合现代图像主干。现有的最先进的BEV检测器通常与某些深度预训练主干网络如VoVNet相关联从而阻碍了蓬勃发展的图像主干网络和BEV检测器之间的协同作用。为了解决这一限制我们优先通过引入透视图监督来简化BEV检测器的优化。为此我们提出了一个两阶段BEV检测器其中来自透视头的提议被输入到鸟瞰头中进行最终预测。为了评估我们模型的有效性我们进行了广泛的消融研究重点关注监督形式和所提出的检测器的通用性。所提出的方法通过广泛的传统和现代图像主干得到了验证并在大规模nuScenes数据集上取得了新的SoTA结果。代码即将发布。
1 介绍
鸟瞰图(BEV)识别模型引起了自动驾驶领域的兴趣因为它们可以自然地将来自多个传感器的部分原始观测结果整合到统一的整体3D输出空间中。典型的BEV模型建立在图像主干之上然后是视图转换模块该模块将透视图像特征提升为 BEV 特征然后由BEV特征编码器和一些特定任务的头进一步处理。人们投入了大量精力来设计视图转换模块并将不断增长的下游任务列表纳入新的识别框架但BEV模型中图像主干的研究却被忽视了。作为一个前沿且要求极高的领域将现代图像主干引入自动驾驶是理所当然的。令人惊讶的是研究界选择坚持使用VoVNet来享受其大规模深度预训练。在这项工作中我们专注于释放现代图像特征提取器的全部威力用于BEV识别为未来的研究人员探索该领域更好的图像主干设计打开大门。
然而仅仅采用那些现代图像主干而没有进行适当的预训练并不能产生令人满意的结果。例如在3D物体检测方面ImageNet预训练的ConvNeXt-XL主干网络的性能与DDAD-15M预训练的VoVNet-99相当尽管后者的参数是前者的3.5倍。我们将适应现代图像主干的努力归因于以下问题。其一自然图像和自动驾驶场景之间的领域差距。在一般二维识别任务上进行预训练的主干网络无法感知三维场景尤其是无法估计深度。其二当前BEV检测器的结构复杂。以BEVFormer为例。3D边界框和物体类别标签的监督信号通过视图编码器和物体解码器与图像主干分离每个编码器和物体解码器由多层transformer组成。用于适应自动驾驶任务的通用二维图像主干的梯度流被堆叠的transformer层扭曲了。为了解决在将现代图像主干网络应用于BEV识别时遇到的上述困难我们在BEVFormer中引入了透视监督即将来自透视视图任务的额外监督信号直接应用于主干网络。它引导主干网络学习二维识别任务中缺失的三维知识并克服BEV检测器的复杂性极大地促进了模型的优化。具体来说我们在主干网络上构建一个透视3D检测头它将图像特征作为输入并直接预测目标对象的3D边界框和类别标签。这个透视头的损失表示为透视损失被添加到由BEV头衍生的原始损失BEV损失中作为辅助检测损失。两个检测头使用其相应的损失项进行联合训练。此外我们发现将两个检测头自然而然地组合成两级BEV检测器BEV-Former v2。由于透视头已经很成熟了它可以在透视图中生成高质量的目标提案我们将其作为第一阶段提案。我们将它们编码为目标查询并将它们与原始BEVFormer中可学习的查询收集起来形成混合对象查询然后将其输入到第二阶段检测头以生成最终预测。
我们进行了大量的实验来证实我们提出的透视监督的有效性和必要性。透视损失有助于图像主干的适应从而提高检测性能并加快模型收敛。而如果没有这种监督即使经过更长的时间训练模型也无法取得类似的结果。因此我们成功地将现代图像主干适应BEV模型在nuScenes测试集上实现了63.4%的NDS。
本文的贡献总结如下
我们指出透视监督是将一般的二维图像主干适应BEV模型的关键。我们通过透视图中的检测损失明确地添加了这种监督。我们提出了一种新颖的两阶段BEV检测器BEV-Former v2。它由一个透视3D和一个BEV检测头组成前者的提议与后者的目标查询相结合。我们通过将我们的方法与最新开发的图像主干相结合来强调其有效性并在nuScenes数据集上取得了比以前最先进的结果更显著的改进。
2 相关工作
2.1 BEV三维目标检测器
最近鸟瞰图BEV目标检测因其在自动驾驶系统中的巨大成功而受到了更多的关注。
早期的研究包括OF、Pseudo LiDAR和VPN它们阐明了如何将透视特征转换为BEV特征但无论是针对单个摄像头还是不太知名的任务。OFT率先采用从2D图像特征到3D BEV特征的转换实现单目3D目标检测。Pseudo LiDAR顾名思义通过单目深度估计和相机内参创建伪点云然后在BEV空间中对其进行处理。VPN是第一个将多视角相机输入融合到自上而下的视角特征图中以进行语义分割的技术。
