网站建设电,网站推广的手段,霞浦建站公司,空间建设网站自动驾驶高效预训练--降低落地成本的新思路 1. 之前的方法2. 主要工作——面向自动驾驶的点云预训练2.1. 数据准备 出发点#xff1a;通过预训练的方式#xff0c;可以利用大量无标注数据进一步提升3D检测 https://arxiv.org/pdf/2306.00612.pdf
1. 之前的方法
1.基于对比学… 自动驾驶高效预训练--降低落地成本的新思路 1. 之前的方法2. 主要工作——面向自动驾驶的点云预训练2.1. 数据准备 出发点通过预训练的方式可以利用大量无标注数据进一步提升3D检测 https://arxiv.org/pdf/2306.00612.pdf
1. 之前的方法
1.基于对比学习的方法——利用关联帧信息构建正样本对
利用不同视角对应的点作为positive pairs将视角进行一些变换然后将关联的点作为正样本对将不相关的点作为负样本对 PointcontrastUnsupervised pre-training for 3d point cloud understanding ECCV 2020Exploring Geometry-aware Contrast and Clustering Harmonization for Self-supervised 3D Object Detection ICCV 2021ProposalContrast: Unsupervised Pre-training for LiDAR-based 3D Object Detection 利用时序上对应的点作为positive pairs Spatio-temporal Self-Supervised Representation Learning for 3D Point CloudsICCV 2021 利用不同物体infrastructure 和 vehicle上的点作为pairs CO3: Cooperative Unsupervised 3D Representation Learning for Autonomous Driving(ICLR 2023)
2.基于MAE的方法
Voxel上 Voxel-MAE - Masked Autoencoders for Self-Supervised Learning on Automotive Point Clouds BEV上 BEV-MAE: Bird’s Eye View Masked Autoencoders for Outdoor Point Cloud Pre-training Hierarchicald空间 GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds (CVPR 2023)
之前工作的缺点
预训练和finetune是在同一批数据只不过分上下游当不一致的时候微调效果一般
所以设想希望
预训练一个通用的骨干网络可以接下游很多任务在增加预训练数据量的时候下游finetune效果的变得更好
2. 主要工作——面向自动驾驶的点云预训练 预训练分为两块
数据处理准备 伪标签生成器对未标注处理Once数据集待标注是无标注的0.5% voxel预训练然后在SECOND、CenterPoint、PV-RCNN上加载
2.1. 数据准备 [1]类别注意的伪标签生成 [2]数据多样性的生成 1.上/下采样将点云投影到图像上将图像作为中间过程对点云进行上/下采样 2.目标尺度缩放对Bbox进行re-scale 在大规模预训练后在NuScenes数据集上的表现比较差主要因为类别的不一致性同时在继续训练时会抑制预训练的类别激活 Ped和Cyclist在自动驾驶场景一般检测比较差标注比较少在未标注的数据上接近每帧2个label没标注可以利用上如下图 对于未标注图片前景物体的判断采用两路head分别预测 当两路分支的结果分别高于一定的阈值并且俩路定位距离比较近判断为前景加入Consistency loss
