网站建设基本概述,南宁网站开发gxjzdrj,手机网页无法访问,深圳关键词推广整站优化自动驾驶建图–道路边缘生成方案探讨 一、背景
对于自动驾驶来说#xff0c;建图是必不可少的#xff0c;目前主流厂商技术都在从HD到无图进行过渡筹备中#xff0c;不过想要最终实现真正的无图还是有很长的一段路要走。 对于建图来说#xff0c;…自动驾驶建图–道路边缘生成方案探讨 一、背景
对于自动驾驶来说建图是必不可少的目前主流厂商技术都在从HD到无图进行过渡筹备中不过想要最终实现真正的无图还是有很长的一段路要走。 对于建图来说包含了很多的道路元素车道线停止线斑马线导流属性道路边缘以及中心线(包含引导线)等。这里中心线的预测通常是根据轨迹通过数学公式进行拟合目前学术上逐渐采用模型进行预测但是对于下游(PNC)来说还是存在不够平滑曲率不够精准等问题不过这个不在本次方案讨论范围内先忽略以后有空可以写一写。 道路边界对于PNC来说也是至关重要约束车辆行驶范围避免物理碰撞发生。通常道路边界的生成有几种方法一种是当做车道线的一部分跟着模型一起输出但是没有车道线的特征明显容易漏检而且道路边界是异形的基于分割的方案会比基于Anchor的方案效果稳定一些。另一种是HD的方法根据处理后的车道线按照距离和规则等虚拟出道路边界线。本文给出一种新的解决方案略微繁琐但是优点是可以延用已有的公开数据集进行处理生成快速落地验证缺点是本方案不具备时效性是离线的方法。
二、方案
数据集模型 整个方案的pipline如上图所示为了快速验证效果所以直接采用了公开的数据集BDD100k这个数据集主要是用于可行驶区域, 车道线以及全景分割等。它的车道线有标边线但是没有区分类别没办法直接用所以采用freespace来进行验证。模型方面理论上采用任何一个分割都可以这里采用的是YOLOPv2, 模型提供了训练好的权重和推理脚本输出如下所示。 YOLOPv2输出
差异性 这个数据集存在一个与建图的需求有所差异的问题刚才提到这个方案是基于freespace做的但是freespace是以实际能看到的边界作区分的而不是道路的边界所以和实际建图的需求有一些diff上面图里面能看到绿色的就是freespace的结果被左边的车挡住了道路的边界所以freespace就会以车辆边界作为自身的界限。如果是实时的没有什么问题但是离线的话会产生diff如果第一天有车建图后第二天发现没有车那么可通行的范围就被压榨了。所以后续如果实际使用需要以道路的边界作为freespace的边界线。 overview
整体方案 整个方案的pipline如上所示对前视摄像头得到的图像进行畸变矫正后喂进模型输出对应的freespace由于IPM对于边界以及远处的投影效果不好的问题所以只选取车前15m左右20m的范围得到的freespace根据内外参以及自车位置投影到世界坐标系下。通过连续帧的叠加可以生成世界坐标系下的2d点云。实际上需要的是边缘所以还需要对点云进行处理得到道路的边缘这里有尝试过PCL以及AlphaShape等点云处理方法能解决部分case的提取但是还是依赖于调参没办法自动化处理下面有一些bad case示例。
世界坐标系2d点云 2d点云
PCL pcl滤波边缘提取结果
AlphaShape alphashape提取结果
针对上面的问题首先对世界坐标系的点云进行投影映射我这里设置的是1个像素表示0.05m因为一个车道线大概15-20cm宽所以这一点点的误差不影响反投影回去的结果。映射后可以得到栅格的点云由于从uv到世界坐标系转换中远处的点会发散所以在栅格图像中需要对其进行过滤和填充处理处理前后如下图所示。 栅格处理
然后可以用图像处理的方法得到整个栅格图的边缘并根据映射关系反投影到世界坐标系下根据下游的需求对矢量化的点进行稀疏采样或者插值处理结果如下所示。 边缘处理
接下来一步就是需要根据RTK信息来对边缘的两端进行截断(不然封闭的区域车也没发行驶)此步骤略微繁琐逻辑简化如下 - 根据属性判断是否是直行转弯还是掉头路口等 - 根据不同的属性设置不同的切分逻辑 - 直行|转弯采用双头切分分别根据起始和终止RTK位置通过设置距离参数来找训左右两端的切分点进行切分。 - 掉头采用单头切分选定起始位置后定位关键点通过设置较长的距离来贯穿整个掉头路口定位4个点进行切分。 - 过滤异常点平滑处理。 切分前后效果这里蓝色是切分后的边缘
最后就是不断的优化和迭代的逻辑了模型效果不好那就优化模型逻辑不够鲁邦就优化逻辑。之前有提到数据集中的freespace不是以实际道路边缘边界区分的所以后面还需要标数据进行模型优化。
为了验证精度是否够高可以拼接到HD上进行对比 底图是hd提供的车道线和参考线红色是路口的道路边界
最后的最后PNC实际上用不了这种异形的边缘的事实证明了一切的一切还是要向HD看齐所以还要根据生成的边缘来做二次约束进行曲线平滑优化处理。这里就不展开讲了又是一个非常复杂的数学问题。 基于边缘约束优化后效果
三、结论
本方案只是提供了一种快速落地的思路里面实际上还有很多的细节问题需要进行优化。不过基于freespace的方案相比于只去预测道路边缘的方案来说泛化能力相对来说会强一点同时可以一份标注数据多种用途。不过速度上需要注意离线可以满足要求在线实时还是要看优化的效率。
有想要交流的可以在评论区留言或者私信我
倾囊相授自动驾驶学习资料和落地经验链接
