栅格检测跟踪框架构建环境语义占据与速度场方法及系统技术方案

本发明专利技术涉及一种栅格检测跟踪框架构建环境语义占据与速度场方法及系统，包括：通过多种车载异构传感器，由神经网络的深度学习获取环境的完全语义分割地图；在完全语义分割地图上进行栅格级跟踪，给定上游模块生成的细粒度语义鸟瞰图，对每个栅格的占据和速度进行建模，并将粒子分配到栅格中，进行粒子的更新；进行栅格级后融合，将细粒度的语义和速度信息融合，通过环境中每个栅格的语义，占据和速度的属性全面理解，形成增强的可行驶空间认知。形成增强的可行驶空间认知。形成增强的可行驶空间认知。

【技术实现步骤摘要】
栅格检测跟踪框架构建环境语义占据与速度场方法及系统


[0001]本专利技术涉及一种自动驾驶领域，特别是关于一种利用计算机视觉与概率推理理论，实现栅格级检测与跟踪框架构建环境的语义占据与速度场的方法及系统。

技术介绍

[0002]占据栅格图(OGM)是机器人和自动驾驶领域的一种重要的环境表达形式。通过传感器原始数据描述环境被各种物体的占用率，车辆可以避免与障碍物发生碰撞。栅格地图的主要优点是完全表达感知数据和场景，可以分析感知范围与不确定性，同时通常用作强大的多传感器融合框架。与室内机器人不同，自动驾驶汽车通常在高度动态的交通环境中运行，需要分辨出障碍物的速度，因此产生了动态占据栅格地图(DOGM)技术，主要用蒙特卡洛方法用随机粒子建模栅格速度并通过贝叶斯推断进行粒子筛选并最终得到栅格速度，然而对于大量的数据需要非常大量的粒子数，运行时间很长，同时速度准确率低。
[0003]场景流是一种表示图像或点云中每个点在三维空间中前后两帧之间变化的技术。该技术的主要困难在于使用图像数据的方法难以估计标准三维空间中的运动，点云数据的方法则面临目前没有带注释的真实数据的困难。前序研究使用了一些模拟数据或人工生成的数据。场景流计算过程缓慢，不能满足自动驾驶实时运行的要求。联合分割和运动预测是一种在栅格级别上联合估计语义和运动特征的新任务，可以视为是鸟瞰图下栅格化场景流技术或基于网格的检测技术，后续研究中Pillar
‑
Motion同时引入了使用图像光流的点云学习的自监督校正和优化。这一类方法的速度估计一般由前序数帧数据端到端的预测，而不是前后帧的关联形成跟踪关系，速度与语义时序不连续，影响了栅格环境的连续理解。
[0004]点云的语义分割是指给点云中的每个点赋予特定的语义标签，也可以推广到对实例分割和全景分割，是针对激光雷达点云实现完全的环境理解的一种重要方法，工程上逐帧的点云标注成本很高，算法难点是点云数据无序，室外场景稀疏且疏密度与距离相关，不规则。图像的鸟瞰图语义分割用于分割鸟瞰下的运动物体和静态元素。与传统的图像视图分割任务相比，目标检测的标注可以重复用于训练动态目标分割，而高精度地图可以直接用于训练静态元素分割。相应地，增加的难度是需要一个视图融合模块将来自多个摄像头的信息融合到鸟瞰图空间，两种传感器与相关技术的语义鸟瞰图均能达到较好的单帧效果，但是缺乏速度估计，对于环境认知与风险评估缺失必要的速度场信息，不能直接用于可行驶区域认知模块。

技术实现思路

[0005]针对上述问题，本专利技术的目的是提供一种栅格检测跟踪框架构建环境语义占据与速度场方法及系统，其能提高栅格各个单独属性的连续性和准确率。
[0006]为实现上述目的，第一方面，本专利技术采取的技术方案为：一种栅格检测跟踪框架构建环境语义占据与速度场方法，其包括：通过多种车载异构传感器，由神经网络的深度学习获取环境的完全语义分割地图；在完全语义分割地图上进行栅格级跟踪，给定上游模块生
成的细粒度语义鸟瞰图，对每个栅格的占据和速度进行建模，并将粒子分配到栅格中，进行粒子的更新；进行栅格级后融合，将细粒度的语义和速度信息融合，通过环境中每个栅格的语义，占据和速度的属性全面理解，形成增强的可行驶空间认知。
[0007]进一步，多种车载异构传感器包括：毫米波雷达的点云通过传感器逆映射器形成栅格的速度先验，补充栅格跟踪滤波器在观测中的速度辅助信息；由高线数激光雷达输出稠密的点云信息，以对场景的无盲区完全理解；将车载多相机进行环视的安装，并进行深度估计，通过视角转换在鸟瞰图上分割物体和地面形成语义栅格，以对360
°
场景完全理解。
[0008]进一步，在完全语义分割地图上进行栅格级跟踪，包括：
[0009]将原始信息旋转到对齐大地坐标系，栅格和粒子不需要旋转操作；
[0010]设定观测栅格，将目标检测中常见障碍物的栅格区域其感兴趣区域布尔值设置为真；
[0011]在观测栅格中选择其中感兴趣区域内的栅格，布尔值为真的观测元素，平均分配新生成的粒子到每次观测的栅格中；如果粒子在预测和更新后对应的栅格已经离开感兴趣区域，则使这部分粒子消失，粒子权重变为零，对剩下的粒子的权重进行排序，最终消失的粒子数和新生成的粒子数是相等的设定的超参数；
[0012]构建动态栅格图，对粒子和栅格进行预测与更新，实现栅格级跟踪。
[0013]进一步，构建动态栅格图，包括：
[0014]对粒子进行预测，将已有的粒子根据合适的运动学模型预测当前的粒子在下一帧的位置和速度，包括在预测后计算每个粒子的新网格单元索引；
[0015]将粒子分配到栅格，根据网格单元索引对所有粒子进行排序，每个粒子检查它是具有相同索引的组的第一个还是最后一个粒子；如果是，则将其索引写入相应的网格单元中，对栅格占据状态进行预测与更新；
[0016]对持续存在的粒子进行更新，计算粒子相对于观测的似然函数，并根据似然函数调整粒子的权重，最后对权重归一化，不改变粒子的状态变量；对于单个粒子来说，新的权重等于旧的权重乘似然函数再进行归一化；
[0017]根据粒子的宏观统计状态变量输出栅格的速度信息，包括粒子的速度的加权和。
[0018]进一步，对栅格占据状态进行预测与更新，包括：
[0019]根据分配的粒子对占据情况进行预测计算，占据情况分为占据质量和空闲质量，以计算出占据概率；
[0020]将当前预测的栅格占据质量和下一帧传感器逆映射器观测得到的质量根据D
‑
S证据论结合，进行栅格的更新。
[0021]进一步，进行栅格级后融合包括：
[0022]将不同传感器实现的俯视图下的语义分割设为栅格级检测方法，不同的检测方法会各自接入栅格级跟踪器；
[0023]在跟踪器的输出层采用协方差交叉的融合方法对每个栅格的占据率和速度进行计算；协方差交叉方法的优化目标是求解一个最优的权重，以极小化性能指标，采用协方差的迹表征性能指标的选择，为融合后的协方差。
[0024]进一步，形成增强的可行驶空间认知，包括：
[0025]在360
°
方向上都密集采样最远可达点，将最远可达点连接起来形成全景的可行驶
空间认知；同时在当前帧的占据栅格图中采样，以及根据跟踪速度预测后一秒的预测占据栅格图中采样；
[0026]将现在和未来的可行驶区域取交集得到最终的可行驶区域；
[0027]生成可行驶区域后，建立每个栅格的虚拟斥力场，针对栅格代表的语义建立虚拟动能场，分析其潜在碰撞的可能性。
[0028]第二方面，本专利技术采取的技术方案为：一种栅格检测跟踪框架构建环境语义占据与速度场系统，其包括：第一处理模块，通过多种车载异构传感器，由神经网络的深度学习获取环境的完全语义分割地图；第二处理模块，在完全语义分割地图上进行栅格级跟踪，给定上游模块生成的细粒度语义鸟瞰图，对每个栅格的占据和速度进行建模，并将粒子分配到栅格中，进行粒子的更新本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种栅格检测跟踪框架构建环境语义占据与速度场方法，其特征在于，包括：通过多种车载异构传感器，由神经网络的深度学习获取环境的完全语义分割地图；在完全语义分割地图上进行栅格级跟踪，给定上游模块生成的细粒度语义鸟瞰图，对每个栅格的占据和速度进行建模，并将粒子分配到栅格中，进行粒子的更新；进行栅格级后融合，将细粒度的语义和速度信息融合，通过环境中每个栅格的语义，占据和速度的属性全面理解，形成增强的可行驶空间认知。2.如权利要求1所述栅格检测跟踪框架构建环境语义占据与速度场方法，其特征在于，多种车载异构传感器包括：毫米波雷达的点云通过传感器逆映射器形成栅格的速度先验，补充栅格跟踪滤波器在观测中的速度辅助信息；由高线数激光雷达输出稠密的点云信息，以对场景的无盲区完全理解；将车载多相机进行环视的安装，并进行深度估计，通过视角转换在鸟瞰图上分割物体和地面形成语义栅格，以对360
°
场景完全理解。3.如权利要求1所述栅格检测跟踪框架构建环境语义占据与速度场方法，其特征在于，在完全语义分割地图上进行栅格级跟踪，包括：将原始信息旋转到对齐大地坐标系，栅格和粒子不需要旋转操作；设定观测栅格，将目标检测中常见障碍物的栅格区域其感兴趣区域布尔值设置为真；在观测栅格中选择其中感兴趣区域内的栅格，布尔值为真的观测元素，平均分配新生成的粒子到每次观测的栅格中；如果粒子在预测和更新后对应的栅格已经离开感兴趣区域，则使这部分粒子消失，粒子权重变为零，对剩下的粒子的权重进行排序，最终消失的粒子数和新生成的粒子数是相等的设定的超参数；构建动态栅格图，对粒子和栅格进行预测与更新，实现栅格级跟踪。4.如权利要求3所述栅格检测跟踪框架构建环境语义占据与速度场方法，其特征在于，构建动态栅格图，包括：对粒子进行预测，将已有的粒子根据合适的运动学模型预测当前的粒子在下一帧的位置和速度，包括在预测后计算每个粒子的新网格单元索引；将粒子分配到栅格，根据网格单元索引对所有粒子进行排序，每个粒子检查它是具有相同索引的组的第一个还是最后一个粒子；如果是，则将其索引写入相应的网格单元中，对栅格占据状态进行预测与更新；对持续存在的粒子进行更新，计算粒子相对于观测的似然函数，并根据似然函数调整粒子的权重，最后对权重归一化，不改变粒子的状态变量；对于单个粒子来说，新的权重等于旧的权重乘似然函数再进行归一化；根据粒子的宏观统计状态变量输出栅格的速度信息，包括粒子的速度...

【专利技术属性】
技术研发人员：江昆，杨殿阁，施以宁，王云龙，杨蒙蒙，
申请(专利权)人：清华大学，
类型：发明
国别省市：