【技术实现步骤摘要】
一种基于多类感知特征预测障碍物状态和类别的处理方法
[0001]本专利技术涉及数据处理
，特别涉及一种基于多类感知特征预测障碍物状态和类别的处理方法。
技术介绍
[0002]当前常见的障碍物状态预测方式有两种：基于规则的状态预测方式和基于深度学习的状态预测方式；基于规则的预测方式类似使用卡尔曼滤波器通过建立观测
‑
状态方程组来对障碍物状态进行预测，基于深度学习的预测方式类似使用深度学习模型进行状态预测；相较于基于规则的预测方式而言，基于深度学习的预测方式实现更简单，但准确度较差。当前常见的障碍物分类预测方式有两种：基于点云的分类预测方式和基于图像的分类预测方式；前者容易出现类型识别率不高的问题，后者容易出现目标定位不准的问题。并且，目前常见的应用场景中，障碍物状态预测和障碍物类别预测并不能通过一个整体方案解决。因此，如何能通过一个整体解决方案来实现端到端的状态+类别同步预测并提高预测准确度，是本专利技术需要解决的问题。
技术实现思路
[0003]本专利技术的目的，就是针对现有技术的缺陷，提供一种基于多类感知特征预测障碍物状态和类别的处理方法、电子设备及计算机可读存储介质，对多类感知数据(激光雷达、毫米波雷达、相机等)的多类数据特征(基础数据特征、目标检测特征)进行特征融合，并构建一个目标状态理解和分类网络来进行端到端的状态+类别同步预测，再将融合特征输入该目标状态理解和分类网络进行预测从而得到障碍物的状态和类别预测结果。通过本专利技术，不但可以通过一个整体解决方案来实现端到端的
【技术保护点】
【技术特征摘要】
1.一种基于多类感知特征预测障碍物状态和类别的处理方法，其特征在于，所述方法包括：获取车载激光雷达、车载毫米波雷达和车载相机在最近第一时段T内的感知数据序列作为对应的第一激光雷达点云序列、第一毫米波雷达点云序列和第一图像序列；按预设的第一时间间隔
△
t将所述第一时段T均分为多个第一时间点，并将所述第一时间点的数量作为对应的时间点数量L；根据所述第一激光雷达点云序列、所述第一毫米波雷达点云序列、所述第一图像序列、所有所述第一时间点和所述时间点数量L进行多类感知源数据预处理得到对应的多类感知源时间特征张量集合和对应的多类感知源时间掩码张量；将所述多类感知源时间特征张量集合和所述多类感知源时间掩码张量输入预设的目标状态理解和分类网络进行障碍物目标状态预测和障碍物目标类别预测处理得到对应的第一障碍物预测数据集合；所述第一障碍物预测数据集合包括多个第一障碍物预测数据；所述第一障碍物预测数据包括第一障碍物状态数据和第一障碍物类型数据。2.根据权利要求1所述的基于多类感知特征预测障碍物状态和类别的处理方法，其特征在于，所述第一激光雷达点云序列包括多个第一激光雷达点云，每个所述第一激光雷达点云对应一个第一采样时间点；所述第一毫米波雷达点云序列包括多个第一毫米波雷达点云，每个所述第一毫米波雷达点云对应一个第二采样时间点；所述第一图像序列包括多个第一图像，每个所述第一图像对应一个第三采样时间点；所述多类感知源时间特征张量集合包括第一点云时间特征张量、第一点云目标时间特征张量、第二点云目标时间特征张量、第一图像时间特征张量和第一图像目标时间特征张量；所述第一点云时间特征张量的形状为B
×
L
×
F1，所述第一点云目标时间特征张量的形状为B
×
L
×
F2，所述第二点云目标时间特征张量的形状为B
×
L
×
F3，所述第一图像时间特征张量的形状为B
×
L
×
F4，所述第一图像目标时间特征张量的形状为B
×
L
×
F5；障碍物数量B≥1，特征维度F1、F2、F3、F4、F5≥1；所述多类感知源时间掩码张量的形状为B
×
L
×
N，感知源数量N默认为5；所述多类感知源时间掩码张量由所述感知源数量N的形状为B
×
L的时间掩码张量融合而成，分别为：第一点云时间掩码张量、第一点云目标时间掩码张量、第二点云目标时间掩码张量、第一图像时间掩码张量和第一图像目标时间掩码张量。3.根据权利要求2所述的基于多类感知特征预测障碍物状态和类别的处理方法，其特征在于，所述根据所述第一激光雷达点云序列、所述第一毫米波雷达点云序列、所述第一图像序列、所有所述第一时间点和所述时间点数量L进行多类感知源数据预处理得到对应的多类感知源时间特征张量集合和对应的多类感知源时间掩码张量，具体包括：根据所述第一激光雷达点云序列、所有所述第一时间点和所述时间点数量L进行激光雷达点云数据预处理得到对应的所述第一点云时间特征张量、所述第一点云目标时间特征张量、所述第一点云时间掩码张量和所述第一点云目标时间掩码张量；根据所述第一毫米波雷达点云序列、所有所述第一时间点和所述时间点数量L进行毫米波雷达点云数据预处理得到对应的所述第二点云目标时间特征张量和所述第二点云目
标时间掩码张量；根据所述第一图像序列、所有所述第一时间点和所述时间点数量L进行相机图像数据预处理得到对应的所述第一图像时间特征张量、所述第一图像目标时间特征张量、所述第一图像时间掩码张量和所述第一图像目标时间掩码张量；由得到的所述第一点云时间特征张量、所述第一点云目标时间特征张量、所述第二点云目标时间特征张量、所述第一图像时间特征张量和所述第一图像目标时间特征张量组成对应的所述多类感知源时间特征张量集合；并对得到的所述第一点云时间掩码张量、所述第一点云目标时间掩码张量、所述第二点云目标时间掩码张量、所述第一图像时间掩码张量和所述第一图像目标时间掩码张量进行张量融合生成对应的形状为B
×
L
×
N的所述多类感知源时间掩码张量；将得到的所述多类感知源时间特征张量集合和所述多类感知源时间掩码张量作为多类感知源数据预处理结果输出。4.根据权利要求3所述的基于多类感知特征预测障碍物状态和类别的处理方法，其特征在于，所述根据所述第一激光雷达点云序列、所有所述第一时间点和所述时间点数量L进行激光雷达点云数据预处理得到对应的所述第一点云时间特征张量、所述第一点云目标时间特征张量、所述第一点云时间掩码张量和所述第一点云目标时间掩码张量，具体包括：对所述第一激光雷达点云序列的各个所述第一激光雷达点云进行点云特征提取处理得到对应的形状为B
×
F1的第一点云特征张量；并对各个所述第一点云特征张量进行障碍物目标检测处理得到对应的形状为B
×
F2的第一点云目标特征张量；所述第一点云特征张量和所述第一点云目标特征张量都与所述第一采样时间点一一对应；初始化一个由所述时间点数量L的形状为B
×
F1的全零张量组成的张量序列作为对应的第一张量序列；并初始化一个由所述时间点数量L的形状为B
×
F2的全零张量组成的张量序列作为对应的第二张量序列；所述第一张量序列包括所述时间点数量L的第一张量；所述第一张量的形状为B
×
F1，所述第一张量为全零张量，所述第一张量与所述第一时间点一一对应；所述第二张量序列包括所述时间点数量L的第二张量；所述第二张量的形状为B
×
F2，所述第二张量为全零张量，所述第二张量与所述第一时间点一一对应；对所述第一张量序列的各个所述第一张量进行遍历；遍历时，将当前遍历的所述第一张量作为对应的当前张量，并将所述当前张量对应的所述第一时间点作为对应的当前时间点；并对所述当前时间点是否有匹配的所述第一采样时间点进行确认；若确认所述当前时间点有匹配的所述第一采样时间点，则将所述当前张量更新为该匹配的所述第一采样时间点对应的所述第一点云特征张量；遍历结束时，按设定张量形状B
×
L
×
F1对所述第一张量序列进行张量转换得到对应的所述第一点云时间特征张量；对所述第二张量序列的各个所述第二张量进行遍历；遍历时，将当前遍历的所述第二张量作为对应的当前张量，并将所述当前张量对应的所述第一时间点作为对应的当前时间点；并对所述当前时间点是否有匹配的所述第一采样时间点进行确认；若确认所述当前时间点有匹配的所述第一采样时间点，则将所述当前张量更新为该匹配的所述第一采样时间点对应的所述第一点云目标特征张量；遍历结束时，按设定张量形状B
×
L
×
F2对所述第二张量序列进行张量转换得到对应的所述第一点云目标时间特征张量；初始化两个形状为B
×
L的全零张量作为对应的所述第一点云时间掩码张量和所述第
一点云目标时间掩码张量；所述第一点云时间掩码张量包括所述时间点数量L的长度为所述障碍物数量B的第一列向量；所述第一点云目标时间掩码张量包括所述时间点数量L的长度为所述障碍物数量B的第二列向量；所述第一列向量和所述第二列向量都与所述第一时间点一一对应；对各个所述第一时间点进行遍历；遍历时，将当前遍历的所述第一时间点作为对应的当前时间点；并对所述当前时间点是否有匹配的所述第一采样时间点进行确认；若确认所述当前时间点有匹配的所述第一采样时间点，则将所述第一点云时间掩码张量中与所述当前时间点对应的所述第一列向量更新为全1列向量，并将所述第一点云目标时间掩码张量中与所述当前时间点对应的所述第二列向量更新为全1列向量；将得到的所述第一点云时间特征张量、所述第一点云目标时间特征张量、所述第一点云时间掩码张量和所述第一点云目标时间掩码张量作为激光雷达点云数据预处理结果输出。5.根据权利要求3所述的基于多类感知特征预测障碍物状态和类别的处理方法，其特征在于，所述根据所述第一毫米波雷达点云序列、所有所述第一时间点和所述时间点数量L进行毫米波雷达点云数据预处理得到对应的所述第二点云目标时间特征张量和所述第二点云目标时间掩码张量，具体包括：对所述第一毫米波雷达点云序列的各个所述第一毫米波雷达点云进行点云特征提取处理并基于提取特征进行障碍物目标检测处理得到对应的形状为B
×
F3的第二点云目标特征张量；所述第二点云目标特征张量与所述第二采样时间点一一对应；初始化一个由所述时间点数量L的形状为B
×
F3的全零张量组成的张量序列作为对应的第三张量序列；所述第三张量序列包括所述时间点数量L的第三张量；所述第三张量的形状为B
×
F3，所述第三张量为全零张量，所述第三张量与所述第一时间点一一对应；对所述第三张量序列的各个所述第三张量进行遍历；遍历时，将当前遍历的所述第三张量作为对应的当前张量，并将所述当前张量对应的所述第一时间点作为对应的当前时间点；并对所述当前时间点是否有匹配的所述第二采样时间点进行确认；若确认所述当前时间点有匹配的所述第二采样时间点，则将所述当前张量更新为该匹配的所述第二采样时间点对应的所述第二点云目标特征张量；遍历结束时，按设定张量形状B
×
L
×
F3对所述第三张量序列进行张量转换得到对应的所述第二点云目标时间特征张量；初始化一个形状为B
×
L的全零张量作为对应的所述第二点云目标时间掩码张量；所述第二点云目标时间掩码张量包括所述时间点数量L的长度为所述障碍物数量B的第三列向量；所述第三列向量与所述第一时间点一一对应；对各个所述第一时间点进行遍历；遍历时，将当前遍历的所述第一时间点作为对应的当前时间点；并对所述当前时间点是否有匹配的所述第二采样时间点进行确认；若确认所述当前时间点有匹配的所述第二采样时间点，则将所述第二点云目标时间掩码张量中与所述当前时间点对应的所述第三列向量更新为全1列向量；由得到的所述第二点云目标时间特征张量和所述第二点云目标时间掩码张量诸位毫米波雷达点云数据预处理结果输出。6.根据权利要求3所述的基于多类感知特征预测障碍物状态和类别的处理方法，其特征在于，所述根据所述第一图像序列、所有所述第一时间点和所述时间点数量L进行相机图
像数据预处理得到对应的所述第一图像时间特征张量、所述第一图像目标时间特征张量、所述第一图像时间掩码张量和所述第一图像目标时间掩码张量，具体包括：对所述第一图像序列的各个所述第一图像进行图像特征提取处理得到对应的形状为B
×
F4的第一图像特征张量；并对各个所述第一图像特征张量进行障碍物目标检测处理得到对应的形状为B
×
F5的第一图像目标特征张量；所述第一图像特征张量和所述第一图像目标特征张量都与所述第三采样时间点一一对应；初始化一个由所述时间点数量L的形状为B
×
F4的全零张量组成的张量序列作为对应的第四张量序列；并初始化一个由所述时间点数量L的形状为B
×
F5的全零张量组成的张量序列作为对应的第五张量序列；所述第四张量序列包括所述时间点数量L的第四张量；所述第四张量的形状为B
×
F4，所述第四张量为全零张量，所述第四张量与所述第一时间点一一对应；所述第五张量序列包括所述时间点数量L的第五张量；所述第五张量的形状为B
×
F5，所述第五张量为全零张量，所述第五张量与所述第一时间点一一对应；对所述第四张量序列的各个所述第四张量进行遍历；遍历时，将当前遍历的所述第四张量作为对应的当前张量，并将所述当前张量对应的所述第一时间点作为对应的当前时间点；并对所述当前时间点是否有匹配的所述第三采样时间点进行确认；若确认所述当前时间点有匹配的所述...
【专利技术属性】
技术研发人员：裴希哲，赵政，李经纬，柯岩，李占坤，张雨，
申请(专利权)人：苏州轻棹科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。