一种用于无人配送车的3D目标追踪方法技术

本发明专利技术提供一种用于无人配送车的3D目标追踪方法，具体包括：将点云数据和图像数据输入3D检测器进行获取t时刻的3D检测目标，通过目标轨迹预测器预测t

【技术实现步骤摘要】
一种用于无人配送车的3D目标追踪方法


[0001]本专利技术涉及无人配送车的3D目标追踪领域，特别是涉及一种用于无人配送车的3D目标追踪方法。

技术介绍

[0002]随着智能汽车的迅速发展，辅助驾驶是智能汽车的标配功能，在ADAS(高级辅助驾驶)中，多目标跟踪是一个非常关键的问题，通过识别车身前方的多个目标，预测多个目标的运动轨迹，从而采取相应的路径规划和决策，控制汽车行驶。因此多目标跟踪算法在无人车整体系统中起着“承上启下”的作用，是最核心的技术。但是现阶段，3D多目标仍然存在较多问题，一是计算量大，而是在检测目标与跟踪目标检测过程仅考虑目标中心点之间距离或者考虑检测目标与预测目标的3D IOU进行重叠，造成算法在一些场景下识别准确率低。

技术实现思路

[0003]基于现有技术中存在的缺陷，本专利技术提供一种用于无人配送车的3D目标追踪方法，至少包括：
[0004]获取车身前方的点云数据和图像数据，将点云数据和图像数据输入3D目标检测器进行检测，获取t时刻的3D检测目标；
[0005]获取t
‑
1时刻的3D的追踪目标，通过目标轨迹预测器预测t
‑
1时刻的3D追踪目标运动到t时刻轨迹，获取t时刻的3D虚目标；
[0006]利用匹配器将t时刻的3D检测目标与3D虚目标进行匹配，获取t时刻3D的追踪目标；
[0007]其中，匹配器的匹配具体包括：获取t时刻3D检测目标与3D虚目标距离相似度、特征相似度和3D检测目标与3D虚目标的类别差异因子；
[0008]若类别差异因子为1和特征相似度小于预设第一相似度阈值，获取3D检测目标与3D虚目标中所有对应的距离相似度，选择距离相似度最小3D检测目标与3D虚目标为匹配对。
[0009]一种用于无人配送车的3D目标追踪方法，进一步地，t时刻，当满足条件3D检测目标的数量与3D虚目标的数量不一致时，若存在任一个3D检测目标与多个不同的3D虚目标匹配成功或存在任一个3D虚目标与多个不同的3D检测目标匹配成功；
[0010]查询所有匹配对对应的特征相似度，然后选择特征相似度最大的匹配对为最终3D检测目标与3D虚目标对应的匹配对。
[0011]一种用于无人配送车的3D目标追踪方法，进一步地，若3D检测目标与3D虚目标的类别差异因子为0，则认为不匹配；
[0012]若3D检测目标与3D虚目标的相似度小于预设第一相似度阈值，则认为不匹配；若相似度距离大于预设第二相似度阈值时，则认为不匹配。
[0013]一种用于无人配送车的3D目标追踪方法，至少包括：
[0014]获取车身前方的点云数据和图像数据，将点云数据和图像数据输入3D目标检测器进行检测，获取t时刻的3D检测目标；
[0015]获取t
‑
1时刻的3D的追踪目标，通过目标轨迹预测器预测t
‑
1时刻的3D追踪目标运动到t时刻轨迹，获取t时刻的3D虚目标；
[0016]利用匹配器将t时刻的3D检测目标与3D虚目标进行匹配，获取t时刻3D的追踪目标；
[0017]其中，匹配器的匹配具体包括：获取t时刻3D检测目标与3D虚目标距离相似度、3D检测目标与3D虚目标的类别差异因子；
[0018]若类别差异因子为1，将距离相似度、通过t时刻3D检测器提取的3D检测目标的特征和t
‑
1时刻3D检测器提取3D追踪目标的特征输入线性神经网络进行训练，判断3D检测目标与3D虚目标是否匹配。
[0019]一种用于无人配送车的3D目标追踪方法，进一步地，t时刻，通过线性神经网络预测出每个3D检测目标与所有的3D虚目标的概率值，获取概率值最大的匹配对为最终的匹配对。
[0020]一种用于无人配送车的3D目标追踪方法，进一步地，t时刻，当满足条件3D检测目标的数量与3D虚目标的数量不一致时，若存在任一个3D检测目标与多个不同的3D虚目标匹配成功或存在任一个3D虚目标与多个不同的3D检测目标匹配成功；
[0021]在多个匹配对中，选取概率值最大的匹配对为最终的匹配对。
[0022]一种用于无人配送车的3D目标追踪方法，进一步地，在线性神经网络中的训练中，分别将距离相似度、t时刻3D检测器提取的3D检测目标的特征和t
‑
1时刻3D检测器提取3D追踪目标的特征输入线性神经网络输入，然后将二者的输入结果进行拼接后输入通过包含有全连接层、随机节点放弃层、Sigmoid层的神经网络；
[0023]神经网络损失函数采用二分类的BECloss函数。
[0024]一种用于无人配送车的3D目标追踪方法，进一步地，线性神经网络采用包括第一子网络、第二子网络和预测子网络，其中，第一子网络用于对t时刻的3D检测目标和t
‑
1时刻的3D追踪目标特征提取；
[0025]第二子网络用于提取t时刻的3D检测目标与3D虚目标的距离相似度的特征提取；
[0026]将第一子网络和第二子网络的输出结果进行拼接后作为预测子网络的输入；
[0027]预测子网络用于根据输入结果进行运算后回归出目标结果。
[0028]一种用于无人配送车的3D目标追踪方法，进一步地，激光雷达的点云数据与车载以太网的摄像头拍摄的图像的位置进行匹配对应，具体包括：
[0029]采用棋盘格方法获取标定矩阵对输入点云进行剪裁，利用标定矩阵将每个点p(x,y,z)投影到图像平面上，只保留图像平面内的点，使得激光雷达和摄像头两个传感器数据具有相同的视场范围，投影公式为：
[0030][0031]其中，K是摄像头的内参标定矩阵，R和t是描述激光雷达和摄像头位置之间的旋转矩阵和平移向量，(u,v)则是点p(x,y,z)对应的图像坐标。
[0032]一种用于无人配送车的3D目标追踪方法，进一步地，激光雷达的帧数据与摄像头的帧数据进行时间同步，具体包括：
[0033]根据gPTP协议分别计算车载以太网摄像头和激光雷达到自动驾驶主机的时间延迟和频率偏移；
[0034]根据各自的时间延迟和频率偏移对车载以太网摄像头和激光雷达进行时间同步校准；
[0035]以自动驾驶主机接收到的激光雷达发送的点云数据的时间点为参考基准，获取最接近当前激光雷达的点云数据对应时间的前一帧图像数据和后一帧图像数据，通过线性插值法，获得配准后的图像数据，并给配准后的图像数据标记上当前的参考时间戳。
[0036]一种用于无人配送车的3D目标追踪方法，进一步地，3D检测目标与3D虚目标的特征相似度计算如下；
[0037][0038]v和ω分别是来来自3D检测目标和3D虚目标的特征向量，l为向量的维度。
[0039]一种用于无人配送车的3D目标追踪方法，进一步地，3D检测目标与3D虚目标的距离相似度d
i,j
计算如下：
[0040][0041]其中，d
i
表示第i个3D检测目标的状态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于无人配送车的3D目标追踪方法，其特征在于，至少包括：获取车身前方的点云数据和图像数据，将点云数据和图像数据输入3D目标检测器进行检测，获取t时刻的3D检测目标；获取t
‑
1时刻的3D的追踪目标，通过目标轨迹预测器预测t
‑
1时刻的3D追踪目标运动到t时刻轨迹，获取t时刻的3D虚目标；利用匹配器将t时刻的3D检测目标与3D虚目标进行匹配，获取t时刻3D的追踪目标；其中，匹配器的匹配具体包括：获取t时刻3D检测目标与3D虚目标距离相似度、特征相似度和3D检测目标与3D虚目标的类别差异因子；若类别差异因子为1和特征相似度小于预设第一相似度阈值，获取3D检测目标与3D虚目标中所有对应的距离相似度，选择距离相似度最小3D检测目标与3D虚目标为匹配对。2.如权利要求1所述一种用于无人配送车的3D目标追踪方法，其特征在于，t时刻，当满足条件3D检测目标的数量与3D虚目标的数量不一致时，若存在任一个3D检测目标与多个不同的3D虚目标匹配成功或存在任一个3D虚目标与多个不同的3D检测目标匹配成功；查询所有匹配对对应的特征相似度，然后选择特征相似度最大的匹配对为最终3D检测目标与3D虚目标对应的匹配对。3.如权利要求1所述一种用于无人配送车的3D目标追踪方法，其特征在于，若3D检测目标与3D虚目标的类别差异因子为0，则认为不匹配；若3D检测目标与3D虚目标的相似度小于预设第一相似度阈值，则认为不匹配；若相似度距离大于预设第二相似度阈值时，则认为不匹配。4.一种用于无人配送车的3D目标追踪方法，其特征在于，至少包括：获取车身前方的点云数据和图像数据，将点云数据和图像数据输入3D目标检测器进行检测，获取t时刻的3D检测目标；获取t
‑
1时刻的3D的追踪目标，通过目标轨迹预测器预测t
‑
1时刻的3D追踪目标运动到t时刻轨迹，获取t时刻的3D虚目标；利用匹配器将t时刻的3D检测目标与3D虚目标进行匹配，获取t时刻3D的追踪目标；其中，匹配器的匹配具体包括：获取t时刻3D检测目标与3D虚目标距离相似度、3D检测目标与3D虚目标的类别差异因子；若类别差异因子为1，将距离相似度、通过t时刻3D检测器提取的3D检测目标的特征和t
‑
1时刻3D检测器提取3D追踪目标的特征输入线性神经网络进行训练，判断3D检测目标与3D虚目标是否匹配。5.如权利要求4所述一种用于无人配送车的3D目标追踪方法，其特征在于，t时刻，通过线性神经网络预测出每个3D检测目标与所有的3D虚目标的概率值，获取概率值最大的匹配对为最终的匹配对。6.如权利要求4所述一种用于无人配送车的3D目标追踪方法，其特征在于，t时刻，当满足条件3D检测目标的数量与3D虚目标的数量不一致时，若存在任一个3D检测目标与多个不同的3D虚目标匹配成功或存在任一个3D虚目标与多个不同的3D检测目标匹配成功；在多个匹配对中，选取概率值最大的匹配对为最终的匹配对。7.如权利要求4所述一种用于无人配送车的3D目标追踪方法，其特征在于，在线性神经网络中的训练中，分别将距离相似度、t时刻3D检测器提取的3D检测目标的特征和t
‑
1时刻
3D检测器提取的3D追踪目标的特征输入线性神经网络，然后将二者的输入结果进行拼接后输入通过包含有全连接层、随机节点放弃层、Sigmoid层的神经网...

【专利技术属性】
技术研发人员：肖文平，何敖东，
申请(专利权)人：上海赫千电子科技有限公司，
类型：发明
国别省市：