交通参与者的轨迹追踪方法、装置及介质制造方法及图纸

本发明专利技术公开了一种交通参与者的轨迹追踪方法、装置及介质，所述方法包括：基于图像数据和点云数据进行目标检测，以获得交通参与者的语义信息；基于所述图像数据进行车牌识别，以获得车牌信息；对所述语义信息和所述车牌信息进行数据处理和匹配，以获得交通参与者的融合信息；基于所述融合信息进行多目标追踪，以获得交通参与者的身份标识和轨迹。本发明专利技术结合语义信息和车牌信息进行多目标追踪，可以利用更多维度的信息，保证追踪结果更加准确。保证追踪结果更加准确。保证追踪结果更加准确。

【技术实现步骤摘要】
交通参与者的轨迹追踪方法、装置及介质


[0001]本专利技术涉及智能交通
，具体涉及一种交通参与者的轨迹追踪方法、装置及介质。

技术介绍

[0002]轨迹追踪是计算机视觉领域的一项关键技术，在自动驾驶、智能监控、行为识别等方面应用广泛。对交通参与者进行检测与跟踪，在进行交通管理以减少安全事故以及确定走失儿童的方位和活动轨迹等方面具有重要意义。
[0003]在轨迹跟踪领域中，目前的主流方法分为两类：基于几何追踪的方法和基于模型预测的方法。基于几何追踪的方法较为代表性的是纯跟踪算法，需要对纯追踪控制器进行调整，即对调整系数调优。基于模型预测的方法较为代表性的是深度学习模型，根据交通参与者过去的轨迹数据预测他们未来的轨迹。
[0004]在进行多目标轨迹跟踪时，既要面对在单目标跟踪中存在的遮挡、变形、运动模糊、拥挤场景、快速运动、光照变化、尺度变化等挑战，还要面对如轨迹的初始化与终止、相似目标间的相互干扰等复杂问题。
[0005]因此，有必要研究一种更加准确高效的多目标追踪方法。

技术实现思路

[0006]本专利技术的主要目的在于提供一种交通参与者的轨迹追踪方法、装置及介质，以解决追踪结果的准确性不足的问题。
[0007]根据本专利技术的一个方面，提出一种交通参与者的轨迹追踪方法，包括：基于图像数据和点云数据进行目标检测，以获得交通参与者的语义信息；基于所述图像数据进行车牌识别，以获得车牌信息；对所述语义信息和所述车牌信息进行数据处理和匹配，以获得交通参与者的融合信息；基于所述融合信息进行多目标追踪，以获得交通参与者的身份标识和轨迹。
[0008]根据本专利技术的一个实施例，所述语义信息包括：车辆的位置、形状。
[0009]根据本专利技术的一个实施例，所述对所述语义信息和所述车牌信息进行数据处理，包括：对所述语义信息和所述车牌信息进行以下处理中的一种或多种：数据清洗、图像分辨率对齐、时间戳对齐。
[0010]根据本专利技术的一个实施例，所述对所述语义信息和所述车牌信息进行匹配，包括：计算车牌中心点和车辆检测框中心点的欧几里得距离作为代价矩阵；基于所述代价矩阵进行匈牙利算法匹配，将所述车牌信息分配给代价最小的语义信息，以获得所述融合信息。
[0011]根据本专利技术的一个实施例，所述基于所述融合信息进行多目标追踪，获得多个交
通参与者的身份标识和轨迹，包括：对所述融合信息进行处理，以获得三维边界框和车牌数据；基于所述三维边界框，确定重叠度代价矩阵；基于所述车牌数据，确定车牌符合度代价矩阵；对所述重叠度代价矩阵和所述车牌符合度代价矩阵进行加权求和，以获得最终代价矩阵；使用卡尔曼滤波模型进行预测，并基于所述最终代价矩阵使用匈牙利算法将预测后的追踪数据和当前帧的检测数据进行匹配，以及根据匹配结果更新卡尔曼滤波模型参数。
[0012]根据本专利技术的一个实施例，所述基于所述三维边界框，确定重叠度代价矩阵，包括：计算前后两帧的三维边界框的重叠度填充代价矩阵。
[0013]根据本专利技术的一个实施例，所述基于所述车牌数据，确定车牌符合度代价矩阵，包括：计算前后两帧的车牌的最长公共子序列占比并和车牌置信度求乘积填充代价矩阵。
[0014]根据本专利技术的另一方面，提出一种交通参与者的轨迹追踪装置，包括：目标检测单元，配置为基于图像数据和点云数据进行目标检测，以获得交通参与者的语义信息；车牌识别单元，配置为基于所述图像数据进行车牌识别，以获得车牌信息；数据处理和匹配单元，配置为对所述语义信息和所述车牌信息进行数据处理和匹配，以获得交通参与者的融合信息；多目标追踪单元，配置为基于所述融合信息进行多目标追踪，以获得交通参与者的身份标识和轨迹。
[0015]根据本专利技术的一个实施例，所述数据处理和匹配单元配置为：计算车牌中心点和车辆检测框中心点的欧几里得距离作为代价矩阵；基于所述代价矩阵进行匈牙利算法匹配，将所述车牌信息分配给代价最小的语义信息，以获得所述融合信息。
[0016]根据本专利技术的另一方面，提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如以上任一实施例所述的方法。
[0017]在根据本专利技术的实施例的交通参与者的轨迹追踪方法、装置及介质中，结合语义信息和车牌信息进行多目标追踪，可以利用更多维度的信息，保证追踪结果更加准确。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1示出根据本专利技术实施例的交通参与者的轨迹追踪方法的流程图；
图2示出图1的方法中对语义信息和车牌信息进行数据处理和匹配的流程图；图3示出图1的方法中基于融合信息进行多目标追踪的流程图；图4示出根据本专利技术实施例的交通参与者的轨迹追踪装置的示意图。
具体实施方式
[0020]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0021]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。
[0022]图1示出根据本专利技术实施例的交通参与者的轨迹追踪方法的流程图，如图1所示，所述方法包括：基于图像数据和点云数据进行目标检测，以获得交通参与者的语义信息；基于所述图像数据进行车牌识别，以获得车牌信息；对所述语义信息和所述车牌信息进行数据处理和匹配，以获得交通参与者的融合信息；基于所述融合信息进行多目标追踪，以获得交通参与者的身份标识和轨迹。
[0023]在一些实施例中，可以基于路侧相机获取所述图像数据并基于雷达设备获取所述点云数据。可以将所述图像数据和所述点云数据输入目标检测模型中，以获得交通参与者的语义信息。本专利技术结合图像数据和点云数据进行目标检测，从而可以基于更加丰富的感知数据来获得更加准确的语义信息。图像数据和点云数据可以相互补充，例如，当处于夜间环境时，图像数据可能不够准确，此时可以从点云数据获得补充的信息。在本专利技术的实施例中，所述语义信息包括：车辆的位置、形状。此外，可以将所述图像数据输入车牌识别模型中，以获得所述车牌信息。在一些实施例中，可以对所述图像数据和所述点云数据中所有的交通参与者进行追踪。
[0024]在本专利技术的实施例中，在语义信息的基础上结合车牌信息进行多目标追踪，可以利用更多维度的信息，保证追踪结果更加准确。专利技术人意识到，如果仅基于语义信息来进行目标跟踪，有可能获得断开的追踪轨迹。本专利技术通过结合车牌信息，可以进行长距离的目标追踪，得到的车辆行驶轨迹较为完整。
[0025]图2示出图1的方法中对语义信息和车牌信息进行数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交通参与者的轨迹追踪方法，其特征在于，包括：基于图像数据和点云数据进行目标检测，以获得交通参与者的语义信息；基于所述图像数据进行车牌识别，以获得车牌信息；对所述语义信息和所述车牌信息进行数据处理和匹配，以获得交通参与者的融合信息；基于所述融合信息进行多目标追踪，以获得交通参与者的身份标识和轨迹。2.根据权利要求1所述的方法，其特征在于，所述语义信息包括：车辆的位置、形状。3.根据权利要求1所述的方法，其特征在于，所述对所述语义信息和所述车牌信息进行数据处理，包括：对所述语义信息和所述车牌信息进行以下处理中的一种或多种：数据清洗、图像分辨率对齐、时间戳对齐。4.根据权利要求1所述的方法，其特征在于，所述对所述语义信息和所述车牌信息进行匹配，包括：计算车牌中心点和车辆检测框中心点的欧几里得距离作为代价矩阵；基于所述代价矩阵进行匈牙利算法匹配，将所述车牌信息分配给代价最小的语义信息，以获得所述融合信息。5.根据权利要求1所述的方法，其特征在于，所述基于所述融合信息进行多目标追踪，获得多个交通参与者的身份标识和轨迹，包括：对所述融合信息进行处理，以获得三维边界框和车牌数据；基于所述三维边界框，确定重叠度代价矩阵；基于所述车牌数据，确定车牌符合度代价矩阵；对所述重叠度代价矩阵和所述车牌符合度代价矩阵进行加权求和，以获得最终代价矩阵；使用卡尔曼滤波模型进行预测，并基于所述最终代价矩阵使用匈...

【专利技术属性】
技术研发人员：闫帅，于壮，
申请(专利权)人：天翼交通科技有限公司，
类型：发明
国别省市：