一种基于时空自适应注意力的3D多目标跟踪方法技术

本发明专利技术公开了一种基于时空自适应注意力的3D多目标跟踪方法，方法包括：获取目标场景下的2D多源数据和3D多源数据，对2D多源数据进行图像特征提取，获取图像特征，并对3D多源数据进行点云特征提取，获取点云特征；将所述图像特征和所述点云特征进行特征融合，得到融合特征；根据所述融合特征确定目标场景内每个对象的检测状态；根据所述检测状态，提取检测对象和预测对象之间的协作特征；根据所述协作特征对目标场景内的对象检测和跟踪状态进行实时更新。本发明专利技术能够有效地获得更好的跟踪性能并减少推理时间，可广泛应用于计算机技术领域。域。域。

【技术实现步骤摘要】
一种基于时空自适应注意力的3D多目标跟踪方法


[0001]本专利技术涉及计算机
，尤其是一种基于时空自适应注意力的3D多目标跟踪方法。

技术介绍

[0002]多目标跟踪广泛应用于无人机、智能驾驶车辆、视觉监控以及其他领域。并且对于自动驾驶汽车而言，实现准确的实时三维多目标跟踪系统可以帮助他们更智能地了解和感知环境。然而，依赖现有单模态(带有相机或LiDAR系统)数据的多目标跟踪算法无法有效集成从图像中提取到的纹理信息和从点云数据中提取到的空间结构信息。基于上述方面，一些研究表明，与单模态感知系统相比，多模态数据融合技术可以提高感知任务的可信度和能力，以提高整个自动驾驶系统的活力、可靠性和鲁棒性。此外，多模态感知系统也可以扩展时间和空间覆盖，提高实时性能和信息利用率。
[0003]在现有3D多目标追踪算法中，对于逐检测跟踪机制，只有在设计得当的对象检测模块的情况下，才能避免点云数据中跟踪目标的ID切换和漂移现象。然而，联合跟踪检测机制可以协作地使用学习检测和跟踪模块。通过相互约束和优化这两个模块可以找到检测和跟踪模块之间的平衡关键性，以实现更好的跟踪性能。LSTM算法和基于检测跟踪相关矩阵是常用于匹配时空系列中的检测和跟踪对象的方法。虽然LSTM算法已经证实可以较好地处理时空数据，可以分析时间序列任务作为一种典型的计时序列处理方法。尽管如此，它仍然需要大量的校准数据集以低推断效率地去训练，这使得满足实时系统的需求具有挑战性。因此，受数据限制，总是采用基于计算检测跟踪相关矩阵的方法将检测到的目标与预测的目标关联起来进行跟踪任务。然而，一些基于检测
‑
跟踪相关的方法往往会天真地结合检测对象和预测对象的特征，无法仅根据检测对象的特征智能实现数据关联。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种基于时空自适应注意力的3D多目标跟踪方法，以有效地获得更好的跟踪性能并减少推理时间。
[0005]本专利技术实施例的一方面提供了一种基于时空自适应注意力的3D多目标跟踪方法，包括：
[0006]获取目标场景下的2D多源数据和3D多源数据，对2D多源数据进行图像特征提取，获取图像特征，并对3D多源数据进行点云特征提取，获取点云特征；
[0007]将所述图像特征和所述点云特征进行特征融合，得到融合特征；
[0008]根据所述融合特征确定目标场景内每个对象的检测状态；
[0009]根据所述检测状态，提取检测对象和预测对象之间的协作特征；
[0010]根据所述协作特征对目标场景内的对象检测和跟踪状态进行实时更新。
[0011]可选地，所述对2D多源数据进行图像特征提取，获取图像特征，包括：
[0012]将所述2D多源数据输入到图像提取网络；
[0013]通过所述图像提取网络中的卷积来提取所述2D多源数据中的图像深层纹理特征；
[0014]将提取到的所述图像深层纹理特征链接，得到二维融合特征张量；
[0015]其中，所述图像提取网络包括四个图像提取器块；所述图像提取器块包括第一卷积层、批量归一化层、校正线性单元层和第二卷积层。
[0016]可选地，所述对3D多源数据进行点云特征提取，获取点云特征，包括：
[0017]将所述3D多源数据输入点云提取网络；
[0018]通过所述点云提取网络中的编码器和解码器获取所述3D多源数据中的3D融合特征；
[0019]其中，所述编码器由四个集合抽象块组成，所述解码器由四个特征传播块组成。
[0020]可选地，所述将所述图像特征和所述点云特征进行特征融合，得到融合特征，包括：
[0021]在所述图像特征和所述点云特征的特征张量的矢量化上使用共享加权多层感知层，将对应的矢量化特征张量逐元素相加；
[0022]可以通过全连接层和Sigmoid函数获得加权映射，得到加权2D特征；
[0023]将3D点云特征和加权2D特征的元素级进行连接，计算最终融合特征。
[0024]可选地，所述根据所述融合特征确定目标场景内每个对象的检测状态，包括：
[0025]根据所述最终融合特征，使用区域提议网络将背景和注意检测对象分离；
[0026]通过映射函数获得对象的最佳3D边界框；其中，所述映射函数包括平移映射函数和缩放映射函数；
[0027]根据所述最佳3D边界框，通过检测模块获得目标场景内每个对象的检测状态。
[0028]可选地，所述根据所述检测状态，提取检测对象和预测对象之间的协作特征，包括：
[0029]通过时空目标单一性注意力模块获取预测对象与历史跟踪对象之间的相关性信息；
[0030]采用自适应计算机制来获得两个相邻帧之间每个对象的相关张量；
[0031]根据所述相关性信息和所述相关张量，使用2层感知器来统一重识别，确定每个检测对象的唯一标识，得到检测对象和预测对象之间的协作特征。
[0032]可选地，所述根据所述协作特征对目标场景内的对象检测和跟踪状态进行实时更新，包括：
[0033]根据类特殊亲和力度量来计算检测对象和预测对象之间的亲和力矩阵；
[0034]根据所述亲和力矩阵，从对象检测置信度和对象管理概率共同优化目标场景内的对象，并通过类特殊来约束对象之间的关联，完成对对象检测和跟踪状态的更新。
[0035]本专利技术实施例的另一方面还提供了一种基于时空自适应注意力的3D多目标跟踪装置，包括：
[0036]第一模块，用于获取目标场景下的2D多源数据和3D多源数据，对2D多源数据进行图像特征提取，获取图像特征，并对3D多源数据进行点云特征提取，获取点云特征；
[0037]第二模块，用于将所述图像特征和所述点云特征进行特征融合，得到融合特征；
[0038]第三模块，用于根据所述融合特征确定目标场景内每个对象的检测状态；
[0039]第四模块，用于根据所述检测状态，提取检测对象和预测对象之间的协作特征；
[0040]第五模块，用于根据所述协作特征对目标场景内的对象检测和跟踪状态进行实时更新。
[0041]本专利技术实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
[0042]所述存储器用于存储程序；
[0043]所述处理器执行所述程序实现如前面所述的方法。
[0044]本专利技术实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
[0045]本专利技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
[0046]本专利技术的实施例获取目标场景下的2D多源数据和3D多源数据，对2D多源数据进行图像特征提取，获取图像特征，并对3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空自适应注意力的3D多目标跟踪方法，其特征在于，包括：获取目标场景下的2D多源数据和3D多源数据，对2D多源数据进行图像特征提取，获取图像特征，并对3D多源数据进行点云特征提取，获取点云特征；将所述图像特征和所述点云特征进行特征融合，得到融合特征；根据所述融合特征确定目标场景内每个对象的检测状态；根据所述检测状态，提取检测对象和预测对象之间的协作特征；根据所述协作特征对目标场景内的对象检测和跟踪状态进行实时更新。2.根据权利要求1所述的一种基于时空自适应注意力的3D多目标跟踪方法，其特征在于，所述对2D多源数据进行图像特征提取，获取图像特征，包括：将所述2D多源数据输入到图像提取网络；通过所述图像提取网络中的卷积来提取所述2D多源数据中的图像深层纹理特征；将提取到的所述图像深层纹理特征链接，得到二维融合特征张量；其中，所述图像提取网络包括四个图像提取器块；所述图像提取器块包括第一卷积层、批量归一化层、校正线性单元层和第二卷积层。3.根据权利要求1所述的一种基于时空自适应注意力的3D多目标跟踪方法，其特征在于，所述对3D多源数据进行点云特征提取，获取点云特征，包括：将所述3D多源数据输入点云提取网络；通过所述点云提取网络中的编码器和解码器获取所述3D多源数据中的3D融合特征；其中，所述编码器由四个集合抽象块组成，所述解码器由四个特征传播块组成。4.根据权利要求1所述的一种基于时空自适应注意力的3D多目标跟踪方法，其特征在于，所述将所述图像特征和所述点云特征进行特征融合，得到融合特征，包括：在所述图像特征和所述点云特征的特征张量的矢量化上使用共享加权多层感知层，将对应的矢量化特征张量逐元素相加；可以通过全连接层和Sigmoid函数获得加权映射，得到加权2D特征；将3D点云特征和加权2D特征的元素级进行连接，计算最终融合特征。5.根据权利要求4所述的一种基于时空自适应注意力的3D多目标跟踪方法，其特征在于，所述根据所述融合特征确定目标场景内每个对象的检测状态，包括：根据所述最终融合特征，使用区域提议网络...

【专利技术属性】
技术研发人员：张晓飞，谭晓军，范正平，陈泽松，安亚松，
申请(专利权)人：中山大学，
类型：发明
国别省市：