融合多视角图像和三维点云的目标跟踪方法及装置制造方法及图纸

本发明专利技术公开了融合多视角图像和三维点云的目标跟踪方法及装置，该方法包括：首先融合多视角多模态数据预测出场景中目标的三维位置，然后利用三维检测结果获得目标的三维空间信息和多视角图像中的目标外观特征，计算匹配分数矩阵，最终得到精准的三维目标跟踪结果。本发明专利技术使用当前物体的外观特征和历史待恢复轨迹的外观特征匹配进行轨迹修复。本发明专利技术的三维目标跟踪方法可以极大消除单一模态跟踪结果中轨迹交换、目标丢失等问题，获得准确度高、连续性好、鲁棒性强的目标长时期跟踪轨迹，为场景感知和安防监控提供便利。场景感知和安防监控提供便利。场景感知和安防监控提供便利。

【技术实现步骤摘要】
融合多视角图像和三维点云的目标跟踪方法及装置


[0001]本专利技术涉及计算机视觉感知
，特别是涉及融合多视角图像和三维点云的目标跟踪方法及装置。

技术介绍

[0002]在三维视觉领域中，精确的三维目标检测和跟踪是进行场景视觉感知与分析的基础。近年来自动驾驶、场景监控等领域的火热发展对高精度的目标跟踪算法提出了迫切的需求，所以三维目标跟踪已经成为计算机视觉中最值得关注的研究方向。检测跟踪任务以传感器的原始数据作为输入，输出准确的目标位置和跟踪id，是路径规划等后续环节的基础，也是整个系统必不可少的部分。面对精确三维定位和跟踪的需求，深度相机或多相机传感器精度低，定位距离近，而且受光照影响很大。激光雷达具有距离远、精度高、稳定性强的特点，不过激光雷达也存在价格较高、点云稀疏、目标缺少纹理特征的缺点。已有的三维目标跟踪技术，基于单一模态的传感器输入直接得到目标的跟踪轨迹，其结果受到所使用的单一传感器的缺陷限制，很难在复杂多样的场景中得到高质量的跟踪结果。因此，融合二维图像和三维点云的多模态数据可以消除单一传感器的缺点，增强跟踪技术的鲁棒性，很大程度提高跟踪结果的精度。
[0003]在已有的三维目标跟踪技术中，仍然存在以下的局限性和不足：基于多视角图像的三维跟踪技术通过识别图像得到二维的目标检测结果，进而依赖标定好的多相机系统，利用对极几何约束计算得到目标的三维位置，最终匹配连接，得到三维的目标跟踪轨迹。由于标定误差和遮挡影响，基于多视角图像的技术很难得到目标精确的三维位置，同时缺少空间位置信息，目标相互遮挡的情况很容易导致跟踪丢失，id匹配出错。基于三维点云的三维跟踪技术利用激光雷达采集高精度的点云数据，获取目标精准的三维检测结果，计算三维空间上的匹配分数矩阵，连接得到三维的跟踪轨迹。由于点云数据的稀疏性，目标缺少纹理特征，依赖于目标的几何位置进行匹配分数计算和轨迹生成，在多个目标在三维空间中聚集时，容易导致跟踪id的交换。
[0004]随着三维成像系统的不断发展，基于传统单一模态的数据采集系统的目标跟踪技术已经不能满足鲁棒高精度跟踪的需要。

技术实现思路

[0005]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006]为此，本专利技术提出一种融合多视角图像和三维点云的目标跟踪方法。本专利技术整体分为两个阶段，第一阶段融合多视角图像和三维点云数据进行三维目标检测，第二阶段基于检测目标的空间信息和外观特征匹配连接输出目标跟踪轨迹。在第一阶段中，本专利技术同时输入场景中多个视角的二维图像和三维点云，进行特征提取和融合。对于二维图像，利用二维特征提取网络分别获得来自多个视角的图像特征，再根据不同的相机参数将特征图投影到三维鸟瞰图进行拼接融合，从而得到多视角融合二维特征图；对于三维点云，将来自不
同视角激光雷达的点云进行时空配准后直接融合，得到多角度稠密点云，再利用三维特征提取网络获得点云特征图。将二维特征图和点云特征图按照空间位置拼接融合后得到多模态特征图，再通过一个检测器得到精准的三维检测结果，作为第二阶段的输入。在第二阶段中，本专利技术利用第一阶段的检测结果进行匹配连接得到最终的跟踪轨迹。本专利技术计算三维空间中目标检测框的交并比作为目标在空间上的关系度量。进一步，为了融合多模态的特征，本专利技术使用三维目标检测框，投影至输入的多视角二维图像，得到二维图像上目标区域，并提取目标在二维图像上的外观特征，计算不同目标间的外观特征的余弦距离，作为目标在外观特征上的关系度量。对于两个关系度量矩阵进行融合后，本专利技术使用匹配算法对检测框进行匹配连接，输出最终目标的跟踪轨迹。对于离开场景或者严重遮挡的目标物体，检测算法可能会出现漏检，导致跟踪轨迹的断裂。此类目标在场景中被重新识别时，本专利技术使用当前物体的外观特征和历史待恢复轨迹的外观特征匹配进行轨迹修复，提高轨迹完整性。
[0007]本专利技术的另一个目的在于提出一种融合多视角图像和三维点云的目标跟踪装置。
[0008]为达上述目的，本专利技术一方面提出一种融合多视角图像和三维点云的目标跟踪方法，包括：
[0009]基于多视角的二维图像和三维点云分别得到二维特征图和点云特征图；
[0010]将二维特征图和点云特征图融合后得到的多模态特征图，输入至预训练的多模态融合目标检测模型进行检测得到目标检测框；其中，所述目标检测框包括目标轨迹的三维目标检测结果；
[0011]根据目标检测框与历史时刻的轨迹跟踪结果的检测框对比结果得到空间位置匹配矩阵，以及对目标轨迹与历史时刻的轨迹跟踪结果的二维图像特征进行计算得到外观特征匹配矩阵，聚合空间位置匹配矩阵和外观特征匹配矩阵得到最终关系度量矩阵；
[0012]基于最终关系度量矩阵和预设的匹配算法对所述三维目标检测结果与历史时刻的轨迹跟踪结果进行匹配，根据匹配结果得到当前时刻目标轨迹的跟踪轨迹结果。
[0013]另外，根据本专利技术上述实施例的融合多视角图像和三维点云的目标跟踪方法还可以具有以下附加的技术特征：
[0014]进一步地，在本专利技术的一个实施例中，所述基于多视角的二维图像和三维点云分别得到二维特征图和点云特征图，包括：获取多视角的二维图像和三维点云；利用图像处理网络提取所述多视角的二维图像得到初始特征图，根据不同的相机参数将初始特征图投影到三维鸟瞰图进行拼接融合，以得到多视角融合的二维特征图；以及，利用点云处理网络将所述三维点云进行时空配准后融合得到多角度稠密点云，并对所述多角度稠密点云进行特征提取得到点云特征图。
[0015]进一步地，在本专利技术的一个实施例中，所述点云处理网络包括特征提取网络和骨干网络；所述骨干网络包括第一子网络和第二子网络；所述图像处理网络包括卷积神经网络，所述方法，还包括：将所述多视角的三维点云输入所述特征提取网络进行点云转换得到伪图像，将所述伪图像输入所述第一子网络进行不同空间分辨率特征图的特征提取；将所述不同空间分辨率特征图提取的特征输入所述第二子网络进行反卷积操作后并串联得到所述点云特征图；以及，将所述多视角的二维图像输入所述卷积神经网络计算多通道特征图，利用多通道特征图的投影变换进行多相机信息聚合，以将多通道特征图投影到三维鸟
瞰图进行拼接融合得到所述二维特征图。
[0016]进一步地，在本专利技术的一个实施例中，所述方法，还包括：获取多模态特征图的样本数据，利用所述多样本数据进行目标检测框的数据标注，利用标注好的数据训练所述多模态融合目标检测模型；将待进行轨迹跟踪的二维图像和三维点云输入至训练好的多模态融合目标检测模型进行目标轨迹检测，得到每个预测时刻的三维目标检测结果。
[0017]进一步地，在本专利技术的一个实施例中，所述方法，还包括：根据当前时刻三维目标检测结果的检测框几何信息和历史时刻匹配得到的轨迹跟踪结果中的检测框几何信息进行匹配分数计算，以得到所述空间位置匹配矩阵；将三维目标检测框投影至所述多视角的二维图像，并进行目标轨迹与历史时刻的轨迹跟踪结果的外观特征余弦距离计算得到外观特征匹配矩阵；以及，对所述空间位置匹配矩阵和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合多视角图像和三维点云的目标跟踪方法，其特征在于，包括以下步骤：基于多视角的二维图像和三维点云分别得到二维特征图和点云特征图；将二维特征图和点云特征图融合后得到的多模态特征图，输入至预训练的多模态融合目标检测模型进行检测得到目标检测框；其中，所述目标检测框包括目标轨迹的三维目标检测结果；根据目标检测框与历史时刻的轨迹跟踪结果的检测框对比结果得到空间位置匹配矩阵，以及对目标轨迹与历史时刻的轨迹跟踪结果的二维图像特征进行计算得到外观特征匹配矩阵，聚合空间位置匹配矩阵和外观特征匹配矩阵得到最终关系度量矩阵；基于最终关系度量矩阵和预设的匹配算法对所述三维目标检测结果与历史时刻的轨迹跟踪结果进行匹配，根据匹配结果得到当前时刻目标轨迹的跟踪轨迹结果。2.根据权利要求1所述的方法，其特征在于，所述基于多视角的二维图像和三维点云分别得到二维特征图和点云特征图，包括：获取多视角的二维图像和三维点云；利用图像处理网络提取所述多视角的二维图像得到初始特征图，根据不同的相机参数将初始特征图投影到三维鸟瞰图进行拼接融合，以得到多视角融合的二维特征图；以及，利用点云处理网络将所述三维点云进行时空配准后融合得到多角度稠密点云，并对所述多角度稠密点云进行特征提取得到点云特征图。3.根据权利要求2所述的方法，其特征在于，所述点云处理网络包括特征提取网络和骨干网络；所述骨干网络包括第一子网络和第二子网络；所述图像处理网络包括卷积神经网络，所述方法，还包括：将所述多视角的三维点云输入所述特征提取网络进行点云转换得到伪图像，将所述伪图像输入所述第一子网络进行不同空间分辨率特征图的特征提取；将所述不同空间分辨率特征图提取的特征输入所述第二子网络进行反卷积操作后并串联得到所述点云特征图；以及，将所述多视角的二维图像输入所述卷积神经网络计算多通道特征图，利用多通道特征图的投影变换进行多相机信息聚合，以将多通道特征图投影到三维鸟瞰图进行拼接融合得到所述二维特征图。4.根据权利要求1所述的方法，其特征在于，所述方法，还包括：获取多模态特征图的样本数据，利用所述多样本数据进行目标检测框的数据标注，利用标注好的数据训练所述多模态融合目标检测模型；将待进行轨迹跟踪的二维图像和三维点云输入至训练好的多模态融合目标检测模型进行目标轨迹检测，得到每个预测时刻的三维目标检测结果。5.根据权利要求4所述的方法，其特征在于，所述方法，还包括：根据当前时刻三维目标检测结果的检测框几何信息和历史时刻匹配得到的轨迹跟踪结果中的检测框几何信息进行匹配分数计算，以得到所述空间位置匹配矩阵；将三维目标检测框投影至所述多视角的二维图像，并进行目标轨迹与历史时刻的轨迹跟踪结果的外观特征余弦距离计算得到外观特征匹配矩阵；以及，对所述空间位置匹配矩阵和所述外观特征匹配矩阵进行相加融合，得到当前时刻目标与历史时刻的轨迹跟踪结果匹配的最终关系度量矩阵。
6.一种融合多视角图像和三维点云的目标...

【专利技术属性】
技术研发人员：冯建江，张猛，郭文轩，
申请(专利权)人：清华大学，
类型：发明
国别省市：