一种基于多模态信息融合的三维单目标跟踪方法技术

本发明专利技术提供一种基于多模态信息融合的三维单目标跟踪方法，首先实现原始图像和激光点云的空间对齐；其次基于深度学习方法构建双流特征提取网络，并行提取图像与点云的高维语义特征；随后通过自注意力机制加权模态内的重要信息，并利用交叉注意力机制构建不同模态间的语义联系；然后基于语义增强特征计算纹理和几何相似度，并利用注意力机制生成多模态相似度特征；最后采用多层卷积结构预测目标空间位置与朝向。本发明专利技术旨在于充分利用多源传感器异构数据的互补优势，并借助深度学习中的注意力机制自适应融合图像纹理信息和点云几何特征，生成更为鲁棒的多模态特征，以精准回归跟踪目标的三维坐标及朝向，提升三维目标跟踪器的鲁棒性、准确性。准确性。

【技术实现步骤摘要】
一种基于多模态信息融合的三维单目标跟踪方法


[0001]本专利技术属于三维点云单目标跟踪
，具体涉及一种基于多模态信息融合的三维单目标跟踪方法。

技术介绍

[0002]近年来，随着人工智能技术的快速发展，机器人、自动驾驶汽车等智能装备逐步出现在大众视野内，并成为中国制造的新战略方向，而这些智能产品的安全、稳定运行都离不开环境感知技术。环境感知主要是指利用相机、激光雷达、超声波等传感器获取全方位的环境状态数据，并通过计算机处理器与智能算法提取其中最关键的语义信息，如附近车辆、行人的位置与尺寸，而这些信息能够为智能系统的决策和控制环节提供至关重要的数据支持，以保证系统的可靠运行。
[0003]近年来，深度学习领域的快速兴起，同样极大促进了三维目标跟踪算法的发展，许多研究者尝试将深度学习方法应用于目标跟踪，并取得卓有成效的成果，相比于传统算法，深度学习提取的高维特征更适用于匹配目标，从而实现鲁棒的目标跟踪。但现有的三维目标跟踪算法大多继承二维跟踪算法的孪生网络结构，并依赖点云提供的几何信息构建相似度，这导致跟踪器难以区分结构相似的物体，而图像所具备的纹理信息能够有效解决该问题，例如：借助外貌、服饰等纹理特征能够区分两个几何结构相似的人，因此可以考虑借助深度学习方法实现多模态数据的深度融合，以解决复杂环境中跟踪器易于失效的问题。
[0004]中国专利“CN114862911A一种基于图卷积的三维点云单目标跟踪方法”提出一种基于图卷积的三维点云单目标跟踪方法。该专利技术对现有的三维单目标跟踪方法P2B进行改进，首先将模板和搜索点云作为网络输入，其次对点云进行降采样并提取种子点特征，随后再利用图卷积模块融合全局与局部特征，并将模板线索编码至搜索区域中，最后将编码模板信息的种子点输入霍夫投票模块，实现在搜索区域中定位跟踪目标，并生成其三维目标框。该技术方案中采用激光雷达作为感知环境状态的传感器，虽然雷达所采集的点云数据能够描述物体的几何轮廓，但由于点云具有稀疏性和无序性，因此在远距离、遮挡等情况下，点云所表征的物体是不完整的，进而容易造成跟踪器性能的急剧下降。此外，由于该方案仅依靠点云的几何信息，因此当目标和背景的几何结构相似时，跟踪器将难以分辨目标。即该方法易发生目标混淆与丢失问题，难以保证在复杂场景中具备良好的跟踪性能。
[0005]中国专利“CN111091582A一种基于深度神经网络的单视觉目标跟踪算法及系统”提出一种基于深度神经网络的单视觉目标跟踪算法及系统，该专利技术首先在图像序列的初始帧中指定跟踪目标，并给定其位置和尺寸的先验信息，其次在后续帧中采用共享权重的卷积网络提取目标模板与搜索区域特征，最后通过卷积和前景
‑
背景区分网络回归目标框高度、宽度以及中心位置。此外，该专利技术提出尺寸调节模块，能够根据目标大小动态调节搜索区域的裁剪大小，从而适应不同尺寸、不同运动特点的目标。该方法中采用图像作为唯一数据来源，虽然图像具备丰富的纹理信息，但易受光照、天气等环境因素的影响，因此图像跟踪器不具备全天候运行的能力。此外，由于图像缺乏物体的三维信息，导致图像跟踪器只能
实现二维平面中的目标跟踪，但在机器人和自动驾驶领域的跟踪任务中，相比于估计目标在图像平面中的位置变化，人们更希望能够捕获目标在三维空间中的运动轨迹，因此图像跟踪器的应用场景十分有限。

技术实现思路

[0006]基于上述问题，本专利技术一种基于多模态信息融合的三维单目标跟踪方法，旨在充分利用多源传感器异构数据的互补优势，并借助深度学习中的注意力机制自适应融合图像纹理信息和点云几何特征，生成更为鲁棒的多模态特征，以精准回归跟踪目标的三维坐标及朝向，解决此前点云跟踪器难以区分结构相似物体的问题，提升网络对远距离目标的跟踪能力，并缓解点云稀疏及遮挡问题对跟踪性能造成的影响，最终提升三维目标跟踪器的鲁棒性、准确性。此外，将图像与低线数的激光雷达数据作为系统输入，并提供鲁棒的跟踪结果，从而避免依赖昂贵的高线数雷达实现跟踪，有利于降低车辆的生产成本，以促进自动驾驶产品快速落地并带来客观的经济效益。
[0007]一种基于多模态信息融合的三维单目标跟踪方法，包括：
[0008]步骤1：对不同传感器采集到的图像和点云数据进行空间对齐；包括：
[0009]步骤1.1：依据相机内外参将点云投影至图像平面；
[0010]步骤1.2：将点云深度赋予至对应像素；
[0011]步骤1.3：将像素反投影至三维空间，从而生成具备图像纹理信息且与原始点云坐标系对齐的伪点云；
[0012]步骤2：基于深度学习方法构建双流特征提取网络，实现不同网络分支并行提取伪点云与点云的高维语义特征；包括：
[0013]步骤2.1：提取伪点云的纹理特征；包括：
[0014]步骤2.1.1：针对步骤1获取的伪点云，对模板伪点云和搜索伪点云均应用最远点采样算法进行点云降采样，分别获得Q个点作为关键点；
[0015]步骤2.1.2：针对步骤2.1.1中获取的模板伪点云和搜索伪点云，以Q个关键点为中心，对半径R内的点进行KNN(K最邻近法)聚类，再使用MLP(多层感知机)网络将聚类后的点特征聚合至关键点中；
[0016]步骤2.1.3：重复应用最远点采样、KNN聚类、MLP网络，使关键点数量降低到N，输出包含N个点的模板点集及搜索点集其中每个s
i
由一个三维坐标向量c
i
和一个表征物体局部纹理信息的C维描述子f
i
组成，即s
i
＝(c
i
,f
i
)；
[0017]步骤2.2：提取真实点云的几何特征，包括：
[0018]步骤2.2.1：针对真实点云，将模板点云和搜索点云进行体素化处理，将其转化为稠密的体素表示；
[0019]步骤2.2.2：针对模板点云和搜索点云分别采用三维稀疏卷积网络提取体素中点云的几何特征，生成模板点云的三维体素特征搜索点云的三维体素特征式中，W、L、H、C表示对应张量的维度；
[0020]步骤2.2.3：针对三维体素特征分别进行高度通道与特征通道的合并，以
输出更为稠密的BEV(鸟瞰图)特征其中c
′
＝H
×
C；
[0021]步骤3：结合自注意力和交叉注意力实现多模态特征的交互与增强；包括：
[0022]步骤3.1：通过自注意力机制构建模态内的长距离依赖关系，学习不同特征的重要程度并对特征进行加权；
[0023]步骤3.2：通过交叉注意力构建不同模态的语义联系，实现不同模态的信息能够强化同一语义对象的特征，从而生成更为鲁棒的多模态语义特征；
[0024]步骤4：基于注意力机制的跨模态建模能力融合图像像素与点云数据的相似度；包括：
[0025]步骤4.1：对搜索点云和模板点云的语义增强特征采用逐像素的余弦相似度计算函数，生成几何相似度S
geo
∈R
W
×本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态信息融合的三维单目标跟踪方法，其特征在于，包括：步骤1：对不同传感器采集到的图像和点云数据进行空间对齐；步骤2：基于深度学习方法构建双流特征提取网络，实现不同网络分支并行提取伪点云与点云的高维语义特征；步骤3：结合自注意力和交叉注意力实现多模态特征的交互与增强；步骤4：基于步骤3生成的语义增强特征，计算图像的纹理相似度和点云的几何相似度，并借助交叉注意力融合两类相似度特征，以生成多模态相似度；步骤5：依据多模态相似度特征S
′
fus
，采用多层卷积结构预测目标空间位置与朝向。2.根据权利要求1所述的一种基于多模态信息融合的三维单目标跟踪方法，其特征在于，所述步骤1包括：步骤1.1：依据相机内外参将点云投影至图像平面；步骤1.2：将点云深度赋予至对应像素；步骤1.3：将像素反投影至三维空间，从而生成具备图像纹理信息且与原始点云坐标系对齐的伪点云。3.根据权利要求1所述的一种基于多模态信息融合的三维单目标跟踪方法，其特征在于，所述步骤2包括：步骤2.1：提取伪点云的纹理特征；步骤2.2：提取真实点云的几何特征。4.根据权利要求3所述的一种基于多模态信息融合的三维单目标跟踪方法，其特征在于，所述步骤2.1包括：步骤2.1.1：针对步骤1获取的伪点云，对模板伪点云和搜索伪点云均应用最远点采样算法进行点云降采样，分别获得Q个点作为关键点；步骤2.1.2：针对步骤2.1.1中获取的模板伪点云和搜索伪点云，以Q个关键点为中心，对半径R内的点进行KNN聚类，再使用MLP网络将聚类后的点特征聚合至关键点中；步骤2.1.3：重复应用最远点采样、KNN聚类、MLP网络，使关键点数量降低到N，输出包含N个点的模板点集及搜索点集其中每个s
i
由一个三维坐标向量c
i
和一个表征物体局部纹理信息的C维描述子f
i
组成，即s
i
＝(c
i
,f
i
)。5.根据权利要求3所述的一种基于多模态信息融合的三维单目标跟踪方法，其特征在于，所述步骤2.2包括：步骤2.2.1：针对真实点云，将模板点云和搜索点云进行体素化处理，将其转化为稠密的体素表示；步骤2...

【专利技术属性】
技术研发人员：方正，林雨，李智恒，崔宇波，李硕，
申请(专利权)人：东北大学，
类型：发明
国别省市：