【技术实现步骤摘要】
本专利技术涉及三维点云跟踪，特别是涉及一种基于多级特征融合的三维点云视觉跟踪方法及系统。
技术介绍
1、本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
2、近几年，3d点云以其在解决场景理解、自动驾驶、机器人视觉等领域问题时的出色表现，迅速地激起了人们的广泛关注。在视觉跟踪领域的课题研究中，三维点云数据本身具有独特的几何特征，和二维的视觉跟踪相比，其以更高一维的优势性为目标跟踪中的对象提供了更精准的数据依据。不仅如此，在面对光照变化、外观变化和背景噪音等问题时，3d目标跟踪中独特的数据性质并不会受到影响。
3、但是，将三维点云数据应用至目标跟踪虽然克服了二维数据中一些缺点，却也不可避免的带来了稀疏性、无序性、不完整性和缺乏纹理特征等新挑战，无法提取到足够充分的特征信息，导致数据融合的不够完善，造成特征的丢失，影响三维点云视觉跟踪的精度。
技术实现思路
1、为了解决现有技术的不足，本专利技术提供了一种基于多级特征融合的三维点云视觉跟踪方法、系统、电子设备及计算机可读存储介质，通过在注意力中嵌入新的注意力，增强3d特征提取；使用交叉注意力将不同的点特征依照残差网络的方式互相融合，实现了模板帧与搜索帧中特征信息的深度融合，提高三维点云视觉跟踪的精度和鲁棒性。
2、第一方面，本专利技术提供了一种基于多级特征融合的三维点云视觉跟踪方法；
3、一种基于多级特征融合的三维点云视觉跟踪方法，包括：
4、获取模板
5、使用交叉注意力将对应不同层次的点特征依照残差网络的方式相互融合，获取融合的深度特征；
6、根据融合的深度特征进行粗预测，获取粗预测结果；
7、根据粗预测结果、特征提取操作的最终输出和融合的深度特征进行精细化预测，获取精细化预测结果。
8、进一步的，所述对模板帧和搜索帧并行执行结合点注意力嵌入的特征提取操作具体具体为：
9、将模板帧和搜索帧输入并行的特征提取网络进行特征提取；
10、其中，所述特征提取网络包括多层抽样模块，每层抽样模块中均分别嵌入点注意力嵌入模块。
11、优选的，抽样模块对模板帧或搜索帧进行处理具体为：通过抽样层对模板帧或搜索帧进行特征提取，获取点特征并输入点注意力嵌入模块进行处理。
12、进一步优选的，点注意力嵌入模块对点特征进行处理具体包括：
13、将点特征输入外嵌入点注意力模块进行处理，获取到对应的查询向量、键向量和值向量，进行线性变化和l2范式操作，并计算查询向量和键向量的余弦相似度；
14、将查询向量和键向量的余弦相似度输入内嵌入注意力模块，进行线性变化和l2范式操作，并执行余弦相似处理，以实现对点云数据的深度筛选。
15、优选的，并行的所述特征提取网络之间权重参数共享。
16、进一步的，所述使用交叉注意力将对应不同层次的点特征依照残差网络的方式相互融合具体为：
17、将模板帧和搜索帧分别对应的不同层次的点特征通过对应的交叉注意力模块依次融合，获取多个融合特征；
18、其中，以最后一层的交叉注意力模块为基础，将其余交叉注意力模块以残差网络连接。
19、进一步的，所述根据粗预测结果、特征提取操作的最终输出和融合的深度特征进行精细化预测具体包括：
20、对模板帧对应特征提取操作的最终输出和粗预测结果执行点偏移操作，获取点偏移量；
21、根据搜索帧对应特征提取操作的最终输出、融合的深度特征和点偏移量进行精细化预测，获取精细化预测结果。
22、第二方面，本专利技术提供了一种基于多级特征融合的三维点云视觉跟踪系统；
23、一种基于多级特征融合的三维点云视觉跟踪系统，包括：
24、特征提取模块，被配置为：获取模板帧和搜索帧，对所述模板帧和所述搜索帧并行执行结合点注意力嵌入的特征提取操作，分别获取对应不同层次的点特征；
25、深度融合模块，被配置为：使用交叉注意力将对应不同层次的点特征依照残差网络的方式相互融合，获取融合的深度特征；
26、预测模块，被配置为：根据融合的深度特征进行粗预测，获取粗预测结果；根据粗预测结果、特征提取操作的最终输出和融合的深度特征进行精细化预测，获取精细化预测结果。
27、第三方面，本专利技术提供了一种电子设备；
28、一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述基于多级特征融合的三维点云视觉跟踪方法的步骤。
29、第四方面，本专利技术提供了一种计算机可读存储介质；
30、一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于多级特征融合的三维点云视觉跟踪方法的步骤。
31、与现有技术相比，本专利技术的有益效果是：
32、1、本专利技术提供的技术方案，在使用pointnet++进行特征提取的过程中，将外嵌入点注意力模块嵌入每层的抽象层中，并在该模块中再次嵌入内嵌入注意力模块，使得点注意力获取到的相关性信息更具有判别性，减少了嘈杂的、错误的点注意力相关性的影响，提高三维点云视觉跟踪的精度和鲁棒性。
33、2、本专利技术提供的技术方案，针对特征融合模块设计点注意力加强模块，在模板帧和搜索帧通过点注意力嵌入模块对相应的特征进行筛选和加强之后，通过交叉注意力获取最后两层特征信息并进行互相融合，使用残差网络对其连接，以实现特征信息深度融合的要求。
34、3、本专利技术提供的技术方案，为保证预测的准确性，将经过点注意力加强处理过的数据作为预测模块的输入，实现目标的精准预测并达到最终鲁棒性跟踪的要求。
本文档来自技高网...【技术保护点】
1.基于多级特征融合的三维点云视觉跟踪方法，其特征在于，包括：
2.如权利要求1所述的基于多级特征融合的三维点云视觉跟踪方法，其特征在于，所述对模板帧和搜索帧并行执行结合点注意力嵌入的特征提取操作具体具体为：
3.如权利要求2所述的基于多级特征融合的三维点云视觉跟踪方法，其特征在于，抽样模块对模板帧或搜索帧进行处理具体为：通过抽样层对模板帧或搜索帧进行特征提取，获取点特征并输入点注意力嵌入模块进行处理。
4.如权利要求3所述的基于多级特征融合的三维点云视觉跟踪方法，其特征在于，点注意力嵌入模块对点特征进行处理具体包括：
5.如权利要求2所述的基于多级特征融合的三维点云视觉跟踪方法，其特征在于，并行的所述特征提取网络之间权重参数共享。
6.如权利要求1所述的基于多级特征融合的三维点云视觉跟踪方法，其特征在于，所述使用交叉注意力将对应不同层次的点特征依照残差网络的方式相互融合具体为：
7.如权利要求1所述的基于多级特征融合的三维点云视觉跟踪方法，其特征在于，所述根据粗预测结果、特征提取操作的最终输出和融合的深度特
8.基于多级特征融合的三维点云视觉跟踪系统，其特征在于，包括：
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.基于多级特征融合的三维点云视觉跟踪方法，其特征在于，包括：
2.如权利要求1所述的基于多级特征融合的三维点云视觉跟踪方法，其特征在于，所述对模板帧和搜索帧并行执行结合点注意力嵌入的特征提取操作具体具体为：
3.如权利要求2所述的基于多级特征融合的三维点云视觉跟踪方法，其特征在于，抽样模块对模板帧或搜索帧进行处理具体为：通过抽样层对模板帧或搜索帧进行特征提取，获取点特征并输入点注意力嵌入模块进行处理。
4.如权利要求3所述的基于多级特征融合的三维点云视觉跟踪方法，其特征在于，点注意力嵌入模块对点特征进行处理具体包括：
5.如权利要求2所述的基于多级特征融合的三维点云视觉跟踪方法，其特征在于，并行的所述特征提取网络之间权重参数共享。
6.如...
【专利技术属性】
技术研发人员：郭文，丁昕苗，李志杰，梁卜文，李雷，
申请(专利权)人：山东工商学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。