【技术实现步骤摘要】
本专利技术涉及目标跟踪，尤其涉及一种基于多模态信息融合的主动跟踪方法。
技术介绍
1、在计算机视觉研究领域中，目标追踪是一项极具挑战性的任务。一般意义上的目标跟踪是指在初始帧给定需要跟踪的目标，并在后续帧中持续输出该目标的位置。这种跟踪情况下一般都是假设相机固定，然后对相机视野内的运动目标进行跟踪。在这种假设下，目标很容易运动至相机视野外，或受到视野内其他物体遮挡，导致跟踪器很难再对目标进行准确跟踪和定位。而基于视觉的主动目标跟踪旨在根据视觉观测信息中的目标位置来实时调整相机位置和焦距，控制相机跟随着目标而移动，以确保目标一直处于相机视野内，具有重要的理论研究意义和实际应用价值。
2、以往的主动跟踪工作主要是将智能体感知到的视觉彩色图像输入卷积网络中得到当前时刻的状态表达，并送入到后续的强化学习网络中去。然而，这种由卷积网络提取状态表达的方法是比较耗时且效率低下的。一方面智能体可感知到的视觉信息除了彩色图像之外，还有深度图像，法线贴图等等多种模态的信息，这些多模态信息的有效融合可以为主动跟踪算法提供信息性更强的状态表达，能够...
【技术保护点】
1.一种基于多模态信息融合的主动跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤S1中，具体过程包括以下步骤：
3.根据权利要求1所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤S3中，所述多模态信息预处理模块由个CONV-MP-ReLU层叠加得到，使得该预处理模块能够对输入的各种模态数据信息进行初始的特征提取，将输入的彩色图像，深度图像和法线贴图三种数据信息尺寸调整为统一的大小，各模态下不同数据信息经过预处理后的初始特征分别为：，，；
4.根据权利...
【技术特征摘要】
1.一种基于多模态信息融合的主动跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤s1中，具体过程包括以下步骤：
3.根据权利要求1所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤s3中，所述多模态信息预处理模块由个conv-mp-relu层叠加得到，使得该预处理模块能够对输入的各种模态数据信息进行初始的特征提取，将输入的彩色图像，深度图像和法线贴图三种数据信息尺寸调整为统一的大小，各模态下不同数据信息经过预处理后的初始特征分别为：，，；
4.根据权利要求1所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤s4中，所述多模态信息融合模块包括预训练过程中的多模态信息融合模块和正式训练过程中的多模态信息融合模块，所述预训练过程中的多模态信息融合模块由直接加权融合网络构成，即预训练特征输出为：；
5.根据权利要求4所述的一种基于多模态信息融...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。