【技术实现步骤摘要】
本专利技术涉及目标跟踪，尤其涉及一种基于多模态信息融合的主动跟踪方法。
技术介绍
1、在计算机视觉研究领域中，目标追踪是一项极具挑战性的任务。一般意义上的目标跟踪是指在初始帧给定需要跟踪的目标，并在后续帧中持续输出该目标的位置。这种跟踪情况下一般都是假设相机固定，然后对相机视野内的运动目标进行跟踪。在这种假设下，目标很容易运动至相机视野外，或受到视野内其他物体遮挡，导致跟踪器很难再对目标进行准确跟踪和定位。而基于视觉的主动目标跟踪旨在根据视觉观测信息中的目标位置来实时调整相机位置和焦距，控制相机跟随着目标而移动，以确保目标一直处于相机视野内，具有重要的理论研究意义和实际应用价值。
2、以往的主动跟踪工作主要是将智能体感知到的视觉彩色图像输入卷积网络中得到当前时刻的状态表达，并送入到后续的强化学习网络中去。然而，这种由卷积网络提取状态表达的方法是比较耗时且效率低下的。一方面智能体可感知到的视觉信息除了彩色图像之外，还有深度图像，法线贴图等等多种模态的信息，这些多模态信息的有效融合可以为主动跟踪算法提供信息性更强的状态表达，能够更加精确地描述当前状态，从而加快强化学习的训练，提升训练效果。另一方面，多模态信息融合后的特征形式也对后续的强化学习网络训练也至关重要，对融合后的特征进行正则化约束能够进一步提升强化学习的训练效率和效果。
3、在计算机视觉和强化学习研究领域中，主动跟踪是一项极具挑战性的新兴任务，以往的主动跟踪算法多数没有充分利用智能体获取的多模态数据信息，且也没有对融合后的特征进行进一步的约束，难以达
技术实现思路
1、针对现有技术的不足，本专利技术提供了一种基于多模态信息融合的主动跟踪方法，解决了传统主动跟踪方法没有充分利用智能体获取的多模态数据信息，且也没有对融合后的特征进行进一步的约束导致训练效率较低和跟踪效果较差的问题，该方法构造一个具有多模态信息融合机制的特征提取融合网络以及一个具有信息融合正则化约束的强化学习框架网络来进行训练和测试。该方法利用智能体所获取的多模态信息进行融合来更精确地描述当前状态，同时增加对融合后特征的约束来提升强化学习算法训练效率，在训练效率和跟踪精度上取得了理想的效果。
2、为解决上述技术问题，本专利技术提供了如下技术方案：一种基于多模态信息融合的主动跟踪方法，包括以下步骤：
3、s1、在基于ue框架的主动跟踪虚拟环境中，获取跟踪智能体视角下的各种模态的数据信息，包括彩色图像，深度图像和法线贴图三种数据信息；
4、s2、构造一个具有多模态信息融合机制的特征提取融合网络fefnet,该网络包括多模态信息预处理模块和多模态信息融合模块；
5、s3、将s1中的三种数据信息输入多模态信息预处理模块中得到三种数据信息的初始特征、、；
6、s4、多模态信息融合模块采用预训练和正式训练的两阶段的训练方式对三种数据信息的初始特征、、进行特征融合，得到预训练特征输出和正式训练特征输出；
7、s5、构造一个具有信息融合正则化约束的强化学习ac框架网络racnet，将正式训练特征输出输入该网络中，输出对应预测的执行动作。
8、进一步地，在步骤s1中，具体过程包括以下步骤：
9、s11、在基于ue框架的主动跟踪虚拟环境中，设置两个具有移动功能的智能体，分别为跟踪智能体与目标智能体，以上两个智能体均在环境中由设定好的程序来控制移动；
10、s12、通过虚拟环境中的交互代码，实时获取跟踪智能体视角下的各种模态的数据信息，即彩色图像，深度图像和法线贴图三种数据形式。
11、进一步地，在步骤s3中，所述多模态信息预处理模块由个conv-mp-relu层叠加得到，使得该预处理模块能够对输入的各种模态数据信息进行初始的特征提取，将输入的彩色图像，深度图像和法线贴图三种数据信息尺寸调整为统一的大小，各模态下不同数据信息经过预处理后的初始特征分别为：，，；
12、其中，表示conv-mp-relu层，即conv卷积层，maxpooling最大池化层与relu激活层的串联组合，则表示个conv-mp-relu层叠加。
13、进一步地，在步骤s4中，所述多模态信息融合模块包括预训练过程中的多模态信息融合模块和正式训练过程中的多模态信息融合模块，所述预训练过程中的多模态信息融合模块由直接加权融合网络构成，即预训练特征输出为：；
14、其中，，和为各模态所对应的权重；
15、所述正式训练过程中的多模态信息融合模块由映射编码结构构成，即正式训练特征输出为：
16、；
17、；
18、其中，表示深度图片信息与法线贴图信息所融合的特征，表示矩阵转置操作，表示矩阵相乘操作，表示层，表示层，表示归一化操作，表示对结果进行线性映射操作。
19、进一步地，在步骤s4中，多模态信息融合模块采用预训练和正式训练的两阶段的训练方式，具体包括：在训练阶段1中，本专利技术使用训练网络结构为多模态信息预处理模块、多模态信息融合模块和强化学习网络racnet相结合的形式，首先训练出合适的多模态信息预处理模块；在训练阶段2中，首先预加载阶段1中得到的合适的多模态信息预处理模块参数作为训练阶段2的多模态信息预处理模块，且该训练网络结构中的多模态信息融合模块被替换为形式进行阶段2的训练。
20、进一步地，在步骤s5中，构造一个具有信息融合正则化约束的强化学习ac框架网络racnet，具体包括：对多模态信息融合模块中的正式训练特征输出进行双项正则化约束，即对的奇异矩阵及其奇异值进行约束，其对应的奇异矩阵约束为：
21、；
22、其中，和分别为奇异矩阵最大和最小的奇异值，和分别为双项正则化约束所对应的权重，通过对奇异矩阵及其奇异值进行约束，可以使提取的特征越能够更好的对当前的状态进行表征，从而提高模型的性能；
23、在强化学习ac框架的基础上，增加了双项正则化约束后的强化学习算法损失函数，其表示为：
24、；
25、其中，和为强化学习ac框架下的actor网络和critic网络对应的损失函数，则是对的双项正则化约束项所对应的损失函数，，和为各项损失所对应的权重。
26、进一步地，在步骤s5中，输出对应预测的执行动作，具体包括以下步骤：
27、s51、将实时获取的数据信息依次输入至特征提取融合网络fefnet和具有信息融合正则化约束的强化学习ac框架网络racnet中，输出对应预测的执行动作；
28、s52、根据得到的动作指令，去实时调整跟踪智能体的动作方向，使得跟踪智能体能够根据当前视角下目标智能体的位置而进行动作调整，从而进行精确的主动目标跟踪；
29、s53、重复上述所有步骤，直至目标智能体在跟踪智能体视本文档来自技高网...
【技术保护点】
1.一种基于多模态信息融合的主动跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤S1中，具体过程包括以下步骤：
3.根据权利要求1所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤S3中，所述多模态信息预处理模块由个CONV-MP-ReLU层叠加得到，使得该预处理模块能够对输入的各种模态数据信息进行初始的特征提取，将输入的彩色图像，深度图像和法线贴图三种数据信息尺寸调整为统一的大小，各模态下不同数据信息经过预处理后的初始特征分别为：，，；
4.根据权利要求1所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤S4中，所述多模态信息融合模块包括预训练过程中的多模态信息融合模块和正式训练过程中的多模态信息融合模块，所述预训练过程中的多模态信息融合模块由直接加权融合网络构成，即预训练特征输出为：；
5.根据权利要求4所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤S4中，多模态信息融合模块采用预训练和正式训练的两阶段的训练方式，具体包
6.根据权利要求1所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤S5中，构造一个具有信息融合正则化约束的强化学习AC框架网络RACNet，具体包括：对多模态信息融合模块中的正式训练特征输出进行双项正则化约束，即对的奇异矩阵及其奇异值进行约束，其对应的奇异矩阵约束为：
7.根据权利要求1所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤S5中，输出对应预测的执行动作，具体包括以下步骤：
...【技术特征摘要】
1.一种基于多模态信息融合的主动跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤s1中，具体过程包括以下步骤：
3.根据权利要求1所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤s3中，所述多模态信息预处理模块由个conv-mp-relu层叠加得到，使得该预处理模块能够对输入的各种模态数据信息进行初始的特征提取，将输入的彩色图像，深度图像和法线贴图三种数据信息尺寸调整为统一的大小，各模态下不同数据信息经过预处理后的初始特征分别为：，，；
4.根据权利要求1所述的一种基于多模态信息融合的主动跟踪方法，其特征在于，在步骤s4中，所述多模态信息融合模块包括预训练过程中的多模态信息融合模块和正式训练过程中的多模态信息融合模块，所述预训练过程中的多模态信息融合模块由直接加权融合网络构成，即预训练特征输出为：；
5.根据权利要求4所述的一种基于多模态信息融...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。