通过模态感知特征学习的跨模态目标跟踪方法及系统技术方案

本发明专利技术提供一种通过模态感知特征学习的跨模态目标跟踪方法及系统；在VGG网络原有基础上增加了一个模态感知模块，以自适应地合并来自两个分支的有效特性；开发了一个两阶段的学习算法，以训练该网络的效率和有效性。在培训阶段，任意模态的训练样本的分类损失将被反向传播到两个模态分支。模态信息在训练阶段是可用的，在测试阶段是不可用的；使用一个两阶段的学习算法来有效地训练所提出的网络，重新训练最后的全连接层，模态感知融合模块来自适应的合并来自两个分支的有效特性，将任意模态作为输入以解决RGB和近红外模态之间的外观差距。

【技术实现步骤摘要】
通过模态感知特征学习的跨模态目标跟踪方法及系统
本专利技术涉及计算机视觉领域，具体来说是一种通过模态感知特征学习的跨模态目标跟踪方法及系统。
技术介绍
视觉跟踪是计算机视觉领域的一个重要问题，在视觉监控、智能交通、机器人等视觉系统中起着至关重要的作用。现有的跟踪方法往往是基于对光照变化敏感的RGB图像序列，导致一些目标在弱光条件下无效，在这种情况下，现有方法的跟踪性能可能会显著降低。引入其他模态数据是解决单个源成像局限性的有效方法，如深度和热红外数据，以克服RGB源的成像限制；深度传感器可以提供有价值的额外深度信息，通过鲁棒的遮挡和模型漂移处理来改善跟踪结果，但受限于范围(最多4-5米)和室内环境。热传感器通常独立于RGB传感器，它们的视觉特性非常不同。因此，在平台设计和框架对齐方面需要做大量的工作，目前还不能应用于许多实际应用中。近红外成像是许多监控摄像机必不可少的一部分，其成像可以根据光强在RGB和近红外之间切换，如图3所示。该成像系统很好地解决了RGB源在弱光条件下的成像限制，同时避免了现有多模态视觉系统带来的成像和平台问题，图4是近红外相机在成像时的一个典型例子。不过近红外和RGB这两种模态是异质性的，如图3左侧所示，具有非常不同的视觉属性，因此目标物体的外观在不同的模态下是完全不同的。这样的外观差距给视觉跟踪带来了很大的挑战。如申请号CN201911146615.4公开的一种基于多模态信息感知的人体检测和跟踪方法，彩色相机和深度相机标定与数据滤波处理；基于多模态信息感知的人体检测，分别在彩色图像和深度图像中检测人的身体和头部，依据头部和身体的空间比例信息融合两个检测结果；基于多模态信息感知的人体跟踪，使用核化相关滤波跟踪算法分别在彩色图像和深度图像中跟踪身体和头部，并建立跟踪对象的模型；利用跟踪对象模型和头身比的空间约束完善跟踪机制。本专利技术方法基于多模态信息感知，克服了仅基于视觉的目标检测和跟踪方法的缺陷，在室内服务机器人领域具有广泛的应用，有益于人机交互作业和用户跟随等功能。但是该方法针对是深度和可见光的，而且是两个相机需要标定对齐，不适用多模态的单相机。现有的跟踪工作还没有研究这一具有挑战性的问题。因此，我们对跨模态目标这一新课题展开研究，旨在解决以下2个问题：1)在许多视觉系统中，视觉跟踪往往基于RGB图像序列，其中一些目标在弱光条件下无效，从而严重影响跟踪性能；2)引入其他模态如深度和红外数据可以解决单个源成像局限性的问题，但多模态成像平台通常需要精心设计，目前还不能应用于许多实际应用中。基于以上分析，如何创建视频基准数据集，促进跨模态目标跟踪的研究和发展？如何设计一种合适的基线算法，以减少RGB模态和近红外模态之间的外观差距，实现鲁棒的跨模态目标跟踪，减小切换时间对跟踪性能的影响，是本申请的重点研究方法。
技术实现思路
本专利技术所要解决的技术问题在于提供一种适应跨模态目标跟踪方法。本专利技术通过以下技术手段实现解决上述技术问题的：通过模态感知特征学习的跨模态目标跟踪方法，包括以下步骤：S01.获取训练样本数据；所述训练样本数据至少包括第一样本集和第二样本集；所述第一样本集至少包括两种已知模态样本子集；所述第二样本集包括全帧数据，所述全帧数据包括第一样本集的所有模态，每一帧数据模态未知；S02.网络训练，网络训练分为两阶段学习，第一阶段学习利用所述第一样本集中两种模态数据分别对去除模态感知融合模块的VGG网络的对应的分支网络进行训练；第二阶段学习为在第一阶段学习后的VGG网络加入模态感知融合模块，然后利用第二样本集对该VGG网络进行训练，得到具有模态感知融合模块的目标网络；S03.目标跟踪，所述目标网络对多模态视频数据进行目标跟踪，输出跟踪结果；在输出结果之前，利用meta-updater更新控制器判断跟踪结果是否跟踪成功，如跟踪成功，则收集跟踪样本对样本池执行在线更新，目标网络利用样本池当前最新一帧跟踪结果对下一帧目标跟踪进行判断。本专利技术介绍了一个新的任务，称为跨模态对象跟踪；在VGG网络原有基础上增加了一个模态感知模块，以自适应地合并来自两个分支的有效特性；开发了一个两阶段的学习算法，以训练该网络的效率和有效性。在培训阶段，任意模态的训练样本的分类损失将被反向传播到两个模态分支。模态信息在训练阶段是可用的，在测试阶段是不可用的；使用一个两阶段的学习算法来有效地训练所提出的网络，重新训练最后的全连接层，具体来说，首先在VGG-M中使用预先训练好的模型对基网络的参数进行初始化。在第一个训练阶段，去除模态感知融合模块并使用单一模态来训练相应的分支网络。在第二个训练阶段，采用具有两种模态的图像作为输入，由于不知道当前帧属于哪个模态，使用所有的帧来学习模态感知融合模块和分类器，同时微调基础网络的参数。本专利技术设计了一个模态感知融合模块来自适应的合并来自两个分支的有效特性，将任意模态作为输入以解决RGB和近红外模态之间的外观差距。进一步的，所述步骤S01中的模态至少包括近红外和可见光两种模态。进一步的，所述步骤S02中第一阶段学习中，各个分支采用inception网络。进一步的，所述步骤S03中目标跟踪的具体方法为：先想目标网络输入标注有待跟踪目标的第一帧，从第二帧开始，对第t帧进行跟踪时，围绕样本池中最新一帧跟踪结果的高斯分布采样256个候选区域，利用softmax的交叉熵损失和实例嵌入损失来进行二值化分类，以区分前景和背景，然后利用目标网络计算这些候选区域的得分，选取得分最高的5个候选样本的平均边界框作为第t帧的跟踪结果。本专利技术还提供一种通过模态感知特征学习的跨模态目标跟踪系统，包括：训练样本数据获取模块，所述训练样本数据至少包括第一样本集和第二样本集；所述第一样本集至少包括两种已知模态样本子集；所述第二样本集包括全帧数据，所述全帧数据包括第一样本集的所有模态，每一帧数据模态未知；网络训练模块，网络训练分为两阶段学习，第一阶段学习利用所述第一样本集中两种模态数据分别对去除模态感知融合模块的VGG网络的对应的分支网络进行训练；第二阶段学习为在第一阶段学习后的VGG网络加入模态感知融合模块，然后利用第二样本集对该VGG网络进行训练，得到具有模态感知融合模块的目标网络；目标跟踪模块，所述目标网络对多模态视频数据进行目标跟踪，输出跟踪结果；在输出结果之前，利用meta-updater更新控制器判断跟踪结果是否跟踪成功，如跟踪成功，则收集跟踪样本对样本池执行在线更新，目标网络利用样本池当前最新一帧跟踪结果对下一帧目标跟踪进行判断。进一步的，所述训练样本数据获取模块中的模态至少包括近红外和可见光两种模态。进一步的，所述网络训练模块中第一阶段学习中，各个分支采用inception网络。进一步的，所述目标跟踪模块中目标跟踪的具体方法为：先想目标网络输入标注有待跟踪目标的第一帧，从第二帧开始，对第t帧进行跟踪时，围绕样本池中最新一帧跟踪结果的高斯分布采样2本文档来自技高网...

【技术保护点】
1.通过模态感知特征学习的跨模态目标跟踪方法，其特征在于，包括以下步骤：/nS01.获取训练样本数据；所述训练样本数据至少包括第一样本集和第二样本集；所述第一样本集至少包括两种已知模态样本子集；所述第二样本集包括全帧数据，所述全帧数据包括第一样本集的所有模态，每一帧数据模态未知；/nS02.网络训练，网络训练分为两阶段学习，第一阶段学习利用所述第一样本集中两种模态数据分别对去除模态感知融合模块的VGG网络的对应的分支网络进行训练；第二阶段学习为在第一阶段学习后的VGG网络加入模态感知融合模块，然后利用第二样本集对该VGG网络进行训练，得到具有模态感知融合模块的目标网络；/nS03.目标跟踪，所述目标网络对多模态视频数据进行目标跟踪，输出跟踪结果；在输出结果之前，利用meta-updater更新控制器判断跟踪结果是否跟踪成功，如跟踪成功，则收集跟踪样本对样本池执行在线更新，目标网络利用样本池当前最新一帧跟踪结果对下一帧目标跟踪进行判断。/n

【技术特征摘要】
1.通过模态感知特征学习的跨模态目标跟踪方法，其特征在于，包括以下步骤：
S01.获取训练样本数据；所述训练样本数据至少包括第一样本集和第二样本集；所述第一样本集至少包括两种已知模态样本子集；所述第二样本集包括全帧数据，所述全帧数据包括第一样本集的所有模态，每一帧数据模态未知；
S02.网络训练，网络训练分为两阶段学习，第一阶段学习利用所述第一样本集中两种模态数据分别对去除模态感知融合模块的VGG网络的对应的分支网络进行训练；第二阶段学习为在第一阶段学习后的VGG网络加入模态感知融合模块，然后利用第二样本集对该VGG网络进行训练，得到具有模态感知融合模块的目标网络；
S03.目标跟踪，所述目标网络对多模态视频数据进行目标跟踪，输出跟踪结果；在输出结果之前，利用meta-updater更新控制器判断跟踪结果是否跟踪成功，如跟踪成功，则收集跟踪样本对样本池执行在线更新，目标网络利用样本池当前最新一帧跟踪结果对下一帧目标跟踪进行判断。


2.根据权利要求1所述的通过模态感知特征学习的跨模态目标跟踪方法，其特征在于，所述步骤S01中的模态至少包括近红外和可见光两种模态。


3.根据权利要求1所述的通过模态感知特征学习的跨模态目标跟踪方法，其特征在于，所述步骤S02中第一阶段学习中，各个分支采用inception网络。


4.根据权利要求1所述的通过模态感知特征学习的跨模态目标跟踪方法，其特征在于，所述步骤S03中目标跟踪的具体方法为：
先想目标网络输入标注有待跟踪目标的第一帧，从第二帧开始，对第t帧进行跟踪时，围绕样本池中最新一帧跟踪结果的高斯分布采样256个候选区域，利用softmax的交叉熵损失和实例嵌入损失来进行二值化分类，以区分前景和背景，然后利用目标网络计算这些候选区域的得分，选取得分最高的5个候选样本的平均边界框作为第t帧的跟踪结果。


5.通过模态感知特征学习的跨模态目标跟踪系统，其特征在于，包括以下步骤：
训练样本数据获取模块，所述训练样本数据至少包括第一样本集和第二样本集；所述第一样本集至少包括两种已知模态样...

【专利技术属性】
技术研发人员：李成龙，白曼，朱天昊，汤进，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽;34