本申请涉及目标跟踪技术领域，其具体地公开了一种融合多模态特征的目标跟踪系统及方法，其利用深度学习技术，分别从目标跟踪的RGB图像和热红外图像中提取RGB特征和热红外特征，通过线性组合的方式将RGB特征和热红外特征进行特征融合后再使用残差注意力机制来自适应调整空间维度和通道维度上的特征权重，最后通过分类器判断目标对象是否脱离跟踪范围。这样，通过在目标跟踪中有效地融合多模态特征来提高目标跟踪的精度，从而达到更好的目标跟踪效果。
【技术实现步骤摘要】
本申请涉及目标跟踪，且更为具体地，涉及一种融合多模态特征的目标跟踪系统及方法。
技术介绍
1、目标跟踪是计算机视觉领域的一个重要问题，目前广泛应用在体育赛事转播、安防监控和无人机、无人车、机器人等领域。目标跟踪的过程中，需要对目标对象进行识别和跟踪，并实时地监测目标对象的位置和姿态等信息。传统的目标跟踪方法通常只利用一种模态的特征进行目标跟踪，例如可见光图像。然而，在实际应用场景中，由于环境因素和目标自身特征的复杂性，仅利用一种模态的特征往往难以取得良好的跟踪效果。
2、为了提高目标跟踪的精度和鲁棒性，提出了多模态特征融合的目标跟踪方法。这种方法将不同模态的特征进行有效地融合，从而获取更加丰富的目标信息，提高目标跟踪的精度和鲁棒性。目前，常见的多模态特征融合方法基于加权融合。然而，加权融合方法的主观性较强，难以自适应地确定各模态特征的权重。
3、因此，期待一种融合多模态特征的目标跟踪方法及方法。
技术实现思路
1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种融合多模态特征的目标跟踪系统及方法，其利用深度学习技术，分别从目标跟踪的rgb图像和热红外图像中提取rgb特征和热红外特征，通过线性组合的方式将rgb特征和热红外特征进行特征融合后再使用残差注意力机制来自适应调整空间维度和通道维度上的特征权重，最后通过分类器判断目标对象是否脱离跟踪范围。这样，通过在目标跟踪中有效地融合多模态特征来提高目标跟踪的精度，从而达到更好的目标跟踪效果。
>2、相应地，根据本申请的一个方面，提供了一种融合多模态特征的目标跟踪系统，其包括：3、数据采集模块，用于实时获取目标跟踪的rgb图像和热红外图像；
4、rgb图像特征提取模块，用于将所述rgb图像通过作为过滤器的第一卷积神经网络模型以得到rgb特征图；
5、热红外图像特征提取模块，用于将所述热红外图像通过作为过滤器的第二卷积神经网络模型以得到热红外特征图；
6、线性组合模块，用于将所述rgb特征图和所述热红外特征图通过线性组合的方式进行特征融合以得到多模态融合特征图；
7、残差双注意力模块，用于将所述多模态融合特征图通过残差双注意力机制模型以得到分类特征图；
8、特征强化模块，用于对所述分类特征图进行特征值量化分布特征的自相关强化以得到强化分类特征图；
9、跟踪结果生成模块，用于将所述强化分类特征图通过分类器以得到分类结果，所述分类结果用于表示目标对象是否脱离跟踪范围。
10、在上述融合多模态特征的目标跟踪系统中，所述rgb图像特征提取模块，用于：使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：基于二维卷积核对所述输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以生成池化特征图；对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述rgb特征图，所述第一卷积神经网络模型的第二层至最后一层的输入为上一层的输出，所述第一卷积神经网络模型的第一层输入为所述rgb图像。
11、在上述融合多模态特征的目标跟踪系统中，所述热红外图像特征提取模块，用于：使用所述作为过滤器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行二维卷积处理、基于局部特征矩阵的均值池化处理和非线性激活处理以由所述第二卷积神经网络模型的最后一层输出所述热红外特征图。
12、在上述融合多模态特征的目标跟踪系统中，所述残差双注意力模块，包括：空间注意力单元，用于将所述多模态融合特征图输入所述残差双注意力机制模型的空间注意力模块以得到空间注意力图；通道注意力单元，用于将所述多模态融合特征图输入所述残差双注意力机制模型的通道注意力模块以得到通道注意力图；注意力融合单元，用于融合所述空间注意力图和所述通道注意力图以得到融合注意力图；激活单元，用于将所述融合注意力图输入sigmoid激活函数进行激活以得到融合注意力特征图；注意力施加单元，用于计算所述融合注意力特征图和所述多模态融合特征图的按位置点乘以得到加权特征图；残差融合单元，用于融合所述加权特征图和所述多模态融合特征图以得到所述分类特征图。
13、在上述融合多模态特征的目标跟踪系统中，所述空间注意力单元，包括：空间感知子单元，用于使用所述残差双注意力机制模型的空间注意力模块的卷积层对所述多模态融合特征图进行卷积编码以得到初始卷积特征图；概率化子单元，用于将所述初始卷积特征图通过softmax函数以得到空间注意力得分图；空间注意力施加子单元，用于将所述空间注意力得分图与所述多模态融合特征图进行按位置点乘以得到所述空间注意力图。
14、在上述融合多模态特征的目标跟踪系统中，所述通道注意力单元，包括：通道维度池化子单元，用于对所述多模态融合特征图进行沿通道维度的全局均值池化以得到通道特征向量；非线性激活子单元，用于将所述通道特征向量通过softmax激活函数以得到通道权重特征向量；通道注意力施加子单元，用于以所述通道权重特征向量中各个位置的特征值作为权重对所述多模态融合特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道注意力图。
15、在上述融合多模态特征的目标跟踪系统中，所述特征强化模块，包括：特征压榨单元，用于将所述分类特征图通过基于卷积层的特征压榨模块以得到压榨分类特征图；特征激励单元，用于将所述压榨分类特征图通过基于反卷积层的特征激励模块以得到激励分类特征图；余弦相似度计算单元，用于计算所述激励分类特征图的每两个像素位置的通道特征向量之间的余弦相似度以得到分类特征自相关矩阵；归一化单元，用于将所述分类特征自相关矩阵通过softmax函数以对所述分类特征自相关矩阵进行归一化以得到自相关类注意力关注矩阵；强化单元，用于利用所述自相关类注意力关注矩阵对所述激励分类特征图中任意两个像素点之间的关系进行建模以得到所述强化分类特征图。
16、在上述融合多模态特征的目标跟踪系统中，所述强化单元，用于：以如下强化公式进行所述自相关类注意力关注矩阵对所述激励分类特征图中任意两个像素点之间关系的建模以得到关联特征映射后的所述强化分类特征图；其中,所述强化公式为:
17、
18、其中，s表示所述自相关类注意力关注矩阵，f1表示所述激励分类特征图，w表示可学习的参数矩阵，表示矩阵相乘，f2表示关联特征映射后的所述强化分类特征图。
19、在上述融合多模态特征的目标跟踪系统中，所述跟踪结果生成模块，用于：使用所述分类器以如下分类公式对所述强化分类特征图进行处理以得到所述分类结果；其中，所述分类公式为：o＝softmax{(mc，bc)|projeot(f2)}，其中projeot(f2)表示将所述强化分类特征图投影为向量，mc为全连接层的权重矩阵，bc表示全连接层的偏置矩阵，softmax表示归一化指本文档来自技高网...
【技术保护点】
1.一种融合多模态特征的目标跟踪系统，其特征在于，包括：
2.根据权利要求1所述的融合多模态特征的目标跟踪系统，其特征在于，所述RGB图像特征提取模块，用于：使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：
3.根据权利要求2所述的融合多模态特征的目标跟踪系统，其特征在于，所述热红外图像特征提取模块，用于：使用所述作为过滤器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行二维卷积处理、基于局部特征矩阵的均值池化处理和非线性激活处理以由所述第二卷积神经网络模型的最后一层输出所述热红外特征图。
4.根据权利要求3所述的融合多模态特征的目标跟踪系统，其特征在于，所述残差双注意力模块，包括：
5.根据权利要求4所述的融合多模态特征的目标跟踪系统，其特征在于，所述空间注意力单元，包括：
6.根据权利要求5所述的融合多模态特征的目标跟踪系统，其特征在于，所述通道注意力单元，包括：
7.根据权利要求6所述的融合多模态特征的目标跟踪系统，其特征在于，所述特征强化模块，包括：p>
8.根据权利要求7所述的融合多模态特征的目标跟踪系统，其特征在于，所述强化单元，用于：以如下强化公式进行所述自相关类注意力关注矩阵对所述激励分类特征图中任意两个像素点之间关系的建模以得到关联特征映射后的所述强化分类特征图；其中,所述强化公式为:
9.根据权利要求8所述的融合多模态特征的目标跟踪系统，其特征在于，所述跟踪结果生成模块，用于：使用所述分类器以如下分类公式对所述强化分类特征图进行处理以得到所述分类结果；
10.一种融合多模态特征的目标跟踪方法，其特征在于，包括：
...
【技术特征摘要】
1.一种融合多模态特征的目标跟踪系统，其特征在于，包括：
2.根据权利要求1所述的融合多模态特征的目标跟踪系统，其特征在于，所述rgb图像特征提取模块，用于：使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：
3.根据权利要求2所述的融合多模态特征的目标跟踪系统，其特征在于，所述热红外图像特征提取模块，用于：使用所述作为过滤器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行二维卷积处理、基于局部特征矩阵的均值池化处理和非线性激活处理以由所述第二卷积神经网络模型的最后一层输出所述热红外特征图。
4.根据权利要求3所述的融合多模态特征的目标跟踪系统，其特征在于，所述残差双注意力模块，包括：
5.根据权利要求4所述的融合多模态特征的目标跟踪系统，其特征在于...
【专利技术属性】
技术研发人员：潘祥生，
申请(专利权)人：昆明茗奥志数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。