一种基于双重自监督学习的半监督跨模态行人重识别方法技术

本发明专利技术公开了一种基于双重自监督学习的半监督跨模态行人重识别方法，包括以下步骤：A：构造跨模态行人重识别数据集；B：对跨模态行人重识别数据集中的行人图像进行数据增强处理；C：构建基于双重自监督学习的半监督跨模态行人重识别的主干网络、基于上下文的旋转自监督网络和基于对比学习的自监督网络；D：通构建的网络模型得到最终行人图像特征、第一概率矩阵和第二概率矩阵；E：利用得到的最终行人图像特征、第一概率矩阵和第二概率矩阵进行基于自监督的行人重识别任务，输出最终的识别结果。本发明专利技术能够利用大量的无标记数据，学习不同模态的图像的一致性信息，得到更为全面的行人特征表示，从而更为准确地实现跨模态行人重识别。别。别。

【技术实现步骤摘要】
一种基于双重自监督学习的半监督跨模态行人重识别方法


[0001]本专利技术涉及一种行人图像识别方法，尤其涉及一种基于双重自监督学习的半监督跨模态行人重识别方法。

技术介绍

[0002]行人重识别(Person re
‑
identification)也称为行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的一种技术，被广泛认为是图像检索的子问题，即给定一个监控行人图像，进行跨设备下的该行人图像检索。现有的行人重识别研究中，用于训练和测试的数据集往往是单模态的RGB图像，然而在现实场景应用中，红外模式摄像头、深度摄像头以及目击者陈述所捕捉描述的行人图像均十分常见，因此，如何跨越可见光和红外两种模态进行行人重识别是亟待解决的问题之一。跨模态行人重识别，主要是在给定特定个体的可见光图像或红外图像条件下，针对两种模态下的图像库中检索匹配属于同一个体图像的问题进行研究。
[0003]目前，跨模态行人重识别问题主要面临如下挑战：
[0004](1)两种模态下捕捉的图像存在较大差异。RGB图像拥有三个通道，包含了红绿蓝的可见光颜色信息，而红外图像只有一个通道，包含了近红外光的强度信息，而且从成像原理的角度出发，二者的波长范围也有所区别。不同的清晰度和光照条件在两类图像上所能产生效果将会大相径庭。
[0005](2)传统的行人重识别中存在的模态内差异，例如低分辨率、遮挡、视角变化等问题在跨模态行人重识别中也依旧存在。
[0006]此外，尽管现有的方法在极端退化情况下的跨模态行人重识别方面取得了一定的进步，但在性能方面仍然存在很大的改进空间。现有的方法大多是基于监督框架的训练的，它们的性能很大程度上依赖于大量的标记训练样本。但是标记足够的训练样本需要大量的人力物力，因此，缺乏标记训练数据使得监督模型在实际应用中受到严重限制。

技术实现思路

[0007]本专利技术的目的是提供一种基于双重自监督学习的半监督跨模态行人重识别方法，能够更加有效的利用大量的无标记数据，学习不同模态的图像的一致性信息，得到更为全面的行人特征表示，从而更为准确地实现跨模态行人重识别。
[0008]本专利技术采用下述技术方案：
[0009]一种基于双重自监督学习的半监督跨模态行人重识别方法，包括以下步骤：
[0010]A：构造跨模态行人重识别数据集，并对跨模态行人重识别数据集中的行人图像进行预处理，得到有监督训练的输入图像；
[0011]B：对跨模态行人重识别数据集中的行人图像进行数据增强处理，得到数据增强处理后的行人图像，数据增强处理后的行人图像包含基于上下文的旋转自监督图像和基于对比的自监督图像；
[0012]C：构建基于双重自监督学习的半监督跨模态行人重识别的主干网络和自监督训练网络；其中，自监督训练网络包括基于上下文的旋转自监督网络和基于对比学习的自监督网络；主干网络、基于上下文的旋转自监督网络和基于对比学习的自监督网络并行设置且共享网络权重；
[0013]其中，主干网络用于对有监督训练的输入图像进行有监督学习，获取最终行人图像特征；基于上下文的旋转自监督网络，用于对基于上下文的旋转自监督图像进行自监督学习，得到用于旋转角度预测的第一概率矩阵；基于对比学习的自监督网络，用于对基于对比的自监督图像进行自监督学习，得到用于对比自监督学习的第二概率矩阵；
[0014]D：利用步骤B中增强处理后的行人图像构建训练集，训练集中包括有标记样本和无标记样本，使用有标记样本通过主干网络学习得到用于有监督训练的最终行人图像特征，使用无标记样本分别通过基于上下文的旋转自监督网络和基于对比学习的自监督网络，得到用于旋转角度预测的第一概率矩阵和用于对比自监督学习的第二概率矩阵；
[0015]E：利用步骤D中得到的用于有监督训练的最终行人图像特征，以及用于旋转角度预测的第一概率矩阵和用于对比自监督学习的第二概率矩阵，通过基于双重自监督学习的半监督跨模态行人重识别的主干网络和自监督训练网络，进行基于自监督的行人重识别任务，输出最终的识别结果。
[0016]所述的步骤A包括以下具体步骤：
[0017]A1：构造跨模态行人重识别数据集，获取跨模态行人重识别数据集中训练集内的行人图像，并设定基于双重自监督学习的半监督跨模态行人重识别方法的网络模型输入的图像总数；
[0018]A2：对跨模态行人重识别数据集中的行人图像进行尺寸调整，将行人图像的宽和高均调整为相同大小；
[0019]A3：对步骤A2中尺寸调整后的行人图像进行随机水平翻转；
[0020]A4：对步骤A3中随机水平翻转后的行人图像进行像素填充；
[0021]A5：对步骤A4中填充后的行人图像进行随机裁剪；
[0022]A6：对步骤A5中随机裁剪后的行人图像进行归一化处理；
[0023]A7：对步骤A6中归一化处理后的行人图像进行通道随机擦除，得到有监督训练的输入图像。
[0024]所述的步骤B包括以下具体步骤：
[0025]B1：依次对尺寸调整后的每个行人图像，从旋转角度集合{0,90,180,270}中随机挑选一个角度进行旋转，并为每一个角度旋转后的行人图像分别对应生成一个伪标签，得到基于上下文的旋转自监督图像；
[0026]B2：对得到的有监督训练的输入图像进行通道随机擦除；
[0027]B3：对完成通道随机擦除后的行人图像使用通道交换，得到基于对比的自监督图像。
[0028]所述的步骤C中，主干网络依次包括第一卷积层、第一池化层、第一至第三残差层、第一模态注意力层、第四残差层、第二模态注意力层和部位对齐注意力层；第一卷积层和第一至第四残差层对降维后的行人图像特征逐层进行特征提取，学习行人图像的浅层特征；第一模态注意力层用于学习两种模态下的行人图像的深层特征；部位对齐注意力层用于发
掘可见光模态和红外模态之间的细小差距，得到最终行人图像特征。
[0029]所述的第一模态注意力层和第二模态注意力层结构相同，均由两个卷积核大小为1的第二卷积层、ReLU激活函数和Sigmod激活函数组成；第一模态注意力层和第二模态注意力层的计算公式为：
[0030][0031]其中，Z表示得到的行人图像的深度特征，表示Z经过实例标准化之后的矩阵，m
C
为通道掩码，表示与身份相关的通道，m
C
的计算公式为m
C
＝σ(W2δ(W1g(Z)))；g(
·
)表示全局平均池化层，δ(
·
)表示ReLU激活函数，σ(
·
)表示Sigmod激活函数，W1和W2分别表示模态注意力层中的两个全连接层，且两个全连接层位于ReLU激活函数和Sigmod激活函数后。
[0032]所述的基于上下文的旋转自监督网络依次包括第三卷积层、第二池化层、第三模态注意力层、第五残差层、第四模态注意力层、全局平均池化层、BN层和第一全连接层，第三模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双重自监督学习的半监督跨模态行人重识别方法，其特征在于，包括以下步骤：A：构造跨模态行人重识别数据集，并对跨模态行人重识别数据集中的行人图像进行预处理，得到有监督训练的输入图像；B：对跨模态行人重识别数据集中的行人图像进行数据增强处理，得到数据增强处理后的行人图像，数据增强处理后的行人图像包含基于上下文的旋转自监督图像和基于对比的自监督图像；C：构建基于双重自监督学习的半监督跨模态行人重识别的主干网络和自监督训练网络；其中，自监督训练网络包括基于上下文的旋转自监督网络和基于对比学习的自监督网络；主干网络、基于上下文的旋转自监督网络和基于对比学习的自监督网络并行设置且共享网络权重；其中，主干网络用于对有监督训练的输入图像进行有监督学习，获取最终行人图像特征；基于上下文的旋转自监督网络，用于对基于上下文的旋转自监督图像进行自监督学习，得到用于旋转角度预测的第一概率矩阵；基于对比学习的自监督网络，用于对基于对比的自监督图像进行自监督学习，得到用于对比自监督学习的第二概率矩阵；D：利用步骤B中增强处理后的行人图像构建训练集，训练集中包括有标记样本和无标记样本，使用有标记样本通过主干网络学习得到用于有监督训练的最终行人图像特征，使用无标记样本分别通过基于上下文的旋转自监督网络和基于对比学习的自监督网络，得到用于旋转角度预测的第一概率矩阵和用于对比自监督学习的第二概率矩阵；E：利用步骤D中得到的用于有监督训练的最终行人图像特征，以及用于旋转角度预测的第一概率矩阵和用于对比自监督学习的第二概率矩阵，通过基于双重自监督学习的半监督跨模态行人重识别的主干网络和自监督训练网络，进行基于自监督的行人重识别任务，输出最终的识别结果。2.根据权利要求1所述的基于双重自监督学习的半监督跨模态行人重识别方法，其特征在于，所述的步骤A包括以下具体步骤：A1：构造跨模态行人重识别数据集，获取跨模态行人重识别数据集中训练集内的行人图像，并设定基于双重自监督学习的半监督跨模态行人重识别方法的网络模型输入的图像总数；A2：对跨模态行人重识别数据集中的行人图像进行尺寸调整，将行人图像的宽和高均调整为相同大小；A3：对步骤A2中尺寸调整后的行人图像进行随机水平翻转；A4：对步骤A3中随机水平翻转后的行人图像进行像素填充；A5：对步骤A4中填充后的行人图像进行随机裁剪；A6：对步骤A5中随机裁剪后的行人图像进行归一化处理；A7：对步骤A6中归一化处理后的行人图像进行通道随机擦除，得到有监督训练的输入图像。3.根据权利要求2所述的基于双重自监督学习的半监督跨模态行人重识别方法，其特征在于，所述的步骤B包括以下具体步骤：B1：依次对尺寸调整后的每个行人图像，从旋转角度集合{0,90,180,270}中随机挑选
一个角度进行旋转，并为每一个角度旋转后的行人图像分别对应生成一个伪标签，得到基于上下文的旋转自监督图像；B2：对得到的有监督训练的输入图像进行通道随机擦除；B3：对完成通道随机擦除后的行人图像使用通道交换，得到基于对比的自监督图像。4.根据权利要求1所述的基于双重自监督学习的半监督跨模态行人重识别方法，其特征在于：所述的步骤C中，主干网络依次包括第一卷积层、第一池化层、第一至第三残差层、第一模态注意力层、第四残差层、第二模态注意力层和部位对齐注意力层；第一卷积层和第一至第四残差层对降维后的行人图像特征逐层进行特征提取，学习行人图像的浅层特征；第一模态注意力层用于学习两种模态下的行人图像的深层特征；部位对齐注意力层用于发掘可见光模态和红外模态之间的细小差距，得到最终行人图像特征。5.根据权利要求4所述的基于双重自监督学...

【专利技术属性】
技术研发人员：朱小柯，李允伟，陈小潘，郑明浩，
申请(专利权)人：河南大学，
类型：发明
国别省市：