【技术实现步骤摘要】
基于模态自适应混合和不变性卷积分解的行人重识别方法
[0001]本专利技术属于行人重识别领域，具体的说是一种基于模态自适应混合和不变性卷积分解的行人重识别方法。
技术介绍
[0002]由于在自动跟踪和活动分析中的广泛应用，行人重识别(Re
‑
ID)最近引起了越来越多的关注。它旨在从多个不同的相机视图中捕获和识别目标行人。由于背景杂乱、遮挡、照明的剧烈变化、身体姿势的不同等因素，行人重识别非常具有挑战性。大多数现有的行人重识别方法主要关注来自可见光摄像机的行人可见光图像，并将任务表述为单模态(可见光
‑
可见光)匹配问题。近年来，它们取得了显着进展。然而，可见光相机在光照环境较差(如夜间等)下无法提供有用的外观信息，这限制了行人重识别在实际场景中的适用性。为了解决这个问题，最新的监控系统开始配备红外摄像头以促进夜间监控，这就提出了一个新的跨模态匹配任务，称为可见光
‑
红外行人重识别。给定目标人的可见光(或红外)图像，可见光
‑
红外行人重识别旨在找到由其他光谱...
【技术保护点】
【技术特征摘要】
1.一种基于模态自适应混合和不变性卷积分解的行人重识别方法，其特征在于，包括如下步骤：步骤一、行人数据收集和预处理：用红外摄像头和光学摄像头分别采集行人的红外和可见光监控视频，并对视频逐帧进行行人检测和尺寸归一化预处理，得到红外行人图像集和可见光行人图像集其中，表示第i张红外行人图像，表示第i张可见光行人图像；为第i张红外行人图和第i张可见光行人图像分别设置第i个行人身份ID；记为y
i
，且且是训练集中的身份数，m
p
表示任意一个行人身份ID；从而构建出红外和可见光匹配的训练数据集其中，N表示训练数据集中的图像数量；步骤二、自适应混合图像：步骤2.1、每次从训练数据集中分别采集p个行人身份ID的红外行人图像及其可见光行人图像，且每个个行人身份ID采集k张红外行人图像和k张可见光行人图像，从而得到2
×
p
×
k张图像所组成一个批处理数据其中，表示批处理数据中第j张可见光行人图像，表示批处理数据中第j张红外行人图像，y
j
表示批处理数据中第j张图像的行人ID。步骤2.2、构建以ResNet
‑
50深度学习网络为基础的特征提取网络；所述ResNet
‑
50深度学习网络包括5个阶段，其中，第1个阶段Stage 0由一层卷积核为n1×
n1的卷积层，一层批量归一化处理层，一层ReLU激活函数层组成，其余4个阶段均由Bottleneck模块组成；第2个阶段Stage 1包含3个Bottleneck模块，剩下3个阶段分别包括4个、6个、3个Bottleneck模块，每个Bottleneck模块由一层卷积核为n2×
n2的卷积层，一层卷积核为n3×
n3卷积层，一层卷积核为n2×
n2的卷积层组成；将所述ResNet
‑
50深度学习网络的前三个阶段中所有的卷积核进行模态自适应分解，得到每个卷积核所对应的三个模态基层α
rgb
,α
ir
,α
mix
和一个模态共享系数层Ψ，再与其余两个阶段共同组成所述特征提取网络；步骤2.3、所述批处理数据输入所述特征提取网络中，先在前三个阶段中按照先经过一个卷积核对应的两个模态基层α
rgb
,α
ir
的卷积处理后，再经过相应卷积核对应的一个共享系数层的Ψ的卷积处理的过程来经过所有卷积核的处理后，在第三个阶段输出中间特征集合其中，表示第j张可见光图像的中间特征，表示第j张红外光图像的中间特征；步骤2.4、构建由actor网络和critic网络组成的自适应混合模块，其中，actor网络和critic网络均包括：一层卷积和一层池化层和两层全连接层；所述中间特征集合输入所述actor网络中进行处理，并输出混合比例
其中，表示批处理数据第j个数据所对应产生的六个混合比例；将第j张可见光图像和红外图像分别从竖直方向上平均分成6块，并利用所述混合比例对分块后的可见光行人图像和红外行人图像进行比例混合，从而得到p
×
k张混合模态图像态图像表示第j张混合模态图像，y
j
表示其行人身份ID；步骤三、行人重识别损失更新特征提取网络：步骤3.1、将三模态数据输入所述特征提取网络中，并经过前三个阶段的处理，得到中间特征阶段的处理，得到中间特征表示所述第j张混合图像的中间特征，再经过后两个阶段的处理，最终输出行人特征经过后两个阶段的处理，最终输出行人特征表示第j张可见光图像的行人特征，表示第j张红外图像的行人特征，表示第j张混合模态图像的行人特征；行人特征经过一层全连接层的分类处理后，输出的结果再经...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。