一种基于双变换对齐与分块的跨模态行人重识别方法技术

本发明专利技术提出了一种基于双变换对齐与分块的跨模态行人重识别方法。首先使用基分支网络提取输入的红外和可见光行人图像特征，并利用图像的高层特征，线性回归一组仿射变换参数，然后再用该参数生成对齐图像，该图像可以有效缓解不对齐的模态差异。接下来，将对齐图像进行水平分三块，然后取出这三个分块图像的特征，再将他们与对齐的全局特征和原图特征进行融合，作为可见光和红外图像的总特征。接下来，再将红外和可见光图像总特征映射到同一嵌入空间。最后，结合身份损失和带权重的最难批次采样损失函数进行联合训练来提高识别精度。本发明专利技术主要应用于视频监控智能分析应用系统中，在图像检索，智能安防等领域具有开阔的应用前景。景。

【技术实现步骤摘要】
一种基于双变换对齐与分块的跨模态行人重识别方法


[0001]本专利技术涉及一种基于双变换对齐与分块的跨模态行人重识别方法，以及一种新的网络模型DTASN(Dual transform alignment and segmentation network)，涉及视频智能监控领域中的跨模态行人重识别问题，属于计算机视觉与智能信息处理领域。

技术介绍

[0002]行人重识别(Person Re-Identification，ReID)是计算机视觉领域中的一种技术，行人重识别的目的是在多个不重叠的摄像机中检索感兴趣的人，通常被认为是图像检索的一个子问题。一个高效的ReID算法可以缓解视频观看的痛苦，加速调查的进程。行人重识别在视频监控，智能安防等领域开阔的应用前景，引起了学术界和工业界的广泛关注，使其成为计算机视觉领域一个既很有研究价值又极具挑战性的研究热点。
[0003]当前，大多数研究主要集中在RGB-RGB(单模态)行人重识别问题，其中probe和gallery行人都是可见摄像机捕获。但是，可见光相机可能无法捕获光照变化中的外观信息，尤其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双变换对齐与分块的跨模态行人重识别方法，其特征在于以下步骤：(1)利用可见光基分支网络提取可见光行人图像的特征，得到利用红外基分支网络去提取红外行人图像的特征，得到(2)从可见光基分支网络中取出第五残差块(conv_5x)特征输入到可见光图像空间变换模块的网格网络中，线性回归一组仿射变换参数并生成可见光图像变换网格，然后通过双线性采样器生成新的可见光行人对齐图像然后对进行特征提取，得到全局特征(3)从红外基分支网络中取出第五残差块(conv_5x)特征输入到红外图像空间变换模块的网格网络中，线性回归一组仿射变换参数并生成红外图像变换网格，然后通过双线性采样器生成新的红外行人对齐图像然后对进行特征提取，得到全局特征(4)将新的可见光行人图像水平切分为上、中、下三个不重叠块；然后分别提取这三块的特征，得到特征和最后将对齐图像全局特征和三块图像特征求和得到可见光变换对齐与切分网络的总特征(5)将新的红外行人图像水平切分为上、中、下三个不重叠块；然后分别提取这三块的特征，得到特征和最后将对齐图像全局特征和三块图像特征求和得到红外变换对齐与切分网络的总特征(6)将与可见光基础分支网络提取到的特征进行加权相加融合，得到可见光分支的总特征将与红外基础分支网络提取到的特征进行加权相加融合，得到红外分支的总特征然后将可见光图像的特征和红外图像的特征映射到同一个特征嵌入空间中，结合身份损失函数和带权重的最难批次采样损失函数进行训练，最终提高跨模态行人重识别精度。2.根据权利要求1所述的方法，步骤(1)中每个训练批次采样策略是：从训练数据集中随机选取P个行人，然后每个行人再随机选取K张可见光行人图像和K张红外行人图像，构成一个包含有2PK张行人图像的批次训练数据，最后将2PK张行人图像送入网络进行训练；表示利用可见光基础分支网络提取到的可见光图像的深度特征，表示利用红外基础分支网络提取的红外图像的深度特征；所有输出特征向量的长度为2048。3.根据权利要求1所述的方法，其变换对齐在于步骤(2)、(3)中本发明利用可见光基础分支(红外基础分支)中提取的第五残差块conv_5x特征线性回归出一组仿射变换参数和然后通过公式(1)建立仿射变换前后图像对应的坐标关系：
其中，是目标图像的规则网格中的第i个目标坐标，是输入图像中采样点的源坐标，和是仿射变换矩阵，其中θ
13
和θ
23
控制转换图像的偏移，θ
11
，θ
12
，θ
21
和θ
22
控制转换图像的大小和旋转变化；仿射变换时使用双线性采样对图像网格进行采样；和为双线性采样器的输入图像，假定通过空间变换输出的可见光和红外新图像为和则他们之间的对应关系为:他们之间的对应关系为:其中,和表示目标图像中每个通道中坐标(m,n)位置的像素值，和表示源图像中每个通道中(n,m)坐标处的像素值，H和W表示目标图像(或源图像)的高度和宽度；双线性采样是连续可导的，因此上述方程式是连续可导并允许梯度反向传播，从而实现行人自适应对齐，对齐图像的全局特征用可用和表示，此外，为了学习更加具有鉴别力的特征，本发明对变换后的图像水平分为三个不重叠的固定块。4.根据权利要求1所述的方法，其特征在于步骤(4)中，首先将变换对齐图像分别进行水平切分为上、中、下三块；第一块高度范围像素为1～96，第二块高度范围像素为97～192，第三块高度范围像素为193～288，三块宽度像素均为144；然后，分别将这三个区域块图像复制到重新定义的3张新的高宽像素为288
×
144，像素值全为0的子图的对应位置；接下来，分别通过4个Resnet50残差网络提...

【专利技术属性】
技术研发人员：陈洪刚，刘强，滕奇志，何小海，卿粼波，吴晓红，
申请(专利权)人：四川大学，
类型：发明
国别省市：