【技术实现步骤摘要】
本申请属于图像处理，尤其涉及一种基于多特征联合渐进学习的跨模态行人重识别方法。
技术介绍
1、给定一个可见光或红外相机拍摄的查询图像，跨模态行人重识别(visible-infraredperson re-identification，vi-reid)的目的是在红外或可见光库中检索相同身份的行人。随着监控摄像头的普及以及相关数据集的提出，vi-reid任务受到了大量研究人员的关注。
2、作为一个图像检索任务，vi-reid面临两个挑战：度量函数存在的数据偏见和度量与表征学习的不适配问题。
3、为了拉近类内距离以及模态差异，当前的方法可分成基于像素与基于特征两类。基于像素[aligngan,jsia]方法旨在通过生成模型生成对应模态着色风格的假图，假图用来辅助图像检索。由于，模态差异大，风格迁移需要复杂的网络结构，这种方式并没有取得好的表现。
4、目前主流的方式是通过设计度量函数，通过限制模态间的特征距离来训练模型学习模态共存特征。mmn，agw和fbp-al基于经典的三元组策略，限制同类模态间与类间的相对距离来缓解模态差异。但这些方法每次仅优化一对样本，缺乏鲁棒性且容易陷入子优结果。hct和mpnaet提出约束样本点到模态中心的距离，一定程度缓解上述问题。但是模态中心是基于当前批量的特征均值，仍无法避免小批量带来的数据偏见。除此之外，度量函数从特征距离角度出发评估特征，而表征学习从身份表达角度评估特征，这一区别会影响模型训练。
技术实现思路
1、本
2、为了达到上述目的，本专利技术提供的技术方案为：所述基于多特征联合渐进学习的跨模态行人重识别方法，包括：
3、将给定的图像集d＝{xvis,xir}按模态分成可见光图像集xvis和红外线图像集xir；
4、构建多特征联合渐进式学习网络，所述多特征联合渐进式学习网络包括双流resnet-50网络、轮廓特征加强模块和批量自适应模块，所述双流resnet-50网络包含两个分支和softmax函数，所述两个分支分别用于提取可见光图像和红外线图像的特征；
5、将图像集d分别输入轮廓特征加强模块和双流resnet-50网络，得到原图像特征图和轮廓特征图，根据原图像特征图和轮廓特征图得到感知轮廓损失，并计算第一阶段的总体损失；
6、对图像集d中的可见光图像进行灰度化处理得到对应的灰度图，将灰度图集xgray和红外线图像集xir作为双流resnet-50网络的输入计算第二阶段的总体损失；
7、将图像集d作为双流resnet-50网络的输入，并将得到的特征序列输入批量自适应模块，计算第三阶段的总体损失；
8、联合优化三个阶段的总体损失，通过反向传播对多特征联合渐进式学习网络的参数进行优化；
9、给定一个行人查询图像和一个图像库作为训练好的多特征联合渐进式学习网络的输入，利用输出的特征计算查询图像与图像库中所有图像的相似度，完成重识别过程。
10、进一步的，所述双流resnet-50网络的两个分支均包括独立参数的子网络和共享参数的子网络，所述两个分支的独立参数的子网络分别记为ev、eir，由双流resnet-50网络的每个分支的第一层组成，所述共享参数的子网络记为es，由双流resnet-50网络的每个分支的剩余层组成。
11、进一步的，所述将图像集d分别输入轮廓特征加强模块和双流resnet-50网络，得到原图像特征图和轮廓特征图，根据原图像特征图和轮廓特征图得到感知轮廓损失，并计算第一阶段的总体损失，包括：
12、将图像集d输入双流resnet-50网络的独立参数的子网络ev、eir，得到特征图c1；
13、将图像集d输入轮廓特征加强模块的sobel卷积层得到特征图c2；
14、将c1和c2进行点加，点加后的特征图经过轮廓特征加强模块中的vgg-16网络的第1到第4块进行训练，令ψ＝{ψ1,ψ2,ψ3,ψ4}表示vgg-16的四个块；
15、为最终得到的总感知轮廓损失，可用公式表示为：
16、
17、其中，表示输入经过vgg-16网络的第i个块得到的原图像特征图，i∈[1,4]，表示可见光模态的特征图经过vgg-16网络第i-1个块提取得到的原图像特征图，表示输入经过vgg-16网络的第i个块得到的轮廓特征图，表示可见光模态的特征图经过vgg-16网络第i-1个块提取得到的轮廓特征图，表示输入经过vgg-16网络的第i个块得到的原图像特征图，表示红外线模态的特征图经过vgg-16网络第i-1个块提取得到的原图像特征图，表示输入经过vgg-16网络的第i个块得到的轮廓特征图，表示红外线模态的特征图经过vgg-16网络第i-1个块提取得到的轮廓特征图；
18、根据原图像特征图和轮廓特征图得到感知轮廓损失，可用如下公式计算表示：
19、
20、其中，表示感知轮廓损失，c表示对当前通道进行损失计算，原图像特征图和轮廓特征图的形状为ci×hi×wi，ci表示总的通道数，hi表示高度，wi表示宽度，m∈{vis,ir}代表可见光和红外线两个模态，表示对每个模态的特征中的每个通道进行损失的计算并求和，lδ表示huber损失，可用公式表示为：
21、
22、其中，δ表示超参数；
23、第一阶段的总体损失可用如下公式表示：
24、
25、其中，表示id损失，对输入图像{xvis、xir}经过多特征联合渐进式学习网络处理得到的特征进行损失的计算，公式如下：
26、
27、其中，p是图像集中的类别个数，y表示行人的类别标签，pa是类别a的预测的概率，ε是一个小常数，qa表示实际的标签分布概率，pa基于原图像特征图处理后的特征向量经过softmax函数处理得到；
28、模态间的三元组损失对输入图像{xvis、xir}经过多特征联合渐进式学习网络处理得到的特征进行损失的计算，可用公式表示为：
29、
30、其中，表示输入来自vis和ir模态的正样本对和来自vis模态的负样本对计算得到的三元组损失，表示输入来自ir和vis模态的正样本对和来自ir模态的负样本对计算得到的三元组损失，vis模态表示可见光模态，ir模态表示红外线模态，与可用公式表示为：
31、
32、
33、其中，m表示每次迭代随机选择m个行人，d(vb,ic)表示vis图像中第b个行人和ir图像中第c个行人之间的欧式距离，d(vb,ik)表示vis图像中第b个行人和ir图像中第k个行人之间的欧式距离，d(ib,vc)表示ir图像中第b个行人和vis图像中第c个行人之间的欧式距离本文档来自技高网...
【技术保护点】
1.一种基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述基于多特征联合渐进学习的跨模态行人重识别方法，包括：
2.根据权利要求1所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述双流Resnet-50网络的两个分支均包括独立参数的子网络和共享参数的子网络，所述两个分支的独立参数的子网络分别记为EV、EIR，由双流Resnet-50网络的每个分支的第一层组成，所述共享参数的子网络记为ES，由双流Resnet-50网络的每个分支的剩余层组成。
3.根据权利要求2所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述将图像集D分别输入轮廓特征加强模块和双流Resnet-50网络，得到原图像特征图和轮廓特征图，根据原图像特征图和轮廓特征图得到感知轮廓损失，并计算第一阶段的总体损失，包括：
4.根据权利要求3所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述将图像集D输入轮廓特征加强模块的Sobel卷积层得到特征图C2，包括：
5.根据权利要求1所述的基于多特征联合渐进学习的跨模
6.根据权利要求1所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述将图像集D作为双流Resnet-50网络的输入，并将得到的特征图输入批量自适应模块，计算第三阶段的总体损失，包括：
7.根据权利要求1所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述联合优化三个阶段的总体损失，包括：
8.根据权利要求1所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述重识别过程，包括：
...【技术特征摘要】
1.一种基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述基于多特征联合渐进学习的跨模态行人重识别方法，包括：
2.根据权利要求1所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述双流resnet-50网络的两个分支均包括独立参数的子网络和共享参数的子网络，所述两个分支的独立参数的子网络分别记为ev、eir，由双流resnet-50网络的每个分支的第一层组成，所述共享参数的子网络记为es，由双流resnet-50网络的每个分支的剩余层组成。
3.根据权利要求2所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述将图像集d分别输入轮廓特征加强模块和双流resnet-50网络，得到原图像特征图和轮廓特征图，根据原图像特征图和轮廓特征图得到感知轮廓损失，并计算第一阶段的总体损失，包括：
4.根据权利要求3所述的基于多特征联合渐进学习的跨模态行...
【专利技术属性】
技术研发人员：产思贤，孟炜浩，卢雅婷，穆攀，毛家发，白琮，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。