【技术实现步骤摘要】
本专利技术属于跨模态行人重识别领域，尤其是涉及基于随机区域像素变化和随机区域变换的跨模态行人重识别方法。
技术介绍
1、跨模态行人重识别是行人重识别中的一个研究内容，其目的是将不同模态数据的行人信息对应起来，这些模态一般包括彩色图像，文本，红外图像和草图等，使得在给定其中一种模态数据为查询数据的条件下，在另外一种模态数据的大规模数据库中识别出相同身份的行人。
2、随着对安全的需要和摄像设备的普及，对红外和彩色图像的跨模态行人重识别研究日趋重视，其目的是在黑夜和无光照等低亮度的环境中分别使用红外摄像头和彩色摄像头追踪黑夜和白天中的行人以获取这两种模态的行人图像，并使其在给定特定行人的一种模态图像的情况下，检索出另外一种模态的行人图像。这样的方法应用的场景更为广泛，因此成为了当前重要的研究方向。
3、在红外和彩色图像的跨模态行人重识别中不仅要解决单模态行人重识别中行人图像分辨率，遮挡，视角，服饰和姿态等发生变化的问题，同时还要解决两模态图像之间的巨大不同，因为彩色和红外图像分别记录了不同波长的光照信息，所以存在着巨大的数据差异。这些差异的程度要远大于单一模态图像之间的差异，所以跨模态行人重识别的主要难点就变成了如何解决不同模态同一身份图像间巨大的模态差异和相同模态不同身份图像间差异较小的问题，同时现有的方法计算较为复杂导致训练时间延长，一些基于生成式对抗网络的方法也会引入不可控的噪声。这些是导致识别精度较低的原因。
技术实现思路
1、为了克服上述同类行人不同模态
2、有鉴于此，为完成上述目的，本专利技术的技术方案包括以下内容和步骤：
3、步骤1、通过随机区域像素变化算法分别对输入的数据集中多张红外图像和彩色图像的一个随机区域的像素进行变化；
4、步骤2、使用随机区域变换算法分别对前述发生改变后的多张红外图像和彩色图像的一个随机区域进行变换；
5、步骤3、通过加载了预训练权重的深度神经网络，获得经过前述步骤的红外图像和彩色图像的高维向量所表示的特征；
6、步骤4、根据特定的损失函数计算前述步骤得到的特征的损失，用损失函数对深度神经网络进行约束，回到步骤1开始新的迭代直到到达预定的迭代次数，获得训练后的模型；
7、步骤5、通过训练过的模型获得待检索行人红外图像和彩色图像的特征，计算它们之间的相似度并进行排序，最后得到结果；
8、可选地，在步骤1中所述的随机区域像素变化算法（rapv）包含5个主要参数，首先设定执行该算法的概率参数p（p∈[0,1]），执行算法时随机生成p′（p′∈[0,1]），若p′小于等于p则在图像i中确定一个矩形区域iv，只改变区域iv中图像的像素，否则不执行该算法，图像i的高和宽分别为h和w，则图像的面积为s=h×w，设置区域iv的面积sv占图像面积s比率的上界参数sh和下界参数sl，则像素变化的矩形区域iv的面积是sv（sv∈(s×sl,s×sh)），计算区域iv长和宽的值时，需要设置长宽比的下界参数rl和上界参数rh，随后初始化长宽比rv（rv∈[rl,rh]），像素变化区域iv的高为hv=sqrt(sv×rv)，宽为wv=sqrt(sv÷rv)，其中sqrt为求平方根函数，最后在图像i中随机确定一个点o(mv,nv)，使mv和nv满足mv+wv＜w和nv+hv＜h，则像素改变区域iv=(mv,nv,mv+wv,nv+hv)，最后使用公式计算区域iv中像素的变化值：
9、xi′=(xi+ri) mod 256, (i=r,g,b,ir)
10、其中r，g，b，ir分别表示彩色图像的红绿蓝三个通道和红外图像的单通道，mod指取模运算，xi表示当前通道的原有像素值，xi′表示计算后的该通道像素的值，ri（ri∈[0,255]）表示一个随机的值，目的是使深度神经网络关注更多模态间的轮廓信息，而不是颜色信息，同时算法使图像的部分区域的像素的值发生改变，导致对原有不同模态间图像的对应关系发生改变，使网络可以找到模态间距离更相近的对应特征，最后获得改变后的图像为：
11、ii′=rapv(ii), (i=rgb,ir)
12、其中rgb和ir分别表示彩色和红外，i表示原图像，i′表示经过rapv算法处理后的图像。
13、可选地，在步骤2中所述的随机区域转化算法（rat）包含6个主要参数，首先设定执行该算法的概率参数p（p∈[0,1]），执行该算法时会随机生成p′（p′∈[0,1]），若p′小于等于p则在经过步骤1中所述的随机区域像素变化（rapv）后获得的图像i′中确定一个矩形区域it，只对区域it进行变换，否则不执行该算法，图像i′的高和宽分别为h和w，则图像的面积为s=h×w，则设置区域it的面积st占图像面积s比率的上界参数sh′和下界参数sl′，则图像转换的矩形区域it的面积是st（st∈(s×sl′,s×sh′)），计算区域it长和宽的值时，需要设置长宽比的下界参数rl′和上界参数rh′，随后初始化长宽比rt（rt∈[rl′,rh′]），被转换区域it的高为ht=sqrt(st×rt)，宽为wt=sqrt(st÷rt)，其中sqrt为求平方根函数，最后在图像i′中随机确定一个点o(mt,nt)，使mt和nt满足mt+wt＜w和nt+ht＜h，则图像变换区域it=(mt,nt,mt+wt,nt+ht)，设置图像的转换参数f，f可以是现有的任意图像转换方法，在步骤2中对于彩色图像选用了图像色调和角度变换方法，而对于红外图像选用了图像亮度和角度变换方法，则it′=f(it)表示对区域it的转换，目的是丰富彩色图像的局部色调变化和红外图像的局部亮度变化，以及红外和彩色图像的局部角度的变化，使深度神经网络关注到两个模态之间更多的对应关系，增强模型的鲁棒性，最后获得转换后的图像为：
14、irgb″=ratf_deg(ratf_hue(irgb′))
15、iir″=ratf_deg(ratf_bri(iir′))
16、其中f_hue，f_bri和f_deg分别表示图像色调，亮度和角度变换方法，ii′(i=rgb,ir)表示经过步骤1处理后的图像，rgb和ir分别表示红外和彩色图像，它们会分别做两次不同的转换得到ii″(i=rgb,ir)。
17、可选地，在步骤3中所述的深度神经网络为resnet，加载的预训练权重是在imagenet大型数据集上训练得到的，网络分为模态特有层li(i=rgb,本文档来自技高网...
【技术保护点】
1.一种基于随机区域像素变化和变换的跨模态行人重识别算法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于随机区域像素变化和变换的跨模态行人重识别算法，其特征在于，在步骤1中所述的随机区域像素变化算法（RAPV）包含5个主要参数，首先设定执行该算法的概率参数p（p∈[0,1]），执行算法时随机生成p′（p′∈[0,1]），若p′小于等于p则在图像I中确定一个矩形区域Iv，只改变区域Iv中图像的像素，否则不执行该算法，图像I的高和宽分别为H和W，则图像的面积为S=H×W，设置区域Iv的面积Sv占图像面积S比率的上界参数sh和下界参数sl，则像素变化的矩形区域Iv的面积是Sv（Sv∈(S×sl,S×sh)），计算区域Iv长和宽的值时，需要设置长宽比的下界参数rl和上界参数rh，随后初始化长宽比rv（rv∈[rl,rh]），像素变化区域Iv的高为Hv=Sqrt(Sv×rv)，宽为Wv=Sqrt(Sv÷rv)，其中Sqrt为求平方根函数，最后在图像I中随机确定一个点O(mv,nv)，使mv和nv满足mv+Wv＜W和nv+Hv＜H，则像素改变区域Iv=(mv,n
3.根据权力要求1所述的基于随机区域像素变化和变换的跨模态行人重识别算法，其特征在于，在步骤2中所述的随机区域转化算法（RAT）包含6个主要参数，首先设定执行该算法的概率参数p（p∈[0,1]），执行该算法时会随机生成p′（p′∈[0,1]），若p′小于等于p则在经过步骤1中所述的随机区域像素变化（RAPV）后获得的图像I′中确定一个矩形区域It，只对区域It进行变换，否则不执行该算法，图像I′的高和宽分别为H和W，则图像的面积为S=H×W，则设置区域It的面积St占图像面积S比率的上界参数sh′和下界参数sl′，则图像转换的矩形区域It的面积是St（St∈(S×sl′,S×sh′)），计算区域It长和宽的值时，需要设置长宽比的下界参数rl′和上界参数rh′，随后初始化长宽比rt（rt∈[rl′,rh′]），被转换区域It的高为Ht=Sqrt(St×rt)，宽为Wt=Sqrt(St÷rt)，其中Sqrt为求平方根函数，最后在图像I′中随机确定一个点O(mt,nt)，使mt和nt满足mt+Wt＜W和nt+Ht＜H，则图像变换区域It=(mt,nt,mt+Wt,nt+Ht)，设置图像的转换参数F，F可以是现有的任意图像转换方法，在步骤2中对于彩色图像选用了图像色调和角度变换方法，而对于红外图像选用了图像亮度和角度变换方法，则It′=F(It)表示对区域It的转换，目的是丰富彩色图像的局部色调变化和红外图像的局部亮度变化，以及红外和彩色图像的局部角度的变化，使深度神经网络关注到两个模态之间更多的对应关系，增强模型的鲁棒性，最后获得转换后的图像为：
4.根据权力要求1所述的基于随机区域像素变化和变换的跨模态行人重识别算法，其特征在于，在步骤3中所述的深度神经网络为ResNet，加载的预训练权重是在ImageNet大型数据集上训练得到的，网络分为模态特有层Li(i=RGB,IR)和模态共享层LRGB_IR，将红外和彩色图像输入网络可以得到其特征：
5.根据权力要求1所述的基于随机区域像素变化和变换的跨模态行人重识别算法，其特征在于，在步骤3中所述的通过神经网络获得的图像特征fi（i=RGB,IR），经过了GMP池化得到：
6.根据权力要求1所述的基于随机区域像素变化和变换的跨模态行人重识别算法，其特征在于，在步骤4中所述的损失计算方法包括两种不同的损失，分别为分类损失Lidentity和最难例三元组损失Ltriplet，则总的损失为：
7.根据权力要求1所述的基于随机区域像素变化和变换的跨模态行人重识别算法，其特征在于，在步骤5中所述的特征相似度通过欧式距离来度量，分别用所述步骤4中训练好的神经网络分别计算待检索行人的红外和彩色图像的特征，求得它们特征之间的欧式距离，并进行排序得到最后的检索结果。
...【技术特征摘要】
1.一种基于随机区域像素变化和变换的跨模态行人重识别算法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于随机区域像素变化和变换的跨模态行人重识别算法，其特征在于，在步骤1中所述的随机区域像素变化算法（rapv）包含5个主要参数，首先设定执行该算法的概率参数p（p∈[0,1]），执行算法时随机生成p′（p′∈[0,1]），若p′小于等于p则在图像i中确定一个矩形区域iv，只改变区域iv中图像的像素，否则不执行该算法，图像i的高和宽分别为h和w，则图像的面积为s=h×w，设置区域iv的面积sv占图像面积s比率的上界参数sh和下界参数sl，则像素变化的矩形区域iv的面积是sv（sv∈(s×sl,s×sh)），计算区域iv长和宽的值时，需要设置长宽比的下界参数rl和上界参数rh，随后初始化长宽比rv（rv∈[rl,rh]），像素变化区域iv的高为hv=sqrt(sv×rv)，宽为wv=sqrt(sv÷rv)，其中sqrt为求平方根函数，最后在图像i中随机确定一个点o(mv,nv)，使mv和nv满足mv+wv＜w和nv+hv＜h，则像素改变区域iv=(mv,nv,mv+wv,nv+hv)，最后使用公式计算区域iv中像素的变化值：
3.根据权力要求1所述的基于随机区域像素变化和变换的跨模态行人重识别算法，其特征在于，在步骤2中所述的随机区域转化算法（rat）包含6个主要参数，首先设定执行该算法的概率参数p（p∈[0,1]），执行该算法时会随机生成p′（p′∈[0,1]），若p′小于等于p则在经过步骤1中所述的随机区域像素变化（rapv）后获得的图像i′中确定一个矩形区域it，只对区域it进行变换，否则不执行该算法，图像i′的高和宽分别为h和w，则图像的面积为s=h×w，则设置区域it的面积st占图像面积s比率的上界参数sh′和下界参数sl′，则图像转换的矩形区域it的面积是st（st∈(s×sl′,s×sh′)），计算区域it长和宽的值时，需要设置长宽比的下界参数rl′...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。