基于多模态图像风格转换的跨模态行人重识别方法技术

本发明专利技术公开了一种基于多模态图像风格转换的跨模态行人重识别方法，根据行人图像数据集，对训练图像进行收集和预处理获取训练样本；构建解耦图像特征的自动编码网络模型，该模型对处理后输入的行人图像进行特征解耦，分为域无关的内容特征和域相关的风格特征；构建基于模态转换的生成网络和判别网络模型，该模型实现不同域行人图像的风格属性信息互换，实现变换风格的样本生成；本发明专利技术方法针对行人重识别算法易受不同光照影响的问题，通过神经网络提取行人图像的特征来学习不同图像的相似性矩阵，该方法学习到的度量矩阵比人为选定的矩阵具有灵活性，更能获得图像特征之间的相似性。

【技术实现步骤摘要】
基于多模态图像风格转换的跨模态行人重识别方法
本专利技术涉及图像处理
，尤其涉及一种基于多模态图像风格转换的跨模态行人重识别方法。
技术介绍
随着人工智能技术的快速发展以及人们对社会安全要求的提高，摄像头越来越多地被投入使用，出现在生活的各个角落，有关摄像头视频的分析研究也越来越受到人们的重视。多摄像头监控具有广阔的视野，克服了单摄像头监控范围有限的问题，但也带来大量的视频、图像信息。合理利用摄像头监控信息并结合性能良好的视频跟踪技术，能够从海量的数据中筛选出对人们有用的信息。视频跟踪技术涉及到很多研究方向，包括图像处理、计算机视觉、模式识别和人工智能等，应用前景十分广阔。行人重识别技术利用计算机视觉技术判断图像或者视频序列中是否存在需要搜索的行人，可以实现跨摄像头寻找同一个行人的目的。实际场景中，由于两个摄像头角度不一致以及位置的原因，会导致不同摄像头拍摄到的行人图像在光照、颜色、明暗以及外观上有很大区别，这些区别将会拉大相同行人之间的差异性。因为一个行人被拍摄到图像因为视角不同、姿态不同和明暗不同导致图像特征相差太大而无法精准的检测。因而行人重识别技术旨在学习与行人身份特征相关和与其他特征无关的行人信息，来提高行人再识别的精度。在之前的研究工作中，行人重识别的研究重点是用描述子和距离学习来获取行人特征表示和行人相似性度量。基于视觉描述子的行人重识别方法通过学习具有判别性和鲁棒性的描述子来表示行人图像，度量学习的行人重识别方法通过学习一个适合的距离度量或者特征变换函数来最大化正确匹配率。随着深度学习算法的普及，研究者更多关注的是采用深度学习算法进行处理，通过训练神经网络提取图像特征。由于深度学习模型需要大量样本进行参数训练，因此基于数据生成的行人识别方法开始获得大量关注。行人重识别方法大致可以分为三类：基于人工特征的行人重识别，基于距离度量的行人重识别，基于深度学习的行人重识别。基于人工特征的行人重识别方法研究主要集中在行人表观信息的特征提取和表示上，提取更加鲁棒和稳定的行人特征，其目的是缩小同一行人两张图像的特征距离，拉大异类行人图像特征间的空间距离。因此特征表示的优劣是行人能否被准确重识别的关键因素之一。基于人工特征的行人重识别方法在某些应用场景下可以达到比较鲁棒的识别精度，但是由于夜晚和白天摄像头拍摄到的行人图像差距较大，导致该类行人重识别方法的识别效果不理想。基于距离度量的行人重识别方法能够通过行人样本学习到最佳相似度测量计算方法以匹配同一行人并区分不同行人。基于距离度量的行人重识别方法提取行人图像成为特征向量后，再使用标准距离对两个特征向量进行相似性度量。比较常用的标准距离有曼哈顿距离，欧氏距离和马氏距离。然而，同一行人跨越多个不重叠的摄像头时，其姿态、外观会发生很大变换，此时使用基于距离度量的行人重识别方法效果不理想，因为该类方法会平等地处理每一种特征。对于跨模态问题，距离度量方法一般先分别提取行人图像不同模态的特征，再通过一个特征空间度量矩阵让不同域特征能够在该空间上得到近似同域特征。通过该距离度量方法能够大大改善跨模态行人重识别中类间差异性和类内不变性的不可控制，进而提高识别精度。基于深度学习的行人重识别方法大多数研究工作集中在可见光图像的行人重识别方法上，但在一些应用中，可见光图像不适合在黑暗环境或夜间使用。红外成像在许多视觉系统中是必要的。研究基于多模态图像风格转换的跨模态行人重识别方法，可以解决行人重识别问题主要的难点问题，即数据库中红外图像数量太少的问题，该问题不利于模型学习高效、鲁棒的特征表示和度量准则。
技术实现思路
专利技术目的：本专利技术目的在于克服上述现有技术的不足，提出了一种基于多模态图像风格转换的跨模态行人重识别方法。本专利技术研究基于深度学习的方法，利用生成式对抗网络实现红外域-可见光域行人图像的风格属性信息互换，解决了实际中行人重识别方法受不同光照影响导致识别行人困难的难题，并且设计基于神经网络的相似度量学习方法提升基于多模态图像风格转换的跨模态行人重识别方法的鲁棒性。技术方案：为实现上述目的，本专利技术采用的技术方案为：一种基于多模态图像风格转换的跨模态行人重识别方法，利用生成式对抗网络将两种域下的行人图像进行风格互换，生成新域的行人图像，并且利用行人重识别方法对这些转换风格的行人图像进行验证；提出多模态图像风格转换的生成式对抗网络模型实现红外域行人图像和可见光域行人图像的风格互换，采用基于神经网络的相似度量学习方法提升跨模态行人重识别性能；具体包括如下步骤：(1)对训练行人图像进行收集和预处理，得到训练样本，具体是：在可见光行人图像数据集中收集若干张行人图像作为可见光域训练图像；在红外行人图像数据集中收集若干张行人图像作为红外域训练图像；(2)构建解耦图像特征的自动编码网络模型，该模型对输入的两个域的行人图像进行编码处理，解耦两种域中的行人图像特征为风格特征和内容特征；(3)构建基于模态转换的生成网络和判别网络模型，该模型利用解耦后的内容特征和另一个域的风格特征进行融合得到新的特征，生成新的行人图像，实现图像跨模态的风格转换；(4)构建基于神经网络的相似度量学习方法，通过使用神经网络来学习行人重识别的度量方式提升多模态图像风格转换的生成式对抗网络的行人重识别性能；(5)验证提出的跨模态行人重识别方法的有效性，对生成行人图像构成的数据集进行行人重识别方法验证。所述步骤(1)中，对两个域中的行人图像进行归一化，获取训练样本像素为128×128。所述步骤(2)中，构建解耦图像特征的自动编码网络由保持行人图像本身语义的内容编码器和提取行人图像风格的风格编码器组成；内容编码器分别通过以下公式将可见光域行人图像xrgb和红外域行人图像xir编码为内容特征crgb＝Ec(xrgb)、cir＝Ec(xir)；其中，crgb为可见光域行人图像xrgb的内容特征；cir为红外域行人图像xir的内容特征；风格编码器通过以下公式将目标域行人图像编码为风格特征srgb＝Ec(xrgb)、sir＝Es(xir)，其中，srgb为可见光域行人图像xrgb的风格特征；sir为红外域行人图像xir的风格特征。所述步骤(3)中，构建基于模态转换的生成网络和判别网络包括一个生成器和一个判别器，满足：LGAN＝Lrgb2ir+Lir2rgb其中：xir为红外域行人图像，xrgb为可见光域行人图像，cir为红外域行人图像xir的内容特征，crgb为可见光域行人图像xrgb的内容特征，sir为红外域行人图像xir的风格特征，srgb为可见光域行人图像xrgb的风格特征；Lrgb2ir表示红外域行人图像xir与根据可见光域行人图像xrgb的内容特征crgb、红外域行人图像xir的风格特征sir生成器G生成新的具有红外域行人图像风格的行人图像xrgb→ir之间的对抗损失函数；Lir2本文档来自技高网...

【技术保护点】
1.一种基于多模态图像风格转换的跨模态行人重识别方法，其特征在于：利用生成式对抗网络将两种域下的行人图像进行风格互换，生成新域的行人图像，并且利用行人重识别方法对这些转换风格的行人图像进行验证；/n提出多模态图像风格转换的生成式对抗网络模型实现红外域行人图像和可见光域行人图像的风格互换，采用基于神经网络的相似度量学习方法提升跨模态行人重识别性能；/n具体包括如下步骤：/n(1)对训练行人图像进行收集和预处理，得到训练样本，具体是：/n在可见光行人图像数据集中收集若干张行人图像作为可见光域训练图像；/n在红外行人图像数据集中收集若干张行人图像作为红外域训练图像；/n(2)构建解耦图像特征的自动编码网络模型，该模型对输入的两个域的行人图像进行编码处理，解耦两种域中的行人图像特征为风格特征和内容特征；/n(3)构建基于模态转换的生成网络和判别网络模型，该模型利用解耦后的内容特征和另一个域的风格特征进行融合得到新的特征，生成新的行人图像，实现图像跨模态的风格转换；/n(4)构建基于神经网络的相似度量学习方法，通过使用神经网络来学习行人重识别的度量方式提升多模态图像风格转换的生成式对抗网络的行人重识别性能；/n(5)验证提出的跨模态行人重识别方法的有效性，对生成行人图像构成的数据集进行行人重识别方法验证。/n...

【技术特征摘要】
1.一种基于多模态图像风格转换的跨模态行人重识别方法，其特征在于：利用生成式对抗网络将两种域下的行人图像进行风格互换，生成新域的行人图像，并且利用行人重识别方法对这些转换风格的行人图像进行验证；
提出多模态图像风格转换的生成式对抗网络模型实现红外域行人图像和可见光域行人图像的风格互换，采用基于神经网络的相似度量学习方法提升跨模态行人重识别性能；
具体包括如下步骤：
(1)对训练行人图像进行收集和预处理，得到训练样本，具体是：
在可见光行人图像数据集中收集若干张行人图像作为可见光域训练图像；
在红外行人图像数据集中收集若干张行人图像作为红外域训练图像；
(2)构建解耦图像特征的自动编码网络模型，该模型对输入的两个域的行人图像进行编码处理，解耦两种域中的行人图像特征为风格特征和内容特征；
(3)构建基于模态转换的生成网络和判别网络模型，该模型利用解耦后的内容特征和另一个域的风格特征进行融合得到新的特征，生成新的行人图像，实现图像跨模态的风格转换；
(4)构建基于神经网络的相似度量学习方法，通过使用神经网络来学习行人重识别的度量方式提升多模态图像风格转换的生成式对抗网络的行人重识别性能；
(5)验证提出的跨模态行人重识别方法的有效性，对生成行人图像构成的数据集进行行人重识别方法验证。


2.根据权利要求1所述的基于多模态图像风格转换的跨模态行人重识别方法，其特征在于：所述步骤(1)中，对两个域中的行人图像进行归一化，获取训练样本像素为128×128。


3.根据权利要求1所述的基于多模态图像风格转换的跨模态行人重识别方法，其特征在于：所述步骤(2)中，构建解耦图像特征的自动编码网络由保持行人图像本身语义的内容编码器和提取行人图像风格的风格编码器组成；
内容编码器分别通过以下公式将可见光域行人图像xrgb和红外域行人图像xir编码为内容特征crgb＝Ec(xrgb)、cir＝Ec(xir)；其中，
crgb为可见光域行人图像xrgb的内容特征；
cir为红外域行人图像xir的内容特征；
风格编码器通过以下公式将目标域行人图像编码为风格特征srgb＝Ec(xrgb)、sir＝Es(xir)，其中，
srgb为可见光域行人图像xrgb的风格特征；
sir为红外域行人图像xir的风格特征。


4.根据权利要求1所述的基于多模态图像风格转换的跨模态行人重识别方法，其特征在于：所述步骤(3)中，构建基于模态转换的生成网络和判别网络包括一个生成器和一个判别器，满足：






LGAN＝Lrgb2ir+Lir2rgb
其中：xir为红外域行人图像，xrgb为可见光域行人图像，cir为红外域行人图像xir的内容特征，crgb为可见光域行人图像xrgb的内容特征，sir为红外域行人图像xir的风格特征，srgb为可见光域行人图像xrgb的风格特征；
Lrgb2ir表示红外域行人图像xir与根据可见光域行人图像xrgb的内容特征crgb、红外域行人图像xir的风格特征sir生成器G生成新的具有红外域行人图像风格的行人图像xrgb→ir之间的对抗损失函数；
Lir2rgb表示可见光域行人图像xrgb与根据红外域行人图像xir的内容特征cir、可见光域行人图像xrgb的风格特征srgb生成器G生成新的具有可见光域行人图像风格的行人图像xir→rgb之间的对抗损失函数；
D(·)表示判别器D对真实行人图像x的判别结果；
G(crgb，sir)表示生成器G将可见光域行人图像xrgb的内容特征与红外域行人图像xir的风格特征sir作为输入进而获得新的行人图像xrgb→ir，其具有可见光域行人图像的内容信息以及红外域行人图像的风格特征；
G(cir，srgb)表示生成器G将红外域行人图像xir的内容特征与可见光域行人图像xrgb的风格特征作为输入进而获得新的行人图像xir→rgb，其具有红外域行人图像的内容信息以及可见光域行人图像的风格特征；
D(G(crgb，sir))表示判别器D对生成行人图像xrgb→ir的判别结果；
D(G(cir，srgb))表示判别器D对生成行人图像xir→rgb的判别结果；

表示数学期望；
xir～p(xir)表示变量xir服从真实的红外域行人图像数据分布p(xir)；
xrgb～p(xrgb)表示变量xrgb服从真实的可见光域...

【专利技术属性】
技术研发人员：赵佳琦，陈莹，夏士雄，周勇，牛强，姚睿，陈朋朋，杜文亮，朱东郡，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏;32