一种基于循环生成式对抗网络的行人图像生成方法及系统技术方案

本发明专利技术提供了一种基于循环生成式对抗网络的行人图像生成方法及系统，包括如下步骤：迁移函数学习，生成人物迁移生成式对抗网络；基于所述人物迁移生成式对抗网络，完成所述行人图像中的人物迁移，将一个数据库中的行人图像迁移到另一个数据库中，生成新的行人图像。所述迁移函数包括风格损失和身份损失。与传统方法相比，本发明专利技术在众多行人再识别公共数据集上取得了很好的迁移效果，可以在无需额外数据标注的前提下，在目标应用场景中训练鲁棒的行人再识别模型，并获得较高的准确性。

【技术实现步骤摘要】
一种基于循环生成式对抗网络的行人图像生成方法及系统
本专利技术涉及图像识别
，尤其是涉及一种基于生成式对抗网络的行人图像生成方法及系统。
技术介绍
近年来，随着人们对社会的公共安全越来越关注，视频监控系统大量普及。诸如机场、火车站、校园和办公大楼等公众场所，都亟需监控，为安防保驾护航。面对海量的监控视频数据，大量的人力需要投入到视频信息的监控与检索中去，这种方式的效率不仅低，还造成了额外资源浪费。如果能够利用计算机视觉分析技术，自动化监控及分析视频信息，必然可以极大地加快“平安城市”的建设。行人再识别是计算机视觉的研究中关键的任务。一般来说，给定关于行人的一张图片或者一段视频，行人再识别就是在其它不重合拍摄场景下的图片或者视频中，将同一个人识别出来的过程。尽管相关的研究越来越受到重视，行人再识别的准确率也已经提高了不少，但仍有许多困难需要解决。由于待识别的行人图片与原图片拍摄于不同的相机，设备的差异会给成像条件带来误差；不同的场景下的环境不一，对采集的数据也会产生不同的偏差；且光照的改变会使得同一种颜色的表现不同；更重要的是，行人在摄像头下的姿态变化以及遮挡问题，都使得对同一个人的辨别难度相当大。行人再识别中，背景、光照、摄像机参数等因素变化往往导致可用的标注数据集与目标应用场景数据之间存在较大差异。直接使用此类标注数据训练得到的模型在不同类型的应用场景中性能较差。
技术实现思路
为解决以上问题，本专利技术显式地利用生成式模型对已标注的行人图像数据进行迁移，使得迁移后的数据符合目标应用场景中的数据特点，从而使迁移后的数据可以更有效的应用于目标场景中的模型训练任务。根据本专利技术的一个方面，提供了一种基于循环生成式对抗网络的行人图像生成方法，包括如下步骤：迁移函数学习，生成人物迁移生成式对抗网络；基于所述人物迁移生成式对抗网络，完成所述行人图像中的人物迁移，将一个数据库中的行人图像迁移到另一个数据库中，生成新的行人图像。优选的，所述迁移函数包括风格损失和身份损失。优选的，所述人物迁移生成式对抗网络的目标函数为：其中，表示风格损失，表示身份损失，λ1表示两种损失之间的交换系数。优选的，所述风格损失为：其中，表示标准对抗损失，表示循环一致性损失，G表示从数据集A到B的风格映射函数，而表示从数据集B到A的风格映射函数，DA和DB分别表示A和B的风格鉴别器，λ2表示交换系数。优选的，所述风格鉴别器DA、DB分别由数据集A、B内的未标签人物图像训练得到。优选的，所述身份损失为：其中，G(a)表示从图像a中迁移到数据集B的人物图像，表示从图像b中迁移到数据集A的人物图像，M(a)表示图像a的前景模板，M(b)表示图像b的前景模板，表示从数据集A中采样出的图像a的数学期望，表示从数据集B中采样出的图像b的数学期望。优选的，采用金字塔场景解析网络提取所述前景模板。根据本专利技术的另一个方面，还提供了一种基于循环生成式对抗网络的行人图像生成系统，包括顺序连接的如下模块：网络生成模块，用于学习迁移函数，生成人物迁移生成式对抗网络；迁移模块，基于所述人物迁移生成式对抗网络，完成所述行人图像中的人物迁移，将一个数据库中的行人图像迁移到另一个数据库中，生成新的行人图像。与传统方法相比，本专利技术在众多行人再识别公共数据集上取得了很好的迁移效果，可以在无需额外数据标注的前提下，在目标应用场景中训练鲁棒的行人再识别模型，并获得较高的准确性。基于本专利技术构造的行人再识别系统能够有效地降低在新场景下的标注工作量，同时有较高的识别准确率。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本专利技术基于循环生成式对抗网络的行人图像生成方法的流程图；图2-4为本专利技术的方法应用于CUHK03、Market、Duke三种图片数据库时的准确率，下标C，Ma和D表示迁移目标数据库是CUHK03、Market、Duke；图5为本专利技术基于循环生成式对抗网络的行人图像生成系统的结构图。具体实施方式下面将参照附图更详细地描述本专利技术的示例性实施方式。虽然附图中显示了本专利技术的示例性实施方式，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员。本专利技术提出了一种全新的生成式对抗网络模型用于行人图像迁移，使得迁移后图像在背景、光照和成像等特点上更接近于在目标场景中拍摄的行人图像，同时可以保证迁移后的行人图像前景信息稳定。为了更好地将数据库A中的训练模型应用到数据库B中以完成行人再识别，本专利技术提出通过将A中的人物图像迁移到B中以弥合两者的差别。原因是，不同的数据库图像具有明显的不同区别特性，例如其背景、光照和成像等。因此，如果数据库A中的人物被数据库B对应的摄像头捕捉到，那么该人物的图像风格将会与B的风格保持一致。本专利技术的人物迁移模拟了上述过程，学习了迁移功能，以确保迁移的人物图像与目标数据库具有相同风格，并且在迁移过程中保持了人物的形状和身份属性不变。迁移人物图像的任务看似简单，例如可以通过将A的前景中的人物切割并粘贴在B的背景上。但是，处理基于规则的算法中的区域差别还是较为困难的。再者，B中的风格变化可能会非常复杂，例如B中的两个摄像头可能会具有不同的背景、光照。本专利技术基于普适性的生成式对抗网络模型(GenerativeAdversarialNetworks，GAN)，该模型已经被证明在产生预期图像采样中很有效。因此本专利技术设计了一种人物迁移生成式对抗网络(PersonTransferGAN，PTGAN)来将人物从A迁移到B。本专利技术的PTGAN满足两个约束条件，即风格迁移和人物身份保持。风格迁移的目标是学习不同人物数据库之间的风格映射函数。人物身份保持的目标是确保一个人物的身份在风格迁移后保持不变。由于一个人物的不同迁移样本被视为具有相同的人物身份，所以对于人物身份的约束在人物再识别训练中非常重要。作为本专利技术的重点专利技术构思之一，本专利技术中，PTGAN的损失函数如下：其中，表示风格损失，表示身份损失，λ1表示两种损失之间的交换系数。人物再识别数据库不包含成对的人物图像，例如来自不同数据库的同一人物的图像。因此，风格迁移可以被当作不成对的图像对图像转化任务。由于循环生成式对抗网络在不成对的图像对图像转化任务中具有良好的性能，本专利技术使用循环生成式对抗网络来学习数据库A和B之间的风格映射函数。假设G表示从A到B的风格映射函数，而表示从B到A的风格映射函数。DA和D13分别表示A和B的风格鉴别器。则风格迁移学习的目标函数(风格损失)可以用以下公式(2)来表示：其中，表示标准对抗损失，表示循环一致性损失，λ2表示交换系数。仅考虑风格迁移会导致人物图像迁移过程中的人物身份标签模糊，因此本专利技术还通过计算身份损失来确保迁移数据过程中保持人物身份标签的准确性。人物身份损失的计算过程为：首先获得人物的前景模板，然后计算人物迁移前后的人物前景变化。假设A的数据分布为a～pdata(a)，B的数据分布为b～本文档来自技高网...

【技术保护点】
1.一种基于循环生成式对抗网络的行人图像生成方法，其特征在于，包括如下步骤：迁移函数学习，生成人物迁移生成式对抗网络；基于所述人物迁移生成式对抗网络，完成所述行人图像中的人物迁移，将一个数据库中的行人图像迁移到另一个数据库中，生成新的行人图像。

【技术特征摘要】
1.一种基于循环生成式对抗网络的行人图像生成方法，其特征在于，包括如下步骤：迁移函数学习，生成人物迁移生成式对抗网络；基于所述人物迁移生成式对抗网络，完成所述行人图像中的人物迁移，将一个数据库中的行人图像迁移到另一个数据库中，生成新的行人图像。2.根据权利要求1所述的基于循环生成式对抗网络的行人图像生成方法，其特征在于：所述迁移函数包括风格损失和身份损失。3.根据权利要求1或2所述的基于循环生成式对抗网络的行人图像生成方法，其特征在于：所述人物迁移生成式对抗网络的目标函数为：其中，表示风格损失，表示身份损失，λ1表示两种损失之间的交换系数。4.根据权利要求3所述的基于循环生成式对抗网络的行人图像生成方法，其特征在于：所述风格损失为：其中，表示标准对抗损失，表示循环一致性损失，G表示从数据集A到B的风格映射函数，而表示从数据集B到A的风格映射函数，DA和DB分别表示A和B的风格鉴别器，λ2表示交换系数。5.根据权利要求4所述的基于循环生成式对抗网络的行人图像生成方法，其特征在于：所述风格鉴别...

【专利技术属性】
技术研发人员：张史梁，田奇，高文，魏龙辉，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11