基于生成对抗网络的马赛克人脸图像超分辨率重建方法技术

本发明专利技术公开了一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法，构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型；将Xception网络的开始至第block13_pool层迁移进来，对图像数据进行特征提取；构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型的损失函数；构建Demosaic GAN模型对应的马赛克人脸数据集，并通过所述马赛克人脸数据集对Demosaic GAN模型进行训练，获得训练完成的马赛克人脸图像超分辨率重建模型；待处理的马赛克人脸图像通过所述训练完成的马赛克人脸图像超分辨率重建模型对图像进行超分辨率重建，获得重建后的图像。本发明专利技术可以快速将单张或多张马赛克人脸图像进行重建。

Super-resolution reconstruction method of mosaic face image based on generation countermeasure network

【技术实现步骤摘要】
基于生成对抗网络的马赛克人脸图像超分辨率重建方法
本专利技术涉及图像超分辨率重建领域，具体涉及一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法。
技术介绍
随着图像编辑软件的普及，人们可以轻松地对人脸图片进行马赛克处理，这一技术有很大的作用，比如，用于保护个人隐私；同时，这也为监控和法医领域带来诸多不便，与对人脸图片进行马赛克处理技术的普及相比，目前极少有关于马赛克图片复原的报道。马赛克指现行广为使用的一种图像(视频)处理手段，此手段将影像特定区域的色阶细节劣化并造成色块打乱的效果；马赛克和图像压缩不一样，马赛克是不可逆损失信息的，它的目的是让我们无法还原出原始图片。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法。为达到上述目的，本专利技术的技术方案是这样实现的：本专利技术实施例提供一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法，该方法为：构建用于马赛克人脸图像超分辨率重建的DemosaicGAN模型；将Xception网络的开始至第block13_pool层迁移进来，对图像数据进行特征提取；构建用于马赛克人脸图像超分辨率重建的DemosaicGAN模型的损失函数；构建DemosaicGAN模型对应的马赛克人脸数据集，并通过所述马赛克人脸数据集对DemosaicGAN模型进行训练，获得训练完成的马赛克人脸图像超分辨率重建模型；待处理的马赛克人脸图像通过所述训练完成的马赛克人脸图像超分辨率重建模型对图像进行超分辨率重建，获得重建后的图像。上述方案中，所述DemosaicGAN模型包括生成器和鉴别器；其中生成器有5个卷积层，8个SRDB层，1个跳变连接层和1个Add层；其中每个SRDB层有5个卷积层，4个ReLU层，1个跳变连接层和1个Add层；输入层是马赛克人脸图像，输出层是生成的超分辨率重建图像；其中鉴别器有9个卷积层，6个ReLU层，8个BatchNorm层，1个Add层，1个Flatten层和1个Dense层组成；输入层是生成的超分辨率重建图像，输出层是生成的超分辨率重建图像的特征。上述方案中，所述DemosaicGAN模型的损失函数包括MSE损失lmse、Xception损失lXception、网络的对抗损失lGen、风格损失lstyle。上述方案中，所述MSE损失lmse为：其中，W,H分别是图像的宽和高，表示原始图像，表示打码后的图像，表示生成器生成的马赛克人脸超分辨率重建图像。上述方案中，所述Xception损失lXception为：其中，W,H分别是图像的宽和高，Iori表示原始图像，Imos表示打码后的图像，表示生成器生成的马赛克人脸超分辨率重建图像。上述方案中，所述网络的对抗损失lGen为：其中，表示生成器生成的马赛克人脸超分辨率重建图像，表示鉴别器输出的图像的特征。上述方案中，所述风格损失lstyle为：其中，表示原始图像，表示生成器生成的马赛克人脸超分辨率重建图像。与现有技术相比，本专利技术将马赛克人脸图像的超分辨率重建问题用基于GAN的模型完成，通过马赛克人脸数据集对DemosaicGAN模型进行训练，在实际处理过程中，该模型可以快速将马赛克人脸图像进行重建，本专利技术所提出的方法适用于对单张或多张马赛克人脸图像进行重建。附图说明图1是本专利技术方法的流程图；图2是DemosaicGAN模型结构示意图；其中，(1)是SRDB结构示意图；(2)是生成器结构示意图；(3)是鉴别器结构示意图；图3是马赛克人脸图像数据集；其中，(1)是打码的人脸图像，(2)是原始的人脸图像；图4是部分数据重建后的结果。其中，第1列是打码的人脸图像，第2列是重建后的图像，第3列是原始的人脸图像。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例提供一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法，如图1-3所示，通过以下步骤实现：步骤1：构建用于马赛克人脸图像超分辨率重建的DemosaicGAN模型；具体地，所述DemosaicGAN图像超分辨率重建模型的具体结构包括生成器和鉴别器；其中生成器有5个卷积层，8个SRDB层，1个跳变连接层和1个Add层。其中每个SRDB层由5个卷积层，4个ReLU层，1个跳变连接层和1个Add层组成。输入层是马赛克人脸图像，输出层是生成的超分辨率重建图像。其中鉴别器有9个卷积层，6个ReLU层，8个BatchNorm层，1个Add层，1个Flatten层和1个Dense层组成。输入层是生成的超分辨率重建图像，输出层是生成的超分辨率重建图像的特征。步骤2：Xception网络从开始至第block13_pool层迁移进来，对图像数据进行特征提取。具体地，所述Xception网络可以减小模型的参数数量。Xception模型没有特征表示的瓶颈，因此具有较强的特征表示能力。步骤3：构建用于马赛克人脸图像超分辨率重建的DemosaicGAN模型的损失函数；具体地，损失函数主要有MSE损失lmse、Xception损失lXception、网络的对抗损失lGen、风格损失lstyle。各公式如下：其中，W,H分别是图像的宽和高，表示原始图像，表示打码后的图像，表示生成器生成的马赛克人脸超分辨率重建图像。其中，W,H分别是图像的宽和高，Iori表示原始图像，Imos表示打码后的图像，表示生成器生成的马赛克人脸超分辨率重建图像。其中，表示生成器生成的马赛克人脸超分辨率重建图像，表示鉴别器输出的图像的特征。其中，表示原始图像，表示生成器生成的马赛克人脸超分辨率重建图像。步骤4：构建DemosaicGAN模型对应的马赛克人脸数据集，并利用数据集对DemosaicGAN模型进行训练，得到训练完成的马赛克人脸图像超分辨率重建模型；具体地，马赛克人脸数据集是利用OpenCV中的类Haar特征和级联AdaBoost分类器对人脸的不同部位进行定位，写一个python脚本对人脸进行打码。包括200000组数据[Mos,Ori]，其中，Mos为马赛克人脸图像，Ori表示该马赛克人脸图像对应的原图像。所述步骤4中DemosaicGAN模型的训练可选用Tensorflow，Pytorch等常见框架。步骤5，待处理的马赛克人脸图像通过所述训练完成的马赛克人脸图像超分辨率重建模型对图像进行超分辨率重建，获得重建后的图像。以上所述，仅为本专利技术的较佳实施例而已，并非用于限定本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于，该方法为：/n构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型；/n将Xception网络的开始至第block13_pool层迁移进来，对图像数据进行特征提取；/n构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型的损失函数；/n构建Demosaic GAN模型对应的马赛克人脸数据集，并通过所述马赛克人脸数据集对Demosaic GAN模型进行训练，获得训练完成的马赛克人脸图像超分辨率重建模型；/n待处理的马赛克人脸图像通过所述训练完成的马赛克人脸图像超分辨率重建模型对图像进行超分辨率重建，获得重建后的图像。/n

【技术特征摘要】
1.一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于，该方法为：
构建用于马赛克人脸图像超分辨率重建的DemosaicGAN模型；
将Xception网络的开始至第block13_pool层迁移进来，对图像数据进行特征提取；
构建用于马赛克人脸图像超分辨率重建的DemosaicGAN模型的损失函数；
构建DemosaicGAN模型对应的马赛克人脸数据集，并通过所述马赛克人脸数据集对DemosaicGAN模型进行训练，获得训练完成的马赛克人脸图像超分辨率重建模型；
待处理的马赛克人脸图像通过所述训练完成的马赛克人脸图像超分辨率重建模型对图像进行超分辨率重建，获得重建后的图像。


2.根据权利要求1所述的基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于：所述DemosaicGAN模型包括生成器和鉴别器；其中生成器有5个卷积层，8个SRDB层，1个跳变连接层和1个Add层；其中每个SRDB层有5个卷积层，4个ReLU层，1个跳变连接层和1个Add层；输入层是马赛克人脸图像，输出层是生成的超分辨率重建图像；其中鉴别器有9个卷积层，6个ReLU层，8个BatchNorm层，1个Add层，1个Flatten层和1个Dense层组成；输入层是生成的超分辨率重建图像，输出层是生成的超分辨率重建图像的特征。


3.根据权利要求1或2所述的基于生成对抗网络的马赛克...

【专利技术属性】
技术研发人员：梁丕树，夏群兵，杨高波，徐永惠，
申请(专利权)人：深圳市爱协生科技有限公司，
类型：发明
国别省市：广东;44