一种基于脸部区域注意力机制的深度图片鉴伪方法及系统技术方案

本发明专利技术公开了一种基于脸部区域注意力机制的深度图片鉴伪方法及系统，对获取的人脸区域图片进行分割，得到多个不同脸部分割区域图片；将分割后得到的不同脸部分割区域图片与分割前原人脸区域图片进行合并；将合并的图片输入至带有注意力模型的注意力机制UNet网络对脸部像素进行分类，并输出加权后的人脸区域特征图后输入至预先训练好的鉴伪分类神经网络模型中输出图片鉴伪分类结果。通过添加人脸分割信息和带有注意力模型的注意力机制UNet网络进行预处理，实现人为预先告知模型不同的人脸分割区域很有可能是需要关注的地方，为分类网络提供更多信息，让基于人脸图片的造假鉴伪有更优的准确率和鲁棒性。有更优的准确率和鲁棒性。有更优的准确率和鲁棒性。

【技术实现步骤摘要】
一种基于脸部区域注意力机制的深度图片鉴伪方法及系统


[0001]本专利技术涉及人工智能
，具体涉及一种基于脸部区域注意力机制的深度图片鉴伪方法及系统。

技术介绍

[0002]近年来随着深度学习技术的迅猛发展和硬件设备特别是图形计算单元(GPU)成本的不断降低，人工智能技术在各个领域上都进行了快速渗透与落地应用。在深度神经网络CNN的催生下，对抗生成网络GAN利用了高维度空间映射理论学习某类图片的信息分布，对于人脸图片来说，就可以将一个低维随机向量生成一张自然逼真的人脸图片，甚至能生成一段不存在的人物视频，令人难辨真伪。GAN技术从2014年Goodfellow提出以来就受到学术界与工业界的大量关注，从分辨率较低的DCGAN、CGAN，到风格迁移Pixel2Pixel、CycleGAN，再到高分辨率大模型BigGAN、StyleGAN，大数据训练下的大模型达到的效果已经堪比真实拍摄出的图片。在这种情况下，将该技术滥用到图片与视频生成造成的社会风险也是巨大的。
[0003]随着生成技术的发展，图片和视频鉴伪算法也逐渐获得了重视，目前的鉴伪算法可以大体分为两类，一种是基于真实图片拍摄硬件设备在图片上留下的痕迹检测，另一种是基于生成算法在图片上产生的不协调检测。第一类算法很大程度上依赖于拍摄设备的特点，包括相机成像时使用的降噪、压缩、CFA去雾算法的选择，而这些都与相机的品牌和型号有关，在训练模型时需要特定设备的图像来训练神经网络，而相机品牌和型号之多是无法完全穷举的，所以这类方法具有较大的局限性；第二类算法是基于生成算法得到的图像缺点，因为GAN网络是一种统计规律的学习，并不是不同分布空间中一一强对应关系，所以不论训练数据海量与否、模型参数量巨大与否，在生成图片的时候难免会有一些违和的噪点，虽然肉眼难以辨别，但对于同样是深度网络的算法来说，还是可以找到图片中不合理的像素分布。

技术实现思路

[0004]为此，本专利技术提供一种基于脸部区域注意力机制的深度图片鉴伪方法及系统，以实现对人脸造假图片的鉴伪方法具有更优的准确率和鲁棒性。
[0005]为了实现上述目的，本专利技术提供如下技术方案：
[0006]根据本专利技术实施例的第一方面，提出了一种基于脸部区域注意力机制的深度图片鉴伪方法，所述方法包括：
[0007]对待鉴别图片进行人脸检测，并将得到的人脸检测框按预设比例放大后剪裁出人脸区域图片；
[0008]对获取的人脸区域图片进行分割，得到多个不同脸部分割区域图片；
[0009]将分割后得到的不同脸部分割区域图片与分割前原人脸区域图片进行图像通道层合并；
[0010]将合并的图片输入至带有注意力模型的注意力机制UNet网络对脸部像素进行分类，并输出加权后的人脸区域特征图后输入至预先训练好的鉴伪分类神经网络模型中输出图片鉴伪分类结果。
[0011]进一步地，将得到的人脸检测框按预设比例放大后剪裁出人脸区域，具体包括：
[0012]将人脸检测框向外扩大50％得到新的人脸检测框后裁剪出人脸区域。
[0013]进一步地，对获取的人脸区域进行分割，得到多个不同脸部分割区域信息，具体包括：
[0014]分割区域包括：头发、左眉毛、右眉毛、左瞳孔、右瞳孔、鼻子、上嘴唇、下嘴唇、口腔、左耳朵、右耳朵、脸皮肤以及脖子区域；
[0015]每个区域都用一个H*W*1的数据块进行表示，属于该区域的像素值为1，不属于该区域的像素值为0，得到的13个部分组成了H*W*13的数据块，H是图片纵向的像素个数，W是横向的像素个数。
[0016]进一步地，将得到的不同脸部分割区域信息与原人脸区域图片进行通道层合并，具体包括：
[0017]将RGB三通道格式的原人脸图片H*W*3和对应脸部分割信息H*W*13在进行通道层合并，得到H*W*16的数据块。
[0018]进一步地，所述注意力机制UNet网络包括UNet网络模型和注意力模型，所述UNet网络模型总体分为四层下采样和对应的四层上采样，在每一个下采样和上采样后都进行两次卷积，所述注意力模型用于在每一次做完下采样和两次卷积后，都使用一个3
×
3卷积核输出与原输入人脸区域图片通道数一致的结果，然后对输出结果按像素进行Sigmod操作，使每个像素的值变为0到1之间的数值，即得到了一个代表每个像素应获关注程度的热图，使用得到的热图与原始输入人脸区域图片进行对应像素相乘，得到加权后的人脸区域特征图。
[0019]进一步地，所述鉴伪分类神经网络模型基于ResNext分类网络构建。
[0020]进一步地，所述图片鉴伪分类结果为真实或造假图片。
[0021]进一步地，所述方法还包括对鉴伪分类神经网络模型进行训练，具体为：
[0022]利用损失函数反向传播训练网络参数，每一轮训练迭代结束后，将验证集的人脸区域特征图输入到网络中进行预测，得到验证集的准确率，当训练集的损失函数收敛，并且验证集的准确率最高时，结束模型的训练，保存此时模型的参数作为最优参数。
[0023]根据本专利技术实施例的第二方面，提出了一种基于脸部区域注意力机制的深度图片鉴伪系统，所述系统包括：
[0024]人脸检测模块，用于对待鉴别图片进行人脸检测，并将得到的人脸检测框按预设比例放大后剪裁出人脸区域图片；
[0025]人脸分割模块，用于对获取的人脸区域图片进行分割，得到多个不同脸部分割区域图片；
[0026]图像合并模块，用于将分割后得到的不同脸部分割区域图片与分割前原人脸区域图片进行图像通道层合并；
[0027]鉴伪模块，用于将合并的图片输入至带有注意力模型的注意力机制UNet网络对脸部像素进行分类，并输出加权后的人脸区域特征图后输入至预先训练好的鉴伪分类神经网
络模型中输出图片鉴伪分类结果。
[0028]本专利技术具有如下优点：
[0029]本专利技术提出的一种基于脸部区域注意力机制的深度图片鉴伪方法及系统，对待鉴别图片进行人脸检测，并将得到的人脸检测框按预设比例放大后剪裁出人脸区域图片；对获取的人脸区域图片进行分割，得到多个不同脸部分割区域图片；将分割后得到的不同脸部分割区域图片与分割前原人脸区域图片进行图像通道层合并；将合并的图片输入至带有注意力模型的注意力机制UNet网络对脸部像素进行分类，并输出加权后的人脸区域特征图后输入至预先训练好的鉴伪分类神经网络模型中输出图片鉴伪分类结果。通过添加人脸分割信息和带有注意力模型的注意力机制UNet网络进行预处理，实现人为预先告知模型不同的人脸分割区域很有可能是需要关注的地方，提升有效信息保留和提取效率，为分类网络提供更多信息。通过对基于生成图片分布违和检测的鉴伪方法做进一步改进，让基于人脸图片的造假鉴伪有更优的准确率和鲁棒性。
附图说明
[0030]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脸部区域注意力机制的深度图片鉴伪方法，其特征在于，所述方法包括：对待鉴别图片进行人脸检测，并将得到的人脸检测框按预设比例放大后剪裁出人脸区域图片；对获取的人脸区域图片进行分割，得到多个不同脸部分割区域图片；将分割后得到的不同脸部分割区域图片与分割前原人脸区域图片进行图像通道层合并；将合并的图片输入至带有注意力模型的注意力机制UNet网络对脸部像素进行分类，并输出加权后的人脸区域特征图后输入至预先训练好的鉴伪分类神经网络模型中输出图片鉴伪分类结果。2.根据权利要求1所述的一种基于脸部区域注意力机制的深度图片鉴伪方法，其特征在于，将得到的人脸检测框按预设比例放大后剪裁出人脸区域，具体包括：将人脸检测框向外扩大50％得到新的人脸检测框后裁剪出人脸区域。3.根据权利要求1所述的一种基于脸部区域注意力机制的深度图片鉴伪方法，其特征在于，对获取的人脸区域进行分割，得到多个不同脸部分割区域信息，具体包括：分割区域包括：头发、左眉毛、右眉毛、左瞳孔、右瞳孔、鼻子、上嘴唇、下嘴唇、口腔、左耳朵、右耳朵、脸皮肤以及脖子区域；每个区域都用一个H*W*1的数据块进行表示，属于该区域的像素值为1，不属于该区域的像素值为0，得到的13个部分组成了H*W*13的数据块，H是图片纵向的像素个数，W是横向的像素个数。4.根据权利要求3所述的一种基于脸部区域注意力机制的深度图片鉴伪方法，其特征在于，将得到的不同脸部分割区域信息与原人脸区域图片进行通道层合并，具体包括：将RGB三通道格式的原人脸图片H*W*3和对应脸部分割信息H*W*13在进行通道层合并，得到H*W*16的数据块。5.根据权利要求1所述的一种基于脸部区域注意力机制的深度图片鉴伪方法，其特征在于，所述注意力机制UNet网络包括UNet网络模型和注意力模型，所述UNet网络模型总体分为四层下采样和对应的四...

【专利技术属性】
技术研发人员：朱州，
申请(专利权)人：北京影数科技有限公司，
类型：发明
国别省市：