【技术实现步骤摘要】
本专利技术涉及人脸检测，具体涉及一种基于双分支特征增强的伪造人脸检测方法。
技术介绍
1、随着人工智能和计算机视觉技术的快速发展，一些换脸的开放软件和移动应用程序在社交网络上迅速流行起来，任何人都可以快速的创建虚假图像和视频，这是一把双刃剑，一方面可以对很多行业有积极的用途，包括电影、游戏和娱乐等各种商业领域，另一方面不法分子滥用、冒用、恶意利用伪造人脸信息进行违法行为，严重侵犯了个人隐私，影响了公共安全乃至国家安全。目前常用的伪造人脸检测方法主要是基于空间特征的检测方法和基于时空特征融合的检测方法，然而这些方法在现实世界部署时，面对不可见的攻击会出现性能下降等问题。
技术实现思路
1、本专利技术为了克服以上技术的不足，提供了一种检测准确性高的基于双分支特征增强的伪造人脸检测方法。
2、本专利技术克服其技术问题所采用的技术方案是：
3、一种基于双分支特征增强的伪造人脸检测方法，包括如下步骤：
4、a)获取n帧人脸图像，得到人脸图像集x，x＝{x1,x2,...,xi,...,xn}，xi为第i张人脸图像，i∈{1,...,n}；
5、b)获取第i张人脸图像xi的左眼关键点及右眼关键点
6、c)对第i张人脸图像进行预处理，得到人脸rgb图像
7、d)将人脸rgb图像转换为频域图像
8、e)将人脸rgb图像输入到efficientnet-b4模型中，输出得到低级纹理特征fr，将频域图像输入到effici
9、f)建立特征增强模块，将低级纹理特征fr输入到特征增强模块中，输出得到噪声增强的特征将低级纹理特征ff输入到特征增强模块中，输出得到噪声增强的特征
10、g)建立网络卷积注意力模块，将噪声增强的特征输入到网络卷积注意力模块中，输出得到特征将噪声增强的特征输入到网络卷积注意力模块中，输出得到特征
11、h)建立虚假检测模块，将特征与特征输入到虚假检测模块中，输出得到特征f″″ch；
12、i)根据特征f″″ch得到人脸检测结果。
13、进一步的，步骤a)包括如下步骤：
14、a-1)利用cv2包中的videocapture函数从faceforensics++数据集中等间距选取m帧图像；
15、a-2)利用dlib库中的get_frontal_face_detector函数对每帧图像进行人脸检测，如果该帧图像不包含人脸，则跳过该帧选取下一帧图像，如果该帧图像包含多个人脸，则利用retinaface算法计算该帧图像中每个人脸的置信度，选取置信度最高的人脸作为该帧的人脸图像，得到n帧人脸图像构成的x，x＝{x1,x2,...,xi,...,xn}。
16、进一步的，步骤b)中同dlib库中的shape_predictor函数计算得到第i张人脸图像xi的左眼关键点及右眼关键点进一步的，步骤c)包括如下步骤：
17、c-1)计算眼关键点和右眼关键点的坐标平均值，得到眼睛的中心坐标
18、c-2)根据眼睛的中心坐标利用match库中的atan2函数计算得到两眼中心连线相对于水平线的旋转角度θ；
19、c-3)根据旋转角度θ利用cv2库中getrotationmatrix2d函数计算得到仿射矩阵rm；
20、c-4)根据仿射矩阵rm利用cv2库中warpaffine函数对第i张人脸图像xi进行放射变换，得到对齐后的人脸rgb图像r为实数空间，c为通道数，h为人脸rgb图像的高度，w为人脸rgb图像的宽度。进一步的，步骤d)包括如下步骤：
21、d-1)通过numpy库中的array函数将人脸rgb图像转换为numpy数组d-2)通过numpy库中的astype函数将numpy数组中的像素值转换为浮点数并进行归一化处理，得到浮点数的数组d-3)通过pytorch中的torch.tensor()函数将浮点数的数组转换为张量
22、d-4)通过pytorch中的torch.fft.fft2()函数将张量转换为频域图像
23、进一步的，步骤f)包括如下步骤：
24、f-1)特征增强模块由rgb流特征增强模块rfem、频域流特征增强模块ffem构成；f-2)rgb流特征增强模块rfem由高斯滤波单元、双边滤波单元、prelu单元构成，将低级纹理特征fr输入到高斯滤波单元，通过cv2库中的gaussianblur函数对低级纹理特征fr进行高斯滤波，得到降低空间噪声的特征将特征输入到双边滤波单元中，通过cv2库中的bilateralfilter函数对特征进行双边滤波得到增强优化的特征将特征输入到prelu单元中，利用torch库中的prelu激活函数对特征增加噪声的振幅，得到增强的特征将增强的特征与低级纹理特征fr进行相加操作，得到噪声增强的特征
25、f-3)频域流特征增强模块ffem由sobel滤波单元、随机噪声增加单元、leakeyrelu激活函数构成，将低级纹理特征ff输入到sobel滤波单元中，利用sobel滤波器对低级纹理特征ff进行卷积操作，得到优化的特征将优化的特征输入到随机噪声增加单元中，利用pytorch中的torch.randn_like()函数生成随机噪声将随机噪声与低级纹理特征ff进行相加操作，得到特征将特征输入到leakeyrelu激活函数中，输出得到噪声增强的特征
26、进一步的，步骤g)包括如下步骤：
27、g-1)网络卷积注意力模块由通道注意力模块、空间注意力模块构成；
28、g-2)网络卷积注意力模块的通道注意力模块由全局平均池化层、全局最大池化层、第一卷积层、第一batchnorm层、relu函数、第二卷积层、第二batchnorm层、sigmoid函数构成，将噪声增强的特征输入到通道注意力模块的全局平均池化层中，输出得到特征将特征输入到通道注意力模块的全局最大池化层中，输出得到特征将特征与特征进行相加操作，得到特征将特征输入到通道注意力模块的第一卷积层中，输出得到特征将特征输入到通道注意力模块的batchnorm层中，输出得到特征将特征输入到通道注意力模块的relu函数中，输出得到特征将特征输入到通道注意力模块的第二卷积层中，输出得到特征将特征输入到通道注意力模块的第二batchnorm层中，输出得到特征将特征输入到通道注意力模块的sigmoid函数中，输出得到特征权重将特征权重与噪声增强的特征进行相乘操作，得到特征将噪声增强的特征输入到通道注意力模块的全局平均池化层中，输出得到特征将特征输入到通道注意力模块的全局最大池化层中，输出得到特征将特征与特征进行相加操作，得到特征将特征输入到通道注意力模块的第一卷积层中，输出得到特征将特征输入到通道注意力模块的batchnorm层中，输出得到特征将特征输入到通道注意力模块的relu函数中，输出得到特本文档来自技高网...
【技术保护点】
1.一种基于双分支特征增强的伪造人脸检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于双分支特征增强的伪造人脸检测方法，其特征在于，步骤a)包括如下步骤：
3.根据权利要求1所述的基于双分支特征增强的伪造人脸检测方法，其特征在于：步骤b)中同dlib库中的shape_predictor函数计算得到第i张人脸图像Xi的左眼关键点及右眼关键点
4.根据权利要求1所述的基于双分支特征增强的伪造人脸检测方法，其特征在于，步骤c)包括如下步骤：
5.根据权利要求4所述的基于双分支特征增强的伪造人脸检测方法，其特征在于，步骤d)包括如下步骤：
6.根据权利要求1所述的基于双分支特征增强的伪造人脸检测方法，其特征在于，步骤f)包括如下步骤：
7.根据权利要求1所述的基于双分支特征增强的伪造人脸检测方法，其特征在于，步骤g)包括如下步骤：
8.根据权利要求7所述的基于双分支特征增强的伪造人脸检测方法，其特征在于，步骤h)包括如下步骤：
9.根据权利要求1所述的基于双分支特征增强的伪造人
...【技术特征摘要】
1.一种基于双分支特征增强的伪造人脸检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于双分支特征增强的伪造人脸检测方法，其特征在于，步骤a)包括如下步骤：
3.根据权利要求1所述的基于双分支特征增强的伪造人脸检测方法，其特征在于：步骤b)中同dlib库中的shape_predictor函数计算得到第i张人脸图像xi的左眼关键点及右眼关键点
4.根据权利要求1所述的基于双分支特征增强的伪造人脸检测方法，其特征在于，步骤c)包括如下步骤：
5.根据权利要求...
【专利技术属性】
技术研发人员：刘瑞霞，王其昌，舒明雷，徐鹏摇，刘照阳，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。