基于神经网络的人脸分类方法、装置、设备和存储介质制造方法及图纸

本申请涉及人工智能，提供一种基于神经网络的人脸分类方法、装置、设备和存储介质，可以用于在获取读取医疗影像权限之前识别伪造人脸图像，其中方法包括：对人脸图像进行预处理，将预处理得到的所有分频图像输入已训练神经网络的第一残差层进行特征提取，得到频域注意力图；将人脸图像输入已训练神经网络的第二残差层进行特征提取，得到空域注意力图；将频域注意力图和空域注意力图相加，得到空间注意力图；对由空间注意力图得到的加权频域特征和加权空域特征进行二分类，得到分类结果。空域特征和频域特征之间能够相互指导和补充，从而检测出人脸图像中的图像伪影，增强对高压缩视频中的伪造人脸图像的分类能力。中的伪造人脸图像的分类能力。中的伪造人脸图像的分类能力。

【技术实现步骤摘要】
基于神经网络的人脸分类方法、装置、设备和存储介质


[0001]本申请涉及人工智能
，例如涉及基于神经网络的人脸分类方法、装置、设备和存储介质。

技术介绍

[0002]深度伪造技术用于伪造人脸图像，深度伪造技术可以在保留源视频对象的声音、表情和姿态的同时，用任意目标对象的人脸替换源视频中的人脸。在医疗领域中需要经常读取医疗影像，在读取医疗影像之前需要进行人脸验证，使用从高压缩视频中获取的伪造人脸图像可能会通过人脸验证，获取医疗影像的读取权限。目前对深度伪造图像的检测主要注重于捕捉深度伪造图像的生成流水线中对归一化目标人脸进行扭曲、仿射变换或上采样时引入的图像伪影，这些图像伪影在视频质量高的时候能够有效区分真实人脸图像和伪造人脸图像，然而，为了减少传输成本，目前散播于互联网上的深度伪造视频一般都经过高程度的压缩，视频压缩过程中的信息降采样会使得空域上的图像伪影更加难以识别，致使现有的人脸分类模型在处理高压缩视频时容易出现误分类的情况。

技术实现思路

[0003]本申请提供一种基于神经网络的人脸分类方法、装置、设备和存储介质，旨在解决现有的人脸分类模型在处理高压缩视频时容易出现误分类的问题。
[0004]为解决上述问题，本申请采用以下技术方案：
[0005]本文提供了基于神经网络的人脸分类方法，包括：
[0006]获取人脸图像，对所述人脸图像进行预处理，得到多个分频图像；
[0007]将所有所述分频图像输入已训练神经网络的第一残差层进行特征提取，得到频域注意力图；/>[0008]将所述人脸图像输入所述已训练神经网络的第二残差层进行特征提取，得到空域注意力图；
[0009]将所述频域注意力图和所述空域注意力图相加，得到空间注意力图；
[0010]将所述空间注意力图乘以频域特征，得到加权频域特征；
[0011]将所述空间注意力图乘以空域特征，得到加权空域特征；
[0012]根据所述加权频域特征和所述加权空域特征进行二分类，得到分类结果。
[0013]优选地，所述根据所述加权频域特征和所述加权空域特征进行二分类，得到分类结果，包括：
[0014]将所述加权频域特征和所述加权空域特征进行连接，得到连接特征；
[0015]将所述连接特征输入所述已训练神经网络的分类层进行二分类，得到所述分类结果。
[0016]优选地，所述对所述人脸图像进行预处理，得到多个分频图像，包括：
[0017]对所述人脸图像进行傅里叶变换，得到所述频域图像；
[0018]对所述频域图像进行分频滤波，得到多个滤波图像；
[0019]对各个所述滤波图像进行傅里叶逆变换，得到多个所述分频图像。
[0020]优选地，所述得到加权空域特征之后，还包括：
[0021]将所述加权频域特征输入所述已训练神经网络的第三残差层进行特征提取，得到更新后频域注意力图；
[0022]将所述加权空域特征输入所述已训练神经网络的第四残差层进行特征提取，得到更新后空域注意力图；
[0023]将所述更新后频域注意力图和所述更新后空域注意力图相加，得到更新后空间注意力图；
[0024]将所述更新后空间注意力图乘以更新后频域特征，得到更新后加权频域特征；
[0025]将所述更新后空间注意力图乘以更新后空域特征，得到更新后加权空域特征；
[0026]根据所述更新后加权频域特征和所述更新后加权空域特征进行二分类，得到所述分类结果。
[0027]优选地，所述将所有所述分频图像输入已训练神经网络的第一残差层进行特征提取，得到频域注意力图，包括：
[0028]将所有所述分频图像输入所述已训练神经网络的所述第一残差层进行特征提取，得到所述频域特征；
[0029]将所述频域特征输入所述已训练神经网络的第一卷积层进行卷积，得到所述频域注意力图。
[0030]优选地，所述将所述人脸图像输入所述已训练神经网络的第二残差层进行特征提取，得到空域注意力图，包括：
[0031]将所述人脸图像输入所述已训练神经网络的所述第二残差层进行特征提取，得到所述空域特征；
[0032]将所述空域特征输入所述已训练神经网络的第二卷积层进行卷积，得到所述空域注意力图。
[0033]优选地，所述已训练神经网络由对待训练神经网络使用人脸图像训练集训练得到，所述人脸图像训练集包括多张所述人脸图像。
[0034]本申请还提供了一种基于神经网络的人脸分类装置，包括：
[0035]人脸图像预处理模块，用于获取人脸图像，对所述人脸图像进行预处理，得到多个分频图像；
[0036]第一特征提取模块，用于将所有所述分频图像输入已训练神经网络的第一残差层进行特征提取，得到频域注意力图；
[0037]第二特征提取模块，用于将所述人脸图像输入所述已训练神经网络的第二残差层进行特征提取，得到空域注意力图；
[0038]空间注意力图计算模块，用于将所述频域注意力图和所述空域注意力图相加，得到空间注意力图；
[0039]加权频域特征计算模块，用于将所述空间注意力图乘以频域特征，得到加权频域特征；
[0040]加权空域特征计算模块，用于将所述空间注意力图乘以空域特征，得到加权空域
特征；
[0041]第一二分类模块，用于根据所述加权频域特征和所述加权空域特征进行二分类，得到分类结果。
[0042]本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的基于神经网络的人脸分类方法的步骤。
[0043]本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于神经网络的人脸分类方法的步骤。
[0044]本申请的基于神经网络的人脸分类方法，包括获取人脸图像，对人脸图像进行预处理，得到多个分频图像；将所有分频图像输入已训练神经网络的第一残差层进行特征提取，得到频域注意力图；将人脸图像输入已训练神经网络的第二残差层进行特征提取，得到空域注意力图；将频域注意力图和空域注意力图相加，得到空间注意力图；将空间注意力图乘以频域特征，得到加权频域特征；将空间注意力图乘以空域特征，得到加权空域特征；根据加权频域特征和加权空域特征进行二分类，得到分类结果。通过将频域注意力图和空域注意力图相加，使得空域特征和频域特征之间能够相互指导和补充，从而检测出人脸图像中的图像伪影，增强对高压缩视频中的伪造人脸图像的分类能力。
附图说明
[0045]图1为一实施例的基于神经网络的人脸分类方法的流程示意图；
[0046]图2为一实施例的根据加权频域特征和加权空域特征进行二分类的流程示意图；
[0047]图3为一实施例的对人脸图像进行预处理的流程示意图；
[0048]图4为一实施例的根据更新后加权频域特征和更新后加权空域特征进行二分类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的人脸分类方法，其特征在于，包括：获取人脸图像，对所述人脸图像进行预处理，得到多个分频图像；将所有所述分频图像输入已训练神经网络的第一残差层进行特征提取，得到频域注意力图；将所述人脸图像输入所述已训练神经网络的第二残差层进行特征提取，得到空域注意力图；将所述频域注意力图和所述空域注意力图相加，得到空间注意力图；将所述空间注意力图乘以频域特征，得到加权频域特征；将所述空间注意力图乘以空域特征，得到加权空域特征；根据所述加权频域特征和所述加权空域特征进行二分类，得到分类结果。2.根据权利要求1所述的基于神经网络的人脸分类方法，其特征在于，所述根据所述加权频域特征和所述加权空域特征进行二分类，得到分类结果，包括：将所述加权频域特征和所述加权空域特征进行连接，得到连接特征；将所述连接特征输入所述已训练神经网络的分类层进行二分类，得到所述分类结果。3.根据权利要求1所述的基于神经网络的人脸分类方法，其特征在于，所述对所述人脸图像进行预处理，得到多个分频图像，包括：对所述人脸图像进行傅里叶变换，得到所述频域图像；对所述频域图像进行分频滤波，得到多个滤波图像；对各个所述滤波图像进行傅里叶逆变换，得到多个所述分频图像。4.根据权利要求1所述的基于神经网络的人脸分类方法，其特征在于，所述得到加权空域特征之后，还包括：将所述加权频域特征输入所述已训练神经网络的第三残差层进行特征提取，得到更新后频域注意力图；将所述加权空域特征输入所述已训练神经网络的第四残差层进行特征提取，得到更新后空域注意力图；将所述更新后频域注意力图和所述更新后空域注意力图相加，得到更新后空间注意力图；将所述更新后空间注意力图乘以更新后频域特征，得到更新后加权频域特征；将所述更新后空间注意力图乘以更新后空域特征，得到更新后加权空域特征；根据所述更新后加权频域特征和所述更新后加权空域特征进行二分类，得到所述分类结果。5.根据权利要求1所述的基于神经网络的人脸分类方法，其特征在于，所述将所有所述分频图像输入已训练神经网络的第一残...

【专利技术属性】
技术研发人员：郑喜民，孙雨旸，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：