基于视觉语义信息的人脸伪造检测方法和装置制造方法及图纸

本发明专利技术提供一种基于视觉语义信息的人脸伪造检测方法和装置，其中方法包括：确认待检测人脸图像；基于人脸伪造检测模型，提取所述待检测人脸图像的图像上下文特征和人脸区域特征，基于所述图像上下文特征和所述人脸区域特征，确定人脸区域关系特征，并基于所述人脸区域关系特征，确定所述待检测人脸图像的伪造检测结果；所述图像上下文特征和所述人脸区域特征表征所述待检测人脸图像中的视觉语义信息；其中，所述人脸伪造检测模型是基于样本人脸图像及其样本伪造检测结果训练得到的。本发明专利技术提高了人脸伪造检测准确性，尤其是未知伪造方法对应的图像的检测准确性，提升了人脸伪造检测模型的泛化能力。检测模型的泛化能力。检测模型的泛化能力。

【技术实现步骤摘要】
基于视觉语义信息的人脸伪造检测方法和装置


[0001]本专利技术涉及图像处理
，尤其涉及一种基于视觉语义信息的人脸伪造检测方法和装置。

技术介绍

[0002]人脸伪造检测，是指判断人脸图像是否是经过换脸、生成等技术对视频或图像中的人脸进行伪造后的假图像，对维护网络环境、保护个人隐私等具有重要意义。
[0003]随着深度学习的发展，篡改图像方法的性能越来越好，篡改的效果越来越逼真，肉眼难以分辨真假。目前的人脸伪造检测方法通常采用深度学习技术，利用伪造时所产生的伪影对图像进行鉴别。例如，利用篡改造成的生物特征不连续的特性进行鉴伪，如头部姿势、眼球的反光点等。除此之外，还可以利用数据驱动的方法对图像进行鉴别。
[0004]然而，由于鉴伪任务是以现存的伪造方法为前提而提出的，虽然在对应测试集上已经达到了优越的性能，但当其对未见过的数据集进行鉴别时，性能会急剧下降。故鉴伪模型的泛化性成为该任务中极具挑战性的问题。另外，现有的方法通常使用深度神经网络作为基准，而深度神经网络无法很好地对长距离的特征进行建模，故无法很好地利用人脸语义特征。

技术实现思路

[0005]本专利技术提供一种基于视觉语义信息的人脸伪造检测方法和装置，用以解决现有技术中伪造检测准确性欠佳的缺陷。
[0006]本专利技术提供一种基于视觉语义信息的人脸伪造检测方法，包括：
[0007]确认待检测人脸图像；
[0008]基于人脸伪造检测模型，提取所述待检测人脸图像的图像上下文特征和人脸区域特征，基于所述图像上下文特征和所述人脸区域特征，确定人脸区域关系特征，并基于所述人脸区域关系特征，确定所述待检测人脸图像的伪造检测结果；所述图像上下文特征和所述人脸区域特征表征所述待检测人脸图像中的视觉语义信息；
[0009]其中，所述人脸伪造检测模型是基于样本人脸图像及其样本伪造检测结果训练得到的。
[0010]根据本专利技术提供的一种基于视觉语义信息的人脸伪造检测方法，所述提取所述待检测人脸图像的图像上下文特征，具体包括：
[0011]基于所述人脸伪造检测模型的图像特征提取层，提取所述待检测人脸图像的图像特征编码；
[0012]基于所述人脸伪造检测模型的多个上下文编码层，对所述图像特征编码进行多头自注意力变换，得到所述图像上下文特征。
[0013]根据本专利技术提供的一种基于视觉语义信息的人脸伪造检测方法，所述基于所述人脸伪造检测模型的多个上下文编码层，对所述图像特征编码进行多头自注意力变换，得到
所述图像上下文特征，具体包括：
[0014]基于上一上下文编码层的输出向量和编码器位置编码，进行自注意力变换，得到当前上下文编码层的输出向量；
[0015]其中，首个上下文编码层的输入为所述图像特征编码，最后一个上下文编码层的输出为所述图像上下文特征。
[0016]根据本专利技术提供的一种基于视觉语义信息的人脸伪造检测方法，所述基于所述图像上下文特征和所述人脸区域特征，确定人脸区域关系特征，具体包括：
[0017]将所述图像上下文特征与所述人脸区域特征融合，得到视觉语义特征；
[0018]基于所述人脸伪造检测模型的多个解码层，对所述视觉语义特征进行解码，得到所述人脸区域关系特征。
[0019]根据本专利技术提供的一种基于视觉语义信息的人脸伪造检测方法，所述基于所述人脸伪造检测模型的多个解码层，对所述视觉语义特征进行解码，得到所述人脸区域关系特征，具体包括：
[0020]利用自注意力机制和交叉注意力机制，提取上一解码层的输出向量中局部人脸区域之间的关系以及局部人脸区域与全脸间的关系，得到当前解码层的输出向量；
[0021]其中，首个解码层的输入为所述视觉语义特征，最后一个解码层的输出向量为所述人脸区域关系特征。
[0022]根据本专利技术提供的一种基于视觉语义信息的人脸伪造检测方法，所述利用自注意力机制和交叉注意力机制，提取上一解码层的输出向量中局部人脸区域之间的关系以及局部人脸区域与全脸间的关系，得到当前解码层的输出向量，具体包括：
[0023]基于上一解码层的输出向量，进行自注意力变换，得到当前解码层对应的自注意力编码；
[0024]基于当前解码层对应的自注意力编码、所述图像上下文特征和解码器位置编码，进行注意力变换，得到当前解码层的输出向量。
[0025]根据本专利技术提供的一种基于视觉语义信息的人脸伪造检测方法，所述人脸区域特征是基于如下步骤确定的：
[0026]基于所述人脸伪造检测模型的人脸解析层，对所述待检测人脸图像进行人脸解析，得到区域特征图；
[0027]对所述区域特征图进行最邻近插值下采样，得到所述人脸区域特征。
[0028]本专利技术还提供一种基于视觉语义信息的人脸伪造检测装置，包括：
[0029]图像确认单元，用于确认待检测人脸图像；
[0030]伪造检测单元，用于基于人脸伪造检测模型，提取所述待检测人脸图像的图像上下文特征和人脸区域特征，基于所述图像上下文特征和所述人脸区域特征，确定人脸区域关系特征，并基于所述人脸区域关系特征，确定所述待检测人脸图像的伪造检测结果；所述图像上下文特征和所述人脸区域特征表征所述待检测人脸图像中的视觉语义信息；
[0031]其中，所述人脸伪造检测模型是基于样本人脸图像及其样本伪造检测结果训练得到的。
[0032]本专利技术还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所
述基于视觉语义信息的人脸伪造检测方法的步骤。
[0033]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于视觉语义信息的人脸伪造检测方法的步骤。
[0034]本专利技术提供的基于视觉语义信息的人脸伪造检测方法和装置，基于人脸伪造检测模型，提取待检测人脸图像的图像上下文特征和人脸区域特征，得到丰富的视觉语义信息，从而基于图像上下文特征和人脸区域特征，确定人脸区域关系特征，并基于人脸区域关系特征，确定待检测人脸图像的伪造检测结果，提高了人脸伪造检测准确性，尤其是未知伪造方法对应的图像的检测准确性，提升了人脸伪造检测模型的泛化能力。
附图说明
[0035]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1为本专利技术提供的基于视觉语义信息的人脸伪造检测方法的流程示意图；
[0037]图2为本专利技术提供的编码解码方法的示意图；
[0038]图3为本专利技术提供的人脸伪造检测模型的结构示意图；
[0039]图4为本专利技术提供的数据库FaceForensics++上的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉语义信息的人脸伪造检测方法，其特征在于，包括：确认待检测人脸图像；基于人脸伪造检测模型，提取所述待检测人脸图像的图像上下文特征和人脸区域特征，基于所述图像上下文特征和所述人脸区域特征，确定人脸区域关系特征，并基于所述人脸区域关系特征，确定所述待检测人脸图像的伪造检测结果；所述图像上下文特征和所述人脸区域特征表征所述待检测人脸图像中的视觉语义信息；其中，所述人脸伪造检测模型是基于样本人脸图像及其样本伪造检测结果训练得到的。2.根据权利要求1所述的基于视觉语义信息的人脸伪造检测方法，其特征在于，所述提取所述待检测人脸图像的图像上下文特征，具体包括：基于所述人脸伪造检测模型的图像特征提取层，提取所述待检测人脸图像的图像特征编码；基于所述人脸伪造检测模型的多个上下文编码层，对所述图像特征编码进行多头自注意力变换，得到所述图像上下文特征。3.根据权利要求2所述的基于视觉语义信息的人脸伪造检测方法，其特征在于，所述基于所述人脸伪造检测模型的多个上下文编码层，对所述图像特征编码进行多头自注意力变换，得到所述图像上下文特征，具体包括：基于上一上下文编码层的输出向量和编码器位置编码，进行自注意力变换，得到当前上下文编码层的输出向量；其中，首个上下文编码层的输入为所述图像特征编码，最后一个上下文编码层的输出为所述图像上下文特征。4.根据权利要求1所述的基于视觉语义信息的人脸伪造检测方法，其特征在于，所述基于所述图像上下文特征和所述人脸区域特征，确定人脸区域关系特征，具体包括：将所述图像上下文特征与所述人脸区域特征融合，得到视觉语义特征；基于所述人脸伪造检测模型的多个解码层，对所述视觉语义特征进行解码，得到所述人脸区域关系特征。5.根据权利要求4所述的基于视觉语义信息的人脸伪造检测方法，其特征在于，所述基于所述人脸伪造检测模型的多个解码层，对所述视觉语义特征进行解码，得到所述人脸区域关系特征，具体包括：利用自注意力机制和交叉注意力机制，提取上一解码层的输出向量中局部人脸区域之间的关系...

【专利技术属性】
技术研发人员：赫然，黄怀波，徐雨婷，贾耕云，段俊贤，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：