一种用于人脸深伪检测的方法和装置制造方法及图纸

本申请提供了一种用于人脸深伪检测的方法和装置，该方法包括：从输入图像中提取多层第一特征信息；通过对所述多层第一特征信息进行特征融合得到多层第二特征信息；对所述多层第二特征信息中的每层第二特征信息分别进行语义融合，得到多层第三特征信息，并将每层第三特征信息分别输入至多任务深伪检测网络，得到所述多任务深伪检测网络输出的深伪检测结果，其中，所述多任务深伪检测网络中协同执行的多任务包括人脸分类、人脸定位以及伪造人脸检测。本申请的方案中能够一阶段同步完成人脸分类、人脸定位以及伪造人脸检测等多任务，可以极大地提高人脸深伪检测速度，且能够提高人脸深伪检测精度。脸深伪检测精度。脸深伪检测精度。

【技术实现步骤摘要】
一种用于人脸深伪检测的方法和装置


[0001]本申请涉及计算机
，尤其涉及一种一阶段多任务协同的用于人脸深伪检测的技术方案。

技术介绍

[0002]随着机器学习和计算机视觉技术的进步，深度伪造(Deepfake)技术也得到了快速发展。深度伪造，是指基于深度学习等智能化方法创建或合成视听觉内容(如图像、音视频、文本等)。深度伪造数据的滥用带来了大量的安全隐患和隐私隐患，因此，针对深度伪造数据的检测任务也得到越来越多的重视。人脸伪造(Face Forgery)特指深度伪造中针对人脸的篡改技术，人脸深伪检测，即判定给定图片中所包含的人脸是否系伪造生成。
[0003]现有技术中，人脸深伪检测技术通常采用两阶段流程。其中，第一阶段采用现有的人脸检测工具检测出人脸框并将人脸区域裁剪出来；第二阶段采用人脸深伪分析工具对上一步中得到的人脸进行研判。

技术实现思路

[0004]本申请的目的是提供一种用于人脸深伪检测的技术方案。
[0005]根据本申请的一个实施例，提供一种用于人脸深伪检测的方法，其中，该方法包括：
[0006]从输入图像中提取多层第一特征信息；
[0007]通过对所述多层第一特征信息进行特征融合得到多层第二特征信息；
[0008]对所述多层第二特征信息中的每层第二特征信息分别进行语义融合，得到多层第三特征信息，并将每层第三特征信息分别输入至多任务深伪检测网络，得到所述多任务深伪检测网络输出的深伪检测结果，其中，所述多任务深伪检测网络中协同执行的多任务包括人脸分类、人脸定位以及伪造人脸检测。
[0009]根据本申请的另一个实施例，提供了一种用于人脸深伪检测的装置，其中，该装置包括：
[0010]用于从输入图像中提取多层第一特征信息的模块；
[0011]用于通过对所述多层第一特征信息进行特征融合得到多层第二特征信息的模块；
[0012]用于对所述多层第二特征信息中的每层第二特征信息分别进行语义融合，得到多层第三特征信息，并将每层第三特征信息分别输入至多任务深伪检测网络，得到所述多任务深伪检测网络输出的深伪检测结果的模块，其中，所述多任务深伪检测网络中协同执行的多任务包括人脸分类、人脸定位以及伪造人脸检测。
[0013]根据本申请的另一个实施例，还提供了一种计算机设备，其中，所述计算机设备包括：存储器，用于存储一个或多个程序；一个或多个处理器，与所述存储器相连，当所述一个或多个程序被所述一个或者多个处理器执行时，使得所述一个或多个处理器执行如下操作：
[0014]从输入图像中提取多层第一特征信息；
[0015]通过对所述多层第一特征信息进行特征融合得到多层第二特征信息；
[0016]对所述多层第二特征信息中的每层第二特征信息分别进行语义融合，得到多层第三特征信息，并将每层第三特征信息分别输入至多任务深伪检测网络，得到所述多任务深伪检测网络输出的深伪检测结果，其中，所述多任务深伪检测网络中协同执行的多任务包括人脸分类、人脸定位以及伪造人脸检测。
[0017]根据本申请的另一个实施例，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如下操作：
[0018]从输入图像中提取多层第一特征信息；
[0019]通过对所述多层第一特征信息进行特征融合得到多层第二特征信息；
[0020]对所述多层第二特征信息中的每层第二特征信息分别进行语义融合，得到多层第三特征信息，并将每层第三特征信息分别输入至多任务深伪检测网络，得到所述多任务深伪检测网络输出的深伪检测结果，其中，所述多任务深伪检测网络中协同执行的多任务包括人脸分类、人脸定位以及伪造人脸检测。
[0021]与现有技术相比，本申请具有以下优点：能够一阶段同步完成人脸分类、人脸定位以及伪造人脸检测等多任务，可以极大地提高人脸深伪检测速度；能够摆脱两阶段策略中第一阶段人脸定位效果对第二阶段深伪检测效果的限制，提高人脸深伪检测精度；通过一阶段多任务深伪检测网络，利用多任务协同学习的训练方式，提高鉴别特征的判别性，深度伪造检测任务的训练数据可以近乎零成本地生成分类、分割、目标检测等任务的标注数据，从而给检测模型提供更丰富的监督信息来提取更鲁棒的、具有判别性的特征。
附图说明
[0022]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
[0023]图1示出了本申请一个实施例的用于人脸深伪检测的方法的流程示意图；
[0024]图2示出了本申请一个示例的用于人脸深伪检测的设计流程框架；
[0025]图3示出了本申请一个示例的语义融合模块的示意图；
[0026]图4示出了本申请一个实施例的用于人脸深伪检测的装置的结构示意图；
[0027]图5示出了可被用于实施本申请中所述的各个实施例的示例性系统。
[0028]附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
[0029]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0030]在上下文中所称“设备”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行
在存储器中预存的程序指令来执行预定处理过程，或是由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)等硬件执行预定处理过程，或是由上述二者组合来实现。
[0031]本申请的技术方案主要由计算机设备来实现。其中，所述计算机设备包括网络设备和用户设备。所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于PC机、平板电脑、智能手机、IPTV、PDA、可穿戴设备等。其中，所述计算机设备可单独运行来实现本申请，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本申请。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。
[0032]需要说明的是，上述计算机设备仅为举例，其他现有的或今后可能出现的计算机设备如可适用于本申请，也应包含在本申请保护范围以内，并以引用方式包含于此。
[0033]本文后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于人脸深伪检测的方法，其中，该方法包括：从输入图像中提取多层第一特征信息；通过对所述多层第一特征信息进行特征融合得到多层第二特征信息；对所述多层第二特征信息中的每层第二特征信息分别进行语义融合，得到多层第三特征信息，并将每层第三特征信息分别输入至多任务深伪检测网络，得到所述多任务深伪检测网络输出的深伪检测结果，其中，所述多任务深伪检测网络中协同执行的多任务包括人脸分类、人脸定位以及伪造人脸检测。2.根据权利要求1所述的方法，其中，所述多任务深伪检测网络中协同执行的多任务还包括伪造区域定位。3.根据权利要求1所述的方法，其中，所述通过对所述多层第一特征信息进行特征融合得到多层第二特征信息，包括：对所述多层第一特征信息进行特征融合，得到融合后的多层第二特征信息；对所述融合后的多层第二特征信息中最高层级的第二特征信息进行采样，得到更高层级的第二特征信息。4.根据权利要求1至3中任一项所述的方法，其中，该方法还包括：根据所述深伪检测结果和样本标签，采用标签分配策略为所述深伪检测结果中的多个锚点或锚框赋予正负样本的标签，根据所述标签计算损失函数，其中，人脸分类采用二分类交叉熵损失，在人脸分类为正样本的基础上计算人脸伪造检测的交叉熵损失，人脸定位任务采用交并比损失。5.根据权利要求4所述的方法，其中，所述多任务深伪检测网络中协同执行的多任务还包括伪造区域定位，伪造区域定位的损失函数采用二分类交叉熵损失。6.根据权利要求4或5所述的方法，其中，该方法还包括：按预定比例对每个任务对应的损失函数进行加权，得到多任务协同损失函数。7.根据权利要求4所述的方法，其中，所述根据所述标签计算损失函数，包括：先对正样本按照距离中心点的欧式距离进行加权获得加权后的标签，之后根据所述输入图像对应的标签计算损失函数。8.一种用于人脸深伪检测的装置，其中，该装置包括：用于从输入图像中提取多层第一特征信息的模块；用于通过对所述多层第一特征信息进行特征融合得...

【专利技术属性】
技术研发人员：梁涛，杨青，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：