【技术实现步骤摘要】
本专利技术属于图像鉴伪领域，尤其涉及一种基于自增强的深度伪造图像鉴伪方法和系统。
技术介绍
1、深度伪造图像鉴别的对象是由深度伪造生成技术制作的视频或图像，但由于在鉴别视频时可以将视频流拆解为一帧一帧独立的视频帧，因此本质上仍是一种对于图像数据的处理、分析与分类问题。深度伪造这一概念具有两方面的限制条件，一方面是生成的技术必须是深度学习算法，采用图像编辑软件例如photoshop等手工或非深度学习的机器学习算法制作的图像不在本领域的研究范围内；另一方面特点是伪造的对象必须是包含人脸的图像，即生成的主体、伪造的内容是人脸，否则对于普通的物品图像没有研究的意义与价值。
2、现有技术
3、目前深度伪造鉴别领域中已经提出了大量的鉴别技术思路，其中绝大部分是尝试通过处理深度伪造图像从而捕捉现有伪造数据中微弱的伪造痕迹，这一思路可以在特定范围内的数据集中取得较好的效果，但是在开放场景中对没有学习过的新型深度伪造方法制作的合成人脸图像进行鉴别时，往往表现得鉴别效果不稳定。本方法所属的技术路线打破了这一局限思维，采用自增强的数据合成方式，甚至不需要采集现实中的深度伪造图像作为训练集的负样本，可以自行依据真实图像样本自行通过数据增强构造海量负样本。
4、在本方法所属的这一技术路线中，存在两种相近的前人提出的技术方案：
5、1）第一种方法简称face-xray，发表于论文《face x-ray for more general faceforgery detection》，该方法是第一种基于数据增强并
6、2）第二种方法简称self-blend，发表于论文《detecting deepfakes with self-blended images》，该方法也是一种基于数据增强的深伪鉴别技术，最大的贡献是采用同一张人脸进行拼接，不需要face-xray中的关键点匹配步骤。相比该方法，本专利技术提出的方法主要的区别与创新点在于，本方法可以撇除数据增强过程中多余的身份信息，避免鉴别算法错误地将部分身份特征视作了伪造痕迹用于鉴别，即提高了鉴别算法的实战应用能力。
7、现有技术的缺陷：
8、第一种方法face-xray提出一种基于关键点匹配与图像拼接的数据增强框架。该方法主要的缺点包括以下两方面：（1）拼接的类型只采用了固定的4类掩码，可以模拟的伪造类型有限。（2）采用的鉴别模型没有有效利用到不同层级的信息，信息损失严重。
9、第二种方法self-blend提出了一种基于同一张人脸图像数据增强的深度伪造鉴别方法。该方法主要的缺点包括以下两方面：（1）采用同一张人脸无导致增强后的图像身份信息有限、单一，后续从这些增强的图像中训练鉴伪模型时，模型会将部分身份特征视作了伪造痕迹用于鉴别。（2）同样地该方法也没有有效利用到不同层级的信息，信息损失严重。
技术实现思路
1、为解决上述技术问题，本专利技术提出一种基于自增强的深度伪造图像鉴伪方法的技术方案，以解决上述技术问题。
2、本专利技术第一方面公开了一种基于自增强的深度伪造图像鉴伪方法，所述方法包括：
3、步骤s1、借助对抗生成网络生成高清人脸图像数据集；采用关键点检测器对生成的高清人脸图像提取关键点坐标；通过所述关键点坐标构建初步掩码；对所述初步掩码做变形与增强，得到变形增强掩码；
4、步骤s2、对所述高清人脸图像和变形强掩码进行1~3次随机图像增强，得到1~3张具有差异的随机增强图像；对所述变形增强掩码进行1~3次随机掩码增强，得到1~3张随机增强掩码；将1~3张随机增强图像和1~3张随机增强掩码拼接，得到自增强图像；
5、步骤s3、将所述自增强图像输入浅层特征处理模块，得到浅层特征；将所述浅层特征输入中层特征处理模块，得到中层特征；将所述中层特征输入深层特征处理模块，得到深层特征；将所述浅层特征、中层特征和进行下采样拼接，得到拼接特征；将所述拼接特征输入分类器，得到鉴伪分析结果。
6、根据本专利技术第一方面的方法，在所述步骤s1中，所述借助对抗生成网络生成高清人脸图像数据集的方法包括：
7、向预训练好的对抗生成网络输入一个0~1之间的随机数，生成的图像分辨率为512像素×512像素，以上过程循环10万次得到包含10万张高清人脸图像；
8、所述采用关键点检测器对生成的高清人脸图像提取关键点坐标的方法包括：
9、应用开源工具dlib获取81个关键点坐标；
10、所述通过所述关键点坐标构建初步掩码的方法包括：
11、对于每一张高清人脸图像，针对“人脸下半部分”，采用第3~15号、第30号关键点相连围成的最小凸包，得到第一初步掩码；“额头部分”采用第69~79号关键点相连围成的最小凸包，得到第二初步掩码；“脸颊部分”采用第2~5号、第13~16号、第29~31号关键点相连围成的最小凸包，得到第三初步掩码。
12、根据本专利技术第一方面的方法，在所述步骤s1中，所述对所述初步掩码做变形与增强，得到变形增强掩码的方法包括：
13、对第一初步掩码、第二初步掩码和第三初步掩码的区域内的关键点，随机剔除1~2个关键点，再对剔除后的每个关键点的坐标值向上、下、左和右偏移1~5个像素点，得到偏移关键点；将所述偏移关键点相连围成的区域再次计算最小凸包，得到变形增强掩码。
14、根据本专利技术第一方面的方法，在所述步骤s2中，所述对所述高清人脸图像和变形强掩码进行1~3次随机图像增强，得到1~3张具有差异的随机增强图像的方法包括：
15、对于每一张高清人脸图像和变形强掩码，随机生成一个1~3之间的整数，作为图像增强的次数；在每一次图像增强中，采用基于高斯模糊的opencv的gaussian blur算法处理高清人脸图像和变形强掩码，blur的kernel参数取值为（5，5）；再对每一个像素点的数值随机×1.1或×0.9再取整，来改变图像的亮度。
16、根据本专利技术第一方面的方法，在所述步骤s2中，所述对所述变形增强掩码进行1~3次随机掩码增强，得到1~3张随机增强掩码的方法包括：
17、对每一张变形强掩码，随机生成一个1~3之间的整数，作为掩码增强的次数；在每一次掩码增强中，采用opencv的erode蒸馏算法与dilate钝化算法，对变形强掩码进行蒸馏，得到随机增强掩码。
18、根据本专利技术第一方面的方法，在所述步骤s3中，所述浅层特征处理模块包含5~6个第一卷积block；所述第一卷积block包含一个二维卷积层连接一个relu激活层；
19、所述中层特征处理模块包含5~6个第二卷积block；所述第二卷积block包含一个二维卷积层连接一个relu激活层后，再连本文档来自技高网...
【技术保护点】
1.一种基于自增强的深度伪造图像鉴伪方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于自增强的深度伪造图像鉴伪方法，其特征在于，在所述步骤S1中，所述借助对抗生成网络生成高清人脸图像数据集的方法包括：
3.根据权利要求2所述的一种基于自增强的深度伪造图像鉴伪方法，其特征在于，在所述步骤S1中，所述对所述初步掩码做变形与增强，得到变形增强掩码的方法包括：
4.根据权利要求1所述的一种基于自增强的深度伪造图像鉴伪方法，其特征在于，在所述步骤S2中，所述对所述高清人脸图像和变形强掩码进行1~3次随机图像增强，得到1~3张具有差异的随机增强图像的方法包括：
5.根据权利要求1所述的一种基于自增强的深度伪造图像鉴伪方法，其特征在于，在所述步骤S2中，所述对所述变形增强掩码进行1~3次随机掩码增强，得到1~3张随机增强掩码的方法包括：
6.根据权利要求1所述的一种基于自增强的深度伪造图像鉴伪方法，其特征在于，在所述步骤S3中，所述浅层特征处理模块包含5~6个第一卷积block；所述第一卷积block包含一个二维卷积层
7.根据权利要求1所述的一种基于自增强的深度伪造图像鉴伪方法，其特征在于，在所述步骤S3中，所述将所述浅层特征、中层特征和进行下采样拼接，得到拼接特征的方法包括：
8.一种用于基于自增强的深度伪造图像鉴伪系统，其特征在于，所述系统包括：
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至7中任一项所述的一种基于自增强的深度伪造图像鉴伪方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至7中任一项所述的一种基于自增强的深度伪造图像鉴伪方法中的步骤。
...【技术特征摘要】
1.一种基于自增强的深度伪造图像鉴伪方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于自增强的深度伪造图像鉴伪方法，其特征在于，在所述步骤s1中，所述借助对抗生成网络生成高清人脸图像数据集的方法包括：
3.根据权利要求2所述的一种基于自增强的深度伪造图像鉴伪方法，其特征在于，在所述步骤s1中，所述对所述初步掩码做变形与增强，得到变形增强掩码的方法包括：
4.根据权利要求1所述的一种基于自增强的深度伪造图像鉴伪方法，其特征在于，在所述步骤s2中，所述对所述高清人脸图像和变形强掩码进行1~3次随机图像增强，得到1~3张具有差异的随机增强图像的方法包括：
5.根据权利要求1所述的一种基于自增强的深度伪造图像鉴伪方法，其特征在于，在所述步骤s2中，所述对所述变形增强掩码进行1~3次随机掩码增强，得到1~3张随机增强掩码的方法包括：
6.根据权利要求1所述的一种基于自增强的...
【专利技术属性】
技术研发人员：郑威，云剑，郑晓玲，凌霞，
申请(专利权)人：中国信息通信研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。