人脸防篡改水印生成方法、篡改检测方法及属性检测方法技术

本发明专利技术提供了一种人脸防篡改水印生成方法、篡改检测方法及属性检测方法，所述人脸防篡改水印生成方法包括以下步骤：步骤1，读取原始图片，检测原始图片中的人脸位置信息；步骤2，对原始图片进行截取，生成N个目标图片；步骤3，分别对目标图片进行人脸特征识别，获得N个人脸特征向量；步骤4，判断原始图片的像素信息是否低于像素阈值；若是，则执行并行压缩加密策略，获得并行字符特征向量；若否，则执行串行压缩加密策略，得到串行字符特征向量；步骤5，根据并行字符特征向量或者串行字符特征向量，生成人脸防篡改水印图像W。本发明专利技术不但能够快速生成自动适应不同像素容量原始图片的人脸防篡改水印，还能够提高人脸防篡改水印的保密性。性。性。

【技术实现步骤摘要】
人脸防篡改水印生成方法、篡改检测方法及属性检测方法


[0001]本专利技术涉及人脸识别
，具体的说，涉及了一种人脸防篡改水印生成方法、篡改检测方法及属性检测方法。

技术介绍

[0002]作为机器学习的一个分支，深度学习已经在很多方面取得不错的成功，尤其是在图形图像领域，deepfake(AI换脸工具)的兴起使得人脸篡改的成本大大降低，眼见未必为实，随着计算机神经网络模型的不断进化以及计算机运算性能的提升，人眼很难辨别真假。
[0003]传统数字取证较难应用于deepfake的检测，目前主流的deepfake检测方式大多依靠训练神经网络检测模型，提取特征，检测人脸是否修改，这本质上是一个二分类问题，但由于deepfake的生成方案多种多样，使用神经网络检测模型很难针对所有生成方法优化，迁移性较差；训练神经网络需要大量的训练样本，针对未知的生成人脸方法识别成功率较低，且缺乏可解释性。
[0004]现有技术中，主要存在以下几种方式：
[0005](1)基于卷积神经网络判断人脸是否伪造
[0006]尼科洛
·
博内蒂尼等人提出基于卷积神经网络的检测方法，在基础的EfficientNetB4网络中引入两个概念即注意力机制以及孪生网络训练，对有和无注意力机制的EfficientNetB4的网络模型，执行端到端训练以及孪生网络训练产生四种网络：EfficientNetB4：基础骨架网络，EfficientNetB4Att：加入注意力机制，并使用端到端进行训练，EfficientNetB4ST：基础骨架网络使用孪生网络的方法进行训练EfficientNetB4AttST：加入注意力机制，并使用孪生网络的方法进行训练，相比于传统的XceptionNet网络模型检测，有着更好的检测效果，且在论文中提出，在FF++和DFDC伪造数据集中均表现出较高的检测能力，且在实验中对四种模型的相关性进行校验，发现四种模型基本不存在相关性因此可以将四种结合以提升最终的检测成功率。
[0007]这个方式的缺点为：对未知的人脸检测算法的检测成功率差，难以检测所有的人脸篡改算法，且检测结果解释性不足。
[0008](2)基于脆弱水印的篡改检测
[0009]传统的水印防篡改方案主要是利用脆弱水印的脆弱性，即对图形的变换和修改有很强的敏感性，这使得对嵌入脆弱水印的图片中的修改可以显示在水印上，以此定位图像修改的区域，典型的代表是LSB(最低有效位)算法，对于彩色图片(RGB方式)RGB三色各八位，八位中的最低位对人视觉影响最小，人眼很难看出这个位面与原图的相关性，利用低位对图形显示影响最小这一特性将水印嵌入这一位面，以减少对原图的影响。将全零的脆弱水印以最低位的形式嵌入原图，在恶意对原图的人脸区域篡改后最低位面也会受影响，通过提取最低位面水印，水印中1区域是被篡改过的，从而达到完整性检测的目的。
[0010]这个方式的缺点为：在有噪声的时候或者是图像经过压缩处理后最低位面的水印影响较大，此时无法检测人脸区域是否被篡改。
[0011](3)特征脸水印：
[0012]陈建雄与张龙文提出人脸特征数字水印系统，该系统主要包括三部分，嵌入、提取和验证部分。首先处理所有者的图像，计算其特征值(投影在人脸空间的权重分布)并将其转换为条形码水印，在嵌入时，只将部分特征值转化为水印。使用这些特征值作为“人脸关键点”，然后将其嵌入到目标图像中。在验证过程中，使用所有者的人脸图像并计算其特征值，将这些特征值与从提取过程中提取的值进行比较。如果特征值相同或相似性超过某个阈值，则将图像所有者视为合法用户；如果要素值不同，则所有者是非法用户。
[0013]这个方式的缺点为：条形码容量有限，只能包含少数人的人脸特征，对于低质量，多人脸的图片难以将所有人的人脸特征都嵌入水印中，且在添加和验证的过程中需要人脸特征空间做支撑，增加了算法的复杂性。
[0014]为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

技术实现思路

[0015]本专利技术的目的是针对现有技术的不足，从而提供一种人脸防篡改水印生成方法、篡改检测方法、属性检测方法及设备。
[0016]为了实现上述目的，本专利技术所采用的技术方案是：
[0017]本专利技术第一方面提供一种人脸防篡改水印生成方法，包括以下步骤：
[0018]步骤1，读取原始图片，检测所述原始图片中的人脸位置信息；其中，所述原始图片包括N个人脸信息；
[0019]步骤2，根据所述人脸位置信息对所述原始图片进行截取，生成N个目标图片；其中，每个目标图片中包含一个人脸信息；
[0020]步骤3，分别对所述目标图片进行人脸特征识别，获得N个人脸特征向量；其中，所述人脸特征向量与所述目标图片一一对应；
[0021]步骤4，识别所述原始图片的像素信息，并判断所述原始图片的像素信息是否低于像素阈值；
[0022]若是，则执行并行压缩加密策略：
[0023]基于步骤3获得的N个人脸特征向量生成融合人脸特征向量，对所述融合人脸特征向量中的每个元素先放缩，再根据密码本E进行映射，获得并行字符特征向量；
[0024]若否，则执行串行压缩加密策略：
[0025]基于步骤3获得的N个人脸特征向量，获得第一人脸特征矩阵；将所述第一人脸特征矩阵中的每个元素放缩到预设区间内，得到第二人脸特征矩阵；将所述第二人脸特征矩阵的每个元素四舍五入到整数，得到第三人脸特征矩阵；根据预先配置的密码本E将所述第三人脸特征矩阵中的每个元素映射为密码字符，得到串行字符特征向量；
[0026]步骤5，根据所述并行字符特征向量或者所述串行字符特征向量，生成人脸防篡改水印图像W。
[0027]本专利技术第二方面提供一种人脸篡改检测方法，其包括以下步骤：
[0028]步骤a，获取待验证图片，所述待验证图片为包含人脸防篡改水印的图片，该人脸防篡改水印通过上述人脸防篡改水印生成方法获得；
[0029]步骤b，检测所述待验证图片中的待验证人脸位置信息，根据所述待验证人脸位置
信息对所述待验证图片进行截取，生成M个待验证目标图片；
[0030]对所述待验证目标图片进行人脸特征识别，获得M个待验证人脸特征向量Ⅰ；
[0031]步骤c，提取所述待验证图片中的人脸防篡改水印图像，生成基准字符特征向量；
[0032]根据预先配置的密码本E对所述基准字符特征向量中的每个元素进行转换，获得基准人脸特征矩阵；其中，所述基准人脸特征矩阵包含M0个基准人脸特征向量Ⅰ；
[0033]步骤d，在所述待验证人脸特征向量Ⅰ的个数M与所述基准人脸特征向量Ⅰ的个数M0不相等时，执行步骤e中的第一篡改检测策略；
[0034]否则，执行步骤f中的第二篡改检测策略；
[0035]步骤e，基于步骤b获得的M个待验证人脸特征向量Ⅰ，生成待验证融合人脸特征向量；
[0036]计算所述待验证融合人脸特征向量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸防篡改水印生成方法，其特征在于，包括以下步骤：步骤1，读取原始图片，检测所述原始图片中的人脸位置信息；其中，所述原始图片包括N个人脸信息；步骤2，根据所述人脸位置信息对所述原始图片进行截取，生成N个目标图片；其中，每个目标图片中包含一个人脸信息；步骤3，分别对所述目标图片进行人脸特征识别，获得N个人脸特征向量；其中，所述人脸特征向量与所述目标图片一一对应；步骤4，识别所述原始图片的像素信息，并判断所述原始图片的像素信息是否低于像素阈值；若是，则执行并行压缩加密策略：基于步骤3获得的N个人脸特征向量生成融合人脸特征向量，对所述融合人脸特征向量中的每个元素先放缩，再根据密码本E进行映射，获得并行字符特征向量；若否，则执行串行压缩加密策略：基于步骤3获得的N个人脸特征向量，获得第一人脸特征矩阵；将所述第一人脸特征矩阵中的每个元素放缩到预设区间内，得到第二人脸特征矩阵；将所述第二人脸特征矩阵的每个元素四舍五入到整数，得到第三人脸特征矩阵；根据预先配置的密码本E将所述第三人脸特征矩阵中的每个元素映射为密码字符，得到串行字符特征向量；步骤5，根据所述并行字符特征向量或者所述串行字符特征向量，生成人脸防篡改水印图像W。2.根据权利要求1所述的人脸防篡改水印生成方法，其特征在于：所述步骤4中，执行并行压缩加密策略时，具体包括以下步骤：配置第i个人脸特征向量为X
i
，基于人脸特征向量X0至X
N
‑1生成融合人脸特征向量F；其中，X
i
＝(x
i,0
,x
i,1
,x
i,2
,x
i,3
,
…
,x
i,127
)，0≤i≤N
‑
1；F＝(f0,f1,f2,f3,
…
,f
127
)，所述融合人脸特征向量F中的第k个元素f
k
计算公式为：读取预设区间，将所述融合人脸特征向量F中的每个融合元素放缩到所述预设区间内，得到目标融合人脸特征向量Z；其中，Z＝(z0,z1,z2,z3,
…
,z
127
)，所述目标融合人脸特征向量Z中的第k个元素z
k
计算公式为：将所述目标融合人脸特征向量Z中每个元素四舍五入到整数后的值作为字符序号；读取预设的密码本E，根据计算出的字符序号将所述目标融合人脸特征向量Z中每个元素映射为对应的密码字符，生成并行字符特征向量。3.根据权利要求1所述的人脸防篡改水印生成方法，其特征在于：所述步骤4中，执行串行压缩加密策略时，具体包括以下步骤：配置第i个人脸特征向量为X
i
，其中，X
i
＝(x
i,0
,x
i,1
,x
i,2
,x
i,3
,
…
,x
i,127
)，0≤i≤N
‑
1；以所述原始图片的左下角为原点，按照所述目标图片中的人脸位置与原点之间的距离，从近到远对N个人脸特征向量进行排序，基于排序后的人脸特征向量获得第一人脸特征矩阵A；其中，所述第一人脸特征矩阵A包括N
×
128个元素；读取预设区间，将所述第一人脸特征矩阵A中的每个元素放缩到预设区间内，获得第二
人脸特征矩阵B；其中，所述第二人脸特征矩阵B包括N
×
128个元素，所述第二人脸特征矩阵B中的第m行第n列的元素的计算公式为：A
m,n
表示所述第一人脸特征矩阵A中第m行第n列的元素；将所述第二人脸特征矩阵B中的每个元素向下取整后，获得第三人脸特征矩阵C；其中，所述第三人脸特征矩阵C包括N
×
128个元素；读取预先配置的密码本E，将所述第三人脸特征矩阵C中的每个元素作为字符序号，将对应元素映射为密码字符，得到串行字符特征向量。4.一种人脸篡改检测方法，其特征在于：包括以下步骤：步骤a，获取待验证图片，所述待验证图片为包含人脸防篡改水印的图片，该人脸防篡改水印通过权利要求1至3任一项所述人脸防篡改水印生成方法获得；步骤b，检测所述待验证图片中的待验证人脸位置信息，根据所述待验证人脸位置信息对所述待验证图片进行截取，...

【专利技术属性】
技术研发人员：曹仰杰，庄岩，李书领，魏君飞，
申请(专利权)人：郑州大学，
类型：发明
国别省市：