用于多种攻击风格人脸图片的生成方法及装置制造方法及图纸

本申请涉及人脸识别技术领域，公开一种用于多种攻击风格人脸图片的生成方法及装置，其中，所述生成方法，包括：根据预设的人脸图片数据集和高清人脸数据集，训练得到一个生成对抗网络并保留所述生成对抗网络中的生成器；根据所述人脸图片数据集中的多张人脸图片以及每张人脸图片对应的描述文本，训练得到一个基于模型微调的多模态模型；根据多种攻击风格分别对应的描述文本，通过所述生成器和所述多模态模型，生成多种攻击风格分别对应的人脸图片。生成多种攻击风格分别对应的人脸图片。生成多种攻击风格分别对应的人脸图片。

【技术实现步骤摘要】
用于多种攻击风格人脸图片的生成方法及装置


[0001]本申请涉及人脸识别
，例如涉及一种用于多种攻击风格人脸图片的生成方法及装置。

技术介绍

[0002]目前，人脸识别系统已经应用在人们生活中点的诸多领域，如电子设备解锁、门禁打卡和金融支付等。与此同时，人脸识别系统也面临诸多安全上的风险，如使用打印的人脸图片、电子设备上播放人脸视频、佩戴面具等攻击方式。为了应对这一挑战，训练一个人脸活体检测模型成为了题中应有之义，对于一张真实的人脸，人脸活体检测模型输出结果为真；而对于一张攻击的人脸，人脸活体检测模型的输出结果为假。同时，训练一个人脸活体检测模型通常需要大量的真实人脸数据集和攻击人脸数据。相关技术中，获取攻击人脸数据的流程一般为：(1)获取采集者面部的3D点云数据；(2)使用特定材质打印出对应3D面具；(3)让攻击者佩戴上述面具，然后拍摄此人的照片，从而获取到佩戴面具的人脸图片。
[0003]在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
[0004]在实际应用中，人脸识别系统所面临的攻击挑战是一个开集问题，即市面上一直会有新的材质或工艺的攻击面具出现，如树脂面具、石膏面具、硅胶头套面具等，导致上述攻击人脸数据没有参与到人脸活体检测模型的训练中，同时，制作单个树脂面具的成本通常在两千元人民币以上，且不能很好地保护采集者的人脸生物信息隐私。因而，如何生成多种攻击风格的人脸图片，对人脸活体检测模型而言具有显著意义。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
[0007]本公开实施例提供了一种用于多种攻击风格人脸图片的生成方法及装置，计算设备及存储介质，能够生成多种攻击风格的人脸图片，极大地丰富了人脸活体检测模型的训练数据，提高了整个人脸识别系统的安全性。
[0008]在一些实施例中，所述用于多种攻击风格人脸图片的生成方法，包括：
[0009]根据预设的人脸图片数据集和高清人脸数据集，训练得到一个生成对抗网络并保留生成对抗网络中的生成器；
[0010]根据人脸图片数据集中的多张人脸图片以及每张人脸图片对应的描述文本，训练得到一个基于模型微调的多模态模型；
[0011]根据多种攻击风格分别对应的描述文本，通过生成器和多模态模型，生成多种攻击风格分别对应的人脸图片。
[0012]可选地，根据预设的人脸图片数据集和高清人脸数据集，训练得到一个生成对抗网络并保留生成对抗网络中的生成器，包括：
[0013]收集同一批次的多个真实人脸图片，以及每个真实人脸图片对应的多个预设攻击风格的人脸图片，形成人脸图片数据集；
[0014]通过多个真实人脸图片、多个预设攻击风格的人脸图片以及高清人脸数据集中的多个高清人脸图片，基于StyleGAN架构训练得到一个生成对抗网络并保留生成对抗网络中的生成器。
[0015]可选地，根据人脸图片数据集中的多张人脸图片以及每张人脸图片对应的描述文本，训练得到一个基于模型微调的多模态模型，包括：
[0016]获取人脸图片数据集中的每张真实人脸图片对应的文字描述；
[0017]获取人脸图片数据集中的每张预设攻击风格的人脸图片对应的文字描述；
[0018]使用真实人脸图片及其对应的文字描述和预设攻击风格的人脸图片及其对应的文字描述训练多模态模型，直至达到训练停止条件。
[0019]可选地，根据多种攻击风格分别对应的描述文本，通过生成器和多模态模型，生成多种攻击风格分别对应的人脸图片，包括：
[0020]根据随机生成的初始潜在编码以及目标攻击风格对应的描述文本，获取多模态模型输出的模型损失值；
[0021]通过模型损失值进行反向传播，以更新初始潜在编码，得到目标攻击风格对应的潜在编码；
[0022]根据目标攻击风格对应的潜在编码，通过生成器生成目标攻击风格对应的人脸图片。
[0023]可选地，根据随机生成的初始潜在编码以及目标攻击风格对应的描述文本，获取多模态模型输出的模型损失值，包括：
[0024]将随机生成的初始潜在编码输入至生成器中，得到初始人脸图片；
[0025]将目标攻击风格对应的文字描述以及初始人脸图片输入至多模态模型中，获取多模态模型输出的模型损失值。
[0026]可选地，通过模型损失值进行反向传播，以更新初始潜在编码，得到目标攻击风格对应的潜在编码，包括：
[0027]获取多模态模型根据当前模型损失值通过逆映射输出的当前攻击人脸图片；
[0028]将当前攻击人脸图片输入至生成器中，通过逆映射得到更新后的潜在编码；
[0029]通过生成器和多模态模型重复获取更新后的潜在编码，直至多模态模型的模型损失值收敛，得到目标攻击风格对应的潜在编码。
[0030]可选地，攻击风格包括打印在纸张上的打印攻击、使用石膏制作的人脸面具攻击、使用树脂制作的人脸面具攻击以及展示在电子屏幕上的重放攻击。
[0031]在一些实施例中，用于多种攻击风格人脸图片的生成装置，包括：
[0032]数据收集模块，被配置为根据预设的人脸图片数据集和高清人脸数据集，训练得到一个生成对抗网络并保留生成对抗网络中的生成器；
[0033]模型训练模块，被配置为根据人脸图片数据集中的多张人脸图片以及每张人脸图片对应的描述文本，训练得到一个基于模型微调的多模态模型；
[0034]图片生成模块，被配置为根据多种攻击风格分别对应的描述文本，通过生成器和多模态模型，生成多种攻击风格分别对应的人脸图片。
[0035]在一些实施例中，计算设备，包括处理器和存储有程序指令的存储器，处理器被配置为在运行程序指令时，执行如本申请的用于多种攻击风格人脸图片的生成方法。
[0036]在一些实施例中，存储介质，存储有程序指令，程序指令在运行时，执行如本申请的用于多种攻击风格人脸图片的生成方法。
[0037]本公开实施例提供的用于多种攻击风格人脸图片的生成方法及装置，计算设备及存储介质，可以实现以下技术效果：
[0038]本申请采用应用于机器学习
的技术手段，通过训练得到对抗网络中的生成器和基于模型微调的多模态模型，根据多种攻击风格分别对应的描述文本，通过生成器和多模态模型，生成多种攻击风格分别对应的人脸图片，从而能够输出多种攻击风格的人脸图片，极大地丰富了人脸活体检测模型的训练数据，极大节约了训练人脸活体检测模型的成本，提高了人脸识别系统的防御能力。
[0039]以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
[0040]一个或多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于多种攻击风格人脸图片的生成方法，其特征在于，包括：根据预设的人脸图片数据集和高清人脸数据集，训练得到一个生成对抗网络并保留所述生成对抗网络中的生成器；根据所述人脸图片数据集中的多张人脸图片以及每张人脸图片对应的描述文本，训练得到一个基于模型微调的多模态模型；根据多种攻击风格分别对应的描述文本，通过所述生成器和所述多模态模型，生成多种攻击风格分别对应的人脸图片。2.根据权利要求1所述的生成方法，其特征在于，所述根据预设的人脸图片数据集和高清人脸数据集，训练得到一个生成对抗网络并保留所述生成对抗网络中的生成器，包括：收集同一批次的多个真实人脸图片，以及每个所述真实人脸图片对应的多个预设攻击风格的人脸图片，形成所述人脸图片数据集；通过所述多个真实人脸图片、多个预设攻击风格的人脸图片以及高清人脸数据集中的多个高清人脸图片，基于StyleGAN架构训练得到一个生成对抗网络并保留生成对抗网络中的生成器。3.根据权利要求2所述的生成方法，其特征在于，所述根据所述人脸图片数据集中的多张人脸图片以及每张人脸图片对应的描述文本，训练得到一个基于模型微调的多模态模型，包括：获取所述人脸图片数据集中的每张真实人脸图片对应的文字描述；获取所述人脸图片数据集中的每张预设攻击风格的人脸图片对应的文字描述；使用所述真实人脸图片及其对应的文字描述和预设攻击风格的人脸图片及其对应的文字描述训练所述多模态模型，直至达到训练停止条件。4.根据权利要求1所述的生成方法，其特征在于，所述根据多种攻击风格分别对应的描述文本，通过所述生成器和所述多模态模型，生成多种攻击风格分别对应的人脸图片，包括：根据随机生成的初始潜在编码以及目标攻击风格对应的描述文本，获取所述多模态模型输出的模型损失值；通过所述模型损失值进行反向传播，以更新所述初始潜在编码，得到目标攻击风格对应的潜在编码；根据所述目标攻击风格对应的潜在编码，通过所述生成器生成目标攻击风格对应的人脸图片。5.根据权利要求4所...

【专利技术属性】
技术研发人员：苏安炀，刘星，赵晨旭，唐大闰，
申请(专利权)人：北京明略昭辉科技有限公司，
类型：发明
国别省市：