一种文本驱动人脸编辑的对抗攻击方法、装置和介质制造方法及图纸

本发明专利技术涉及一种文本驱动人脸编辑的对抗攻击方法、装置和介质，方法包括获取图像样本和文本样本，图像样本包括原始图像和目标图像；基于文本样本，确定固定语义映射模型；将原始图像样本输入到图像逆向模型得到原始图像逆向特征；然后输入到固定语义映射模型，其输出与原始图像逆向特征加权组合得到编辑后图像逆向特征，加权因子为可优化超参数；根据编辑后图像逆向特征生成编辑后生成图像；判断是否收敛，并对加权因子收敛迭代优化，得到最终编辑后图像逆向特征从而生成最终编辑后生成图像。与现有技术相比，本发明专利技术具有保证了对抗样本的攻击有效性，增强了对抗干扰的不可见性，提高了对抗样本的图像质量等优点。提高了对抗样本的图像质量等优点。提高了对抗样本的图像质量等优点。

【技术实现步骤摘要】
一种文本驱动人脸编辑的对抗攻击方法、装置和介质


[0001]本专利技术涉及人工智能
，尤其是涉及一种文本驱动人脸编辑的对抗攻击方法、装置和介质。

技术介绍

[0002]图像编辑模型可以基于输入的文本和原始图像，生成编辑图像，使得编辑后的生成图像符合输入文本语义。比如，原始图像是一张面带微笑的人脸，输入文本为“生气”，将两者输入到图像编辑模型中，可生成一张与原始图像身份一致，但面目表情表现为“生气”的人脸。这种技术可以应用于虚拟/增强现实场景，特别是人脸修图，人像创作，动画交互等实际场景。
[0003]得益于人工智能技术的高速发展，几乎所有的图像编辑模型都基于深度神经网络进行构造，但隐蔽性较强的生成对抗攻击极大地降低了深度神经网络的鲁棒性。具体而言，攻击者通过构造被添加了恶意扰动的对抗样本，将其输入到网络中，使得正常用户得到不符合常理的输出结果，大大减低了网络的可用性。
[0004]对抗攻击分为白盒攻击和黑盒攻击。白盒攻击需要提前已知攻击模型的内部结构，不符合实际应用场景。黑盒攻击不需要知道攻击模型的内部结构，通过查询攻击或/和迁移性攻击对攻击模型进行攻击。
[0005]为测试图像编辑模型的稳定性，因此需要一种提高对抗样本的图像质量，增强了对抗样本扰动的不可见性的文本驱动人脸编辑的对抗攻击方法。

技术实现思路

[0006]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种提高对抗样本的图像质量，增强了对抗样本扰动的不可见性的文本驱动人脸编辑的对抗攻击方法、装置和介质。
[0007]本专利技术的目的可以通过以下技术方案来实现：根据本专利技术的第一方面，提供了一种文本驱动人脸编辑的对抗攻击方法，包括以下步骤：样本获取步骤：获取图像样本，该图像样本包括原始图像样本和目标图像样本，并判断图像样本是否达标，若不达标则重新获取图像样本；获取文本样本，并判断该文本样本是否合规，若不合规则重新获取文本样本；样本处理步骤：基于文本样本确定固定语义映射模型，所述文本样本的语义与所述固定语义映射模型一一对应；将所述原始图像样本输入到预先建立并训练好的图像逆向模型中，得到原始图像逆向特征；图像编辑步骤：将所述原始图像逆向特征输入到固定语义映射模型中，将固定语义映射模型的输出与原始图像逆向特征进行加权组合，得到编辑后图像逆向特征；所述加权组合中的加权因子为优化超参数；将所述编辑后图像逆向特征输入到图像生成器中得到
编辑后生成图像；迭代优化步骤：判断所述编辑后生成图像是否收敛；若不收敛，则重新执行所述图像编辑步骤，并迭代优化所述加权因子，所述加权因子的优化过程包括：将编辑后生成图像和目标图像样本输入到预设的泛化人脸验证模型中，计算输出结果的相似度，作为人脸攻击损失函数值，从而作为反馈对所述加权因子进行优化；若收敛，则得到最终编辑后图像逆向特征，将该最终编辑后图像逆向特征输入到图像生成器中得到最终编辑后生成图像。
[0008]进一步地，所述图像逆向模型输出的特征大小与所述固定语义映射模型输入的特征大小相同。
[0009]进一步地，所述泛化人脸验证模型为使用异源人脸训练数据进行训练的专注于人脸验证任务的预训练模型，所述异源人脸训练数据包括基于至少两个人脸数据集构造的数据。
[0010]进一步地，所述方法中作为反馈对所述加权因子进行优化的损失函数还包括但不限于以下损失函数：图像质量损失函数，采用预训练的用于图像分类的深度神经网络分别提取原始图像样本和编辑后生成图像的语义特征，从而计算图像质量；人脸身份损失函数，采用预训练的用于的人脸识别的深度神经网络分别提取原始图像样本和编辑后生成图像的身份特征，从而计算人脸身份相似度；人脸解析损失函数，采用预训练的用于的人脸五官解析的深度神经网络分别提取原始图像样本和编辑后生成图像的五官分割特征，从而计算人脸五官分割特征相似度。
[0011]进一步地，判断所述编辑后生成图像是否收敛的方式包括但不限于以下任一判断方法或多个判断方法的结合：基于可优化超参数的收敛判断方法，用于根据编辑生成图像生成过程中可优化超参数的曲线趋势，判断曲线斜率是否小于预设的第一斜率阈值，若曲线斜率小于第一斜率阈值时，则判断编辑后生成图像达到收敛；基于总体损失函数的收敛判断方法，用于根据编辑生成图像生成过程中总体损失函数的曲线趋势，判断曲线斜率是否小于预设的第二斜率阈值，若曲线斜率小于第二斜率阈值时，则判断编辑后生成图像达到收敛；基于超参数的收敛判断方法，用于根据训练相关的超参数，设定对应的超参数阈值，但达到超参数阈值时，则判断编辑后生成图像达到收敛。
[0012]进一步地，在所述迭代优化步骤的优化过程中，所述加权因子逐渐收敛，将收敛后的加权因子作为最终的加权因子，从而计算最终编辑后图像逆向特征。
[0013]进一步地，判断图像样本是否达标的过程包括：对图像样本的质量进行图像尺寸、图像分辨率和图像质量指标评估是否达标的判断；对图像样本的内容进行是否为完整人脸、人脸五官是否清晰的判断。
[0014]进一步地，所述固定语义映射模型为预训练的多层感知机网络。
[0015]根据本专利技术的第二方面，提供了一种文本驱动人脸编辑的对抗攻击装置，包括：获取模块，被配置为获取图像样本和文本样本，所述图像样本包括原始图像样本和目标图像样本，并根据文本样本确定固定语义映射模型；优化模块，被配置为执行以下步骤：将所述原始图像样本输入到预先建立并训练
好的图像逆向模型中，得到原始图像逆向特征；将所述原始图像逆向特征输入到固定语义映射模型中，将固定语义映射模型的输出与原始图像逆向特征进行加权组合，得到编辑后图像逆向特征；所述加权组合中的加权因子为优化超参数；将所述编辑后图像逆向特征输入到图像生成器中得到编辑后生成图像；判断所述编辑后生成图像是否收敛；若不收敛，则迭代优化所述加权因子，所述加权因子的优化过程包括：将编辑后生成图像和目标图像样本输入到预设的泛化人脸验证模型中，计算输出结果的相似度，作为人脸攻击损失函数值，从而作为反馈对所述加权因子进行优化；生成模块，被配置为基于收敛后的加权因子，获取最终编辑后图像逆向特征，将该最终编辑后图像逆向特征输入到图像生成器中得到最终编辑后生成图像。
[0016]进一步地，对所述加权因子进行优化的损失函数还包括但不限于以下损失函数：图像质量损失函数，采用预训练的用于图像分类的深度神经网络分别提取原始图像样本和编辑后生成图像的语义特征，从而计算图像质量；人脸身份损失函数，采用预训练的用于的人脸识别的深度神经网络分别提取原始图像样本和编辑后生成图像的身份特征，从而计算人脸身份相似度；人脸解析损失函数，采用预训练的用于的人脸五官解析的深度神经网络分别提取原始图像样本和编辑后生成图像的五官分割特征，从而计算人脸五官分割特征相似度。
[0017]进一步地，判断所述编辑后生成图像是否收敛的方式包括但不限于以下任一判断方法或多个判断方法的结合：基于可优化超参数的收敛判断方法，用于根据编辑生成图像生成过程中可优化超参数的曲线趋势，判断曲线斜率是否本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本驱动人脸编辑的对抗攻击方法，其特征在于，包括以下步骤：样本获取步骤：获取图像样本，该图像样本包括原始图像样本和目标图像样本，并判断图像样本是否达标，若不达标则重新获取图像样本；获取文本样本，并判断该文本样本是否合规，若不合规则重新获取文本样本；样本处理步骤：基于文本样本确定固定语义映射模型，所述文本样本的语义与所述固定语义映射模型一一对应；将所述原始图像样本输入到预先建立并训练好的图像逆向模型中，得到原始图像逆向特征；图像编辑步骤：将所述原始图像逆向特征输入到固定语义映射模型中，将固定语义映射模型的输出与原始图像逆向特征进行加权组合，得到编辑后图像逆向特征；所述加权组合中的加权因子为优化超参数；将所述编辑后图像逆向特征输入到图像生成器中得到编辑后生成图像；迭代优化步骤：判断所述编辑后生成图像是否收敛；若不收敛，则重新执行所述图像编辑步骤，并迭代优化所述加权因子，所述加权因子的优化过程包括：将编辑后生成图像和目标图像样本输入到预设的泛化人脸验证模型中，计算输出结果的相似度，作为人脸攻击损失函数值，从而作为反馈对所述加权因子进行优化；若收敛，则得到最终编辑后图像逆向特征，将该最终编辑后图像逆向特征输入到图像生成器中得到最终编辑后生成图像。2.根据权利要求1所述的一种文本驱动人脸编辑的对抗攻击方法，其特征在于，所述图像逆向模型输出的特征大小与所述固定语义映射模型输入的特征大小相同。3.根据权利要求1所述的一种文本驱动人脸编辑的对抗攻击方法，其特征在于，所述泛化人脸验证模型为使用异源人脸训练数据进行训练的专注于人脸验证任务的预训练模型，所述异源人脸训练数据包括基于至少两个人脸数据集构造的数据。4.根据权利要求1所述的一种文本驱动人脸编辑的对抗攻击方法，其特征在于，所述方法中作为反馈对所述加权因子进行优化的损失函数还包括但不限于以下损失函数：图像质量损失函数，采用预训练的用于图像分类的深度神经网络分别提取原始图像样本和编辑后生成图像的语义特征，从而计算图像质量；人脸身份损失函数，采用预训练的用于的人脸识别的深度神经网络分别提取原始图像样本和编辑后生成图像的身份特征，从而计算人脸身份相似度；人脸解析损失函数，采用预训练的用于的人脸五官解析的深度神经网络分别提取原始图像样本和编辑后生成图像的五官分割特征，从而计算人脸五官分割特征相似度。5.根据权利要求1所述的一种文本驱动人脸编辑的对抗攻击方法，其特征在于，判断所述编辑后生成图像是否收敛的方式包括但不限于以下任一判断方法或多个判断方法的结合：基于可优化超参数的收敛判断方法，用于根据编辑生成图像生成过程中可优化超参数的曲线趋势，判断曲线斜率是否小于预设的第一斜率阈值，若曲线斜率小于第一斜率阈值时，则判断编辑后生成图像达到收敛；基于总体损失函数的收敛判断方法，用于根据编辑生成图像生成过程中总体损失函数的曲线趋势，判断曲线斜率是否小于预设的第二斜率阈值，若曲线斜率小于第二斜率阈值时，则判断编辑后生成图像达到收敛；基于超参数的收敛判断方法，用于根据训练相关的超参数，设定对应的超参数阈值，但
达到超参数阈值时，则判断编辑后生成图像达到收敛。6.根据权利要求1所述的一种文本驱动人脸编辑的对抗攻击方法，其特征在于，在所述迭代优化步骤的优化过程中，所述加权因子逐渐收敛，将收敛后的加权因子作为最终的加权因子，从而计算最终编辑后图像逆向特征。7.根据权利要求1所述的一种文本驱动人脸编辑的对抗攻击方法，其特征在于，判断图像样本是否达标的过程包括：对图像样本的质量进行图像尺寸、图像分辨率和图像质量指标评估是否达标的判断；对图像...

【专利技术属性】
技术研发人员：陈岱渊，王之宇，张音捷，白冰，张兴明，刘恬，黎海燕，韩孟玲，范逸飞，
申请(专利权)人：之江实验室，
类型：发明
国别省市：