一种基于融合Segformer的伪造区域定位方法与装置制造方法及图纸

本申请公开了基于融合Segformer的伪造区域定位方法与装置。该方法包括：将多人场景图像输入到预训练的实例分割模型中得到人脸区域掩码和人脸区域图像；使用通道级高通滤波器处理多人场景图像得到高频特征图；将多人场景图像、人脸区域图像和高频特征图分别输入到不同的通道训练网络中，得到处理后的多人场景图像特征、人脸区域特征和高频特征，并进行融合得到融合特征，使用坐标注意力机制分别对融合特征进行增强得到增强融合特征；将增强融合特征输入到多层感知机中进行预测得到伪造区域预测结果。本申请能够全面地理解图像中真实和伪造区域的细微差异，提升适应不同类型伪造技术的泛化能力，能够提升多人场景和复杂背景下的识别效果。

【技术实现步骤摘要】

本申请涉及人工智能安全，尤其涉及一种基于融合segformer的伪造区域定位方法、装置、存储介质及电子设备。

技术介绍

1、深度伪造技术在图像编辑、视频生成和电影制作等方面有广泛应用。然而，随着生成对抗网络和扩散模型的出现以及生成技术门槛的降低，越来越多的图像合成技术被用来伪造人脸图像，对面部隐私信息安全提出了新的挑战。这些人眼难以分辨的伪造人脸图像引发了无数与身份安全相关的法律问题，为了解决合成人脸图像带来的威胁，研究人员致力于开发面向深度伪造技术的防御方法。

2、目前的深度伪造防御方法侧重于检测整张图像的真伪，忽略了定位伪造区域的高级需求。伪造区域定位任务有助于评估图像篡改的严重性，并提供对攻击者意图的预判，能够防止潜在恶意虚假信息的扩散。另外，攻击者为了提高伪造人脸图像的真实性，重点选择多人场景的真实图像，对其中的一个或多个人脸进行篡改。然而，现有的深度伪造防御方法通常在忽略图像背景信息的实验室环境中进行训练，在多人场景图像中包含背景信息和多个人脸，导致伪造的面部区域仅占据整张图像的一小部分，由于伪造区域的不突出，现有的深度伪造检测方法无本文档来自技高网...

【技术保护点】

1.一种基于融合Segformer的伪造区域定位方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于融合Segformer的伪造区域定位方法，其特征在于，所述实例分割模型包括卷积神经网络、区域候选网络、池化层、全连接层和卷积层，所述将所述多人场景图像输入到预训练的实例分割模型中，得到人脸区域掩码，包括：

3.根据权利要求2所述的基于融合Segformer的伪造区域定位方法，其特征在于，所述通道级高通滤波器为三维高通滤波器；

4.根据权利要求1所述的基于融合Segformer的伪造区域定位方法，其特征在于，所述通道训练网络包括块嵌入层、归一化处...

【技术特征摘要】

1.一种基于融合segformer的伪造区域定位方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于融合segformer的伪造区域定位方法，其特征在于，所述实例分割模型包括卷积神经网络、区域候选网络、池化层、全连接层和卷积层，所述将所述多人场景图像输入到预训练的实例分割模型中，得到人脸区域掩码，包括：

3.根据权利要求2所述的基于融合segformer的伪造区域定位方法，其特征在于，所述通道级高通滤波器为三维高通滤波器；

4.根据权利要求1所述的基于融合segformer的伪造区域定位方法，其特征在于，所述通道训练网络包括块嵌入层、归一化处理层、多头注意力机制和多层感知机；

5.根据权利要求1所述的基于融合segformer的伪造区域定位方法，其特征在于，所述使用坐标注意力机制分别对所述融合特征进行增强，得到增强融合特征，包括：

6.根据权利要求5所述...

【专利技术属性】
技术研发人员：王丽娜，刘佳彤，汪润，叶茜，彭梓豪，
申请(专利权)人：武汉大学，
类型：发明
国别省市：