深度伪造图像检测及模型训练方法、装置、设备、介质制造方法及图纸

本公开公开了一种深度伪造图像检测及模型训练方法、装置、设备、介质和产品，涉及图像处理技术领域，具体涉及深度学习、计算机视觉等人工智能技术领域。该训练方法包括：根据第一图像和APN输出的ROI信息，获取第一ROI图像；根据ROI信息和第二图像，获取第二ROI图像；采用孪生网络，分别对应上述两个ROI图像提取第一图像特征向量和第二图像特征向量；计算上述两个图像特征向量的距离，根据距离计算APN的损失函数，使得APN的训练目标为最大化所述距离；根据APN的损失函数确定所述检测模型的损失函数，并根据所述检测模型的损失函数训练所述检测模型。本公开可以提高APN的准确度，进而提高深度伪造图像检测的准确度。

【技术实现步骤摘要】
深度伪造图像检测及模型训练方法、装置、设备、介质
本公开涉及图像处理
，具体涉及深度学习、计算机视觉等人工智能
，尤其涉及一种深度伪造图像检测及模型训练方法、装置、设备和介质。
技术介绍
人工智能(ArtificialIntelligence，AI)是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。深度伪造(deepfake)是指利用AI技术，对图像、视频和音频进行超现实的数字伪造。当将深度伪造应用到人脸时，可以生成脸部表情自然、效果逼真的换脸效果，这会给人类和社会安全造成很大影响。相关技术中，采用通用分类模型检测深度伪造人脸图像，该通用分类模型基于样本图像及其对应的类别标签训练后得到。专利
技术实现思路
本公本文档来自技高网...

【技术保护点】
1.一种深度伪造图像检测模型的训练方法，所述检测模型包括注意力提取网络APN，所述方法包括：/n根据第一图像和所述APN输出的感兴趣区域ROI信息，获取第一ROI图像；/n根据所述ROI信息和第二图像，获取第二ROI图像，所述第一图像和所述第二图像是相互对应的一对真伪图像；/n采用孪生网络，分别提取所述第一ROI图像的第一图像特征向量和所述第二ROI图像的第二图像特征向量；/n计算所述第一图像特征向量和所述第二图像特征向量的距离，并根据所述距离计算所述APN的损失函数，所述损失函数使得所述APN的训练目标为最大化所述距离；/n根据所述APN的损失函数确定所述检测模型的损失函数，并根据所述检测模...

【技术特征摘要】
1.一种深度伪造图像检测模型的训练方法，所述检测模型包括注意力提取网络APN，所述方法包括：
根据第一图像和所述APN输出的感兴趣区域ROI信息，获取第一ROI图像；
根据所述ROI信息和第二图像，获取第二ROI图像，所述第一图像和所述第二图像是相互对应的一对真伪图像；
采用孪生网络，分别提取所述第一ROI图像的第一图像特征向量和所述第二ROI图像的第二图像特征向量；
计算所述第一图像特征向量和所述第二图像特征向量的距离，并根据所述距离计算所述APN的损失函数，所述损失函数使得所述APN的训练目标为最大化所述距离；
根据所述APN的损失函数确定所述检测模型的损失函数，并根据所述检测模型的损失函数训练所述检测模型。


2.根据权利要求1所述的方法，其中，所述检测模型还包括分类网络，所述方法还包括：
采用所述分类网络获取所述第一图像的图像特征向量，以使所述APN根据所述图像特征向量输出所述ROI信息。


3.根据权利要求2所述的方法，其中，还包括：
根据所述图像特征向量确定所述第一图像的第一预测类别概率，并根据所述第一预测类别概率和所述第一图像的真实类别标签，计算所述分类网络的损失函数，所述分类网络的损失函数为：标签平滑的交叉熵损失函数。


4.根据权利要求3所述的方法，其中，所述检测模型还包括深度神经网络，所述孪生网络为所述深度神经网络的共享部分，所述深度神经网络还包括分类部分，所述方法还包括：
采用所述深度神经网络的分类部分，根据所述第一图像特性向量确定所述第一图像的第二预测类别概率，并根据所述第二预测类别概率和所述第一图像的真实类别标签，计算所述深度神经网络的分类损失函数；
根据所述第一预测类别概率中的正确样本概率和所述第二预测类别概率中的正确样本概率，计算所述深度神经网络的排序损失函数；
根据所述分类损失函数和所述排序损失函数，计算所述深度神经网络的损失函数。


5.根据权利要求4所述的方法，其中，所述检测模型的损失函数为总损失函数，所述根据所述APN的损失函数确定所述检测模型的损失函数，并根据所述检测模型的损失函数训练所述检测模型，包括：
根据所述APN的损失函数、所述分类网络的损失函数和所述深度神经网络的损失函数，计算所述总损失函数；
同步更新所述分类网络的网络参数、所述APN的网络参数和所述深度神经网络的网络参数，直至所述总损失函数收敛。


6.根据权利要求4所述的方法，其中，所述检测模型的损失函数包括第一阶段训练的损失函数，所述根据所述APN的损失函数确定所述检测模型的损失函数，并根据所述检测模型的损失函数训练所述检测模型，包括：
根据所述APN的损失函数和所述分类网络的损失函数，计算所述第一阶段训练的损失函数；
将所述深度神经网络的损失函数作为第二阶段训练的损失函数；
交替进行所述第一阶段训练和所述第二阶段训练，直至所述第一阶段训练的损失函数和所述第二阶段训练的损失函数均收敛；
所述第一阶段训练包括：固定所述深度神经网络的网络参数，同步更新所述分类网络的网络参数和所述APN的网络参数；
所述第二阶段训练包括：固定所述分类网络的网络参数和所述APN的网络参数，更新所述深度神经网络的网络参数。


7.一种深度伪造图像的检测方法，包括：
采用分类网络，提取待检测图像的图像特征向量，以及，根据所述图像特征向量获取待检测图像的第一检测类别概率；
采用注意力提取网络APN，根据所述图像特征向量获取感兴趣区域ROI信息；其中，所述APN是基于最大化距离训练后得到的，所述距离为成对图像特征向量的距离，所述成对图像特征向量采用共享网络参数对成对ROI图像样本进行特征提取得到，所述成对ROI图像根据相互对应的一对真伪图像得到；
根据所述ROI信息和所述待检测图像，获取待检测ROI图像；
采用深度神经网络，获取所述待检测ROI图像的第二检测类别概率；
对所述第一检测类别概率和所述第二检测类别概率进行加权求和，并根据加权求和后的概率确定所述待检测图像是否为深度伪造图像。


8.一种深度伪造图像检测模型的训练装置，所述检测模型包括注意力提取网络APN，所述装置包括：
第一获取单元，用于根据第一图像和所述APN输出的感兴趣区域ROI信息，获取第一ROI图像；
第二获取单元，用于根据所述ROI信息和所述第二图像，获取第二ROI图像，所述第一图像和所述第二图像是相互对应的一对真伪图像；
孪生提取单元，用于采用孪生网络，分别提取所述第一ROI图像的第一图像特征向量和所述第二ROI图...

【专利技术属性】
技术研发人员：周越，熊俊峰，王洋，张欢，吕中厚，高梦晗，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11