一种基于深度学习的篡改人像视频检测方法及系统技术方案

本发明专利技术涉及一种基于深度学习的篡改人像视频检测方法及系统，其特征在于，包括以下内容：1)构建深度学习网络检测模型并进行训练；2)获取待测篡改人像视频；3)对获取的待测篡改人像视频进行预处理，得到若干具有标记的帧间差数据；4)将各具有标记的帧间差数据输入至训练好的深度学习网络检测模型，得到各帧间差数据的真伪检测结果并标记；5)采用人脸检测工具，根据各帧间差数据的真伪检测结果及其标记，对应标记待测篡改人像视频，得到真伪检测后的篡改人像视频数据，本发明专利技术可以广泛应用于计算机视觉领域中。

【技术实现步骤摘要】
一种基于深度学习的篡改人像视频检测方法及系统
本专利技术是关于一种基于深度学习的篡改人像视频检测方法及系统，属于计算机视觉领域。
技术介绍
随着深度学习与生活相关的各种应用快速落地，各种酷炫技术在人民日常生活中产生广泛影响，其中以DeepFake、FaceSwap等为代表的人像篡改软件对社会、经济等各方面产生重大影响。在社会生活层面，“人工智能伪造”使日常生活所用的合同、契约、证书及相关法律文本的防伪鉴定面临新的困难；在涉及公民、法人和组织切身利益和财产安全的重要问题上，也带来了诸多不确定性的挑战；“人工智能伪造”将可用于伪造证人证言、视听资料、电子数据及鉴定意见等虚假证据，也为不法分子从事违法犯罪活动提供便利条件。然而，现有的检测方法大多是针对图像数据的，并没有针对篡改人像视频数据、能够提取视频帧间信息的检测方法，因此，篡改视频的检测方法具有重要的应用价值和现实意义。
技术实现思路
针对上述问题，本专利技术的目的是提供一种针对篡改人像视频数据且能够提取视频帧间信息的基于深度学习的篡改人像视频检测方法及系统。为实现上述目的，本专利技术采取以下技术方案：一种基于深度学习的篡改人像视频检测方法，包括以下内容：1)构建深度学习网络检测模型并进行训练；2)获取待测篡改人像视频；3)对获取的待测篡改人像视频进行预处理，得到若干具有标记的帧间差数据；4)将各具有标记的帧间差数据输入至训练好的深度学习网络检测模型，得到各帧间差数据的真伪检测结果并标记；5)采用人脸检测工具，根据各帧间差数据的真伪检测结果及其标记，对应标记待测篡改人像视频，得到真伪检测后的篡改人像视频数据。进一步地，所述步骤1)的具体过程为：1.1)获取原始篡改人像视频数据集；1.2)对获取的原始篡改人像视频数据集进行预处理，得到各具有标记的帧间差数据；1.3)以ResNet50为基础网络，采用ImagNet的预训练模型进行初始化，将ResNet50基础网络的输出设置为2分类输出，构建深度学习网络检测模型；1.4)将所述步骤1.2)中得到的各具有标记的帧间差数据输入至构建的深度学习网络检测模型进行模型训练，得到训练好的构建深度学习网络检测模型。进一步地，所述预处理的具体过程为：对获取的待测篡改人像视频/原始篡改人像视频数据集进行分帧处理，得到若干帧篡改人像视频数据；对各帧篡改人像视频数据内的人像进行帧间人脸对齐处理，得到若干帧对齐后具有标记的篡改人像视频数据；对各帧对齐后具有标记的篡改人像视频数据进行帧间差处理，得到对应具有标记的帧间差数据。进一步地，当进行帧间人脸对齐处理的某帧篡改人像视频数据无法与其前后帧的篡改人像视频数据对齐时，则去除该帧的篡改人像视频数据并进行标记。5、如权利要求1所述的一种基于深度学习的篡改人像视频检测方法，其特征在于，所述步骤5)的具体过程为：5.1)采用人脸检测工具，在待测篡改人像视频中的各帧标出人脸区域检测框；5.2)将各帧间差数据的真伪检测结果及其标记对应标记至待测篡改人像视频中的对应人脸区域检测框，得到真伪检测后的篡改人像视频数据。一种基于深度学习的篡改人像视频检测系统，包括：模型训练模块，用于构建深度学习网络检测模型并进行训练；待测数据获取模块，用于获取待测篡改人像视频；数据预处理模块，用于对获取的待测篡改人像视频进行预处理，得到若干具有标记的帧间差数据；真伪检测模块，用于将得到的各具有标记的帧间差数据输入至训练好的深度学习网络检测模型，得到各帧间差数据的真伪检测结果并标记；人脸区域标记模块，用于采用人脸检测工具，根据各帧间差数据的真伪检测结果及其标记，对应标记待测篡改人像视频，得到真伪检测后的篡改人像视频数据。进一步地，所述模型训练模块包括：训练数据获取单元，用于获取原始篡改人像视频数据集；训练数据预处理单元，用于对获取的原始篡改人像视频数据集进行预处理；模型构建单元，用于以ResNet50为基础网络，采用ImagNet的预训练模型进行初始化，将ResNet50基础网络的输出设置为2分类输出，构建深度学习网络检测模型；模型训练单元，用于将所述训练数据预处理单元中得到的各具有标记的帧间差数据输入至构建的深度学习网络检测模型进行模型训练，得到训练好的构建深度学习网络检测模型。进一步地，所述数据预处理模块/训练数据预处理单元均包括：分帧处理单元，用于对待测篡改人像视频/原始篡改人像视频数据集进行分帧处理，得到若干帧篡改人像视频数据；帧间人脸对齐处理单元，用于对各帧篡改人像视频数据内的人像进行帧间人脸对齐处理，得到若干帧对齐后具有标记的篡改人像视频数据；帧间差处理单元，用于对各帧对齐后具有标记的篡改人像视频数据进行帧间差处理，得到对应具有标记的帧间差数据。进一步地，所述人脸区域标记模块包括：人脸区域标记单元，用于采用人脸检测工具，在待测篡改人像视频中的各帧标出人脸区域检测框；真伪检测标记单元，用于将各帧间差数据的真伪检测结果及其标记对应标记至待测篡改人像视频中的对应人脸区域检测框，得到真伪检测后的篡改人像视频数据。一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时用于实现基于深度学习的篡改人像视频检测方法对应的步骤。本专利技术由于采取以上技术方案，其具有以下优点：1、本专利技术通过对待检测视频进行预处理，能够去除背景干扰，有效提升网络输入数据的有效性，将篡改视频检测问题转换为基于深度学习的计算机视觉二分类问题，采用监督学习方法构建篡改人像数据集并训练篡改人像的深度学习网络检测模型，实现对待检测图像的精细化篡改检测和定位。2、本专利技术采用原始篡改人像视频数据集的帧间信息，作为深度学习网络的输入，帧间信息剔除了原始视频中的背景信息，通过人脸对齐有效提取视频帧数据中篡改人像区域的信息，能够极大降低由于视频帧背景内容信息对深度学习网络检测噪声造成的冗余信息干扰，提高网络检测的准确率，之后通过迁移学习训练检测网络，最终实现篡改人像视频的检测，具有非常明确的实用价值。3、由于深度学习网络检测模型的输出结果是帧间信息的检测结果，需要根据输出结果去对应相应的视频帧数据，并标记检测结果，在实际检测中，可逐帧预处理并检测，无需一次性预处理所有视频帧数据后再检测，本专利技术可以广泛应用于计算机视觉领域中。附图说明图1是本专利技术方法的流程示意图；图2是本专利技术方法中预处理过程的流程示意图。具体实施方式以下结合附图来对本专利技术进行详细的描绘。然而应当理解，附图的提供仅为了更好地理解本专利技术，它们不应该理解成对本专利技术的限制。如图1所示，本专利技术提供的基于深度学习的篡改人像视频检测方法，包括以下步骤：1)构建深度学习网络检测模型并进行训练，得到训本文档来自技高网...

【技术保护点】
1.一种基于深度学习的篡改人像视频检测方法，其特征在于，包括以下内容：/n1)构建深度学习网络检测模型并进行训练；/n2)获取待测篡改人像视频；/n3)对获取的待测篡改人像视频进行预处理，得到若干具有标记的帧间差数据；/n4)将各具有标记的帧间差数据输入至训练好的深度学习网络检测模型，得到各帧间差数据的真伪检测结果并标记；/n5)采用人脸检测工具，根据各帧间差数据的真伪检测结果及其标记，对应标记待测篡改人像视频，得到真伪检测后的篡改人像视频数据。/n

【技术特征摘要】
1.一种基于深度学习的篡改人像视频检测方法，其特征在于，包括以下内容：
1)构建深度学习网络检测模型并进行训练；
2)获取待测篡改人像视频；
3)对获取的待测篡改人像视频进行预处理，得到若干具有标记的帧间差数据；
4)将各具有标记的帧间差数据输入至训练好的深度学习网络检测模型，得到各帧间差数据的真伪检测结果并标记；
5)采用人脸检测工具，根据各帧间差数据的真伪检测结果及其标记，对应标记待测篡改人像视频，得到真伪检测后的篡改人像视频数据。


2.如权利要求1所述的一种基于深度学习的篡改人像视频检测方法，其特征在于，所述步骤1)的具体过程为：
1.1)获取原始篡改人像视频数据集；
1.2)对获取的原始篡改人像视频数据集进行预处理，得到各具有标记的帧间差数据；
1.3)以ResNet50为基础网络，采用ImagNet的预训练模型进行初始化，将ResNet50基础网络的输出设置为2分类输出，构建深度学习网络检测模型；
1.4)将所述步骤1.2)中得到的各具有标记的帧间差数据输入至构建的深度学习网络检测模型进行模型训练，得到训练好的构建深度学习网络检测模型。


3.如权利要求2所述的一种基于深度学习的篡改人像视频检测方法，其特征在于，所述预处理的具体过程为：
对获取的待测篡改人像视频/原始篡改人像视频数据集进行分帧处理，得到若干帧篡改人像视频数据；
对各帧篡改人像视频数据内的人像进行帧间人脸对齐处理，得到若干帧对齐后具有标记的篡改人像视频数据；
对各帧对齐后具有标记的篡改人像视频数据进行帧间差处理，得到对应具有标记的帧间差数据。


4.如权利要求3所述的一种基于深度学习的篡改人像视频检测方法，其特征在于，当进行帧间人脸对齐处理的某帧篡改人像视频数据无法与其前后帧的篡改人像视频数据对齐时，则去除该帧的篡改人像视频数据并进行标记。


5.如权利要求1所述的一种基于深度学习的篡改人像视频检测方法，其特征在于，所述步骤5)的具体过程为：
5.1)采用人脸检测工具，在待测篡改人像视频中的各帧标出人脸区域检测框；
5.2)将各帧间差数据的真伪检测结果及其标记对应标记至待测篡改人像视频中的对应人脸区域检测框，得到真伪检测后的篡改人像视频数据。


6.一种基于深度学习的篡改人像视频检测系统，其特征在于，包括：
模型训练模块，用于构建深度学...

【专利技术属性】
技术研发人员：许磊，谢兰迟，宋宏健，郭晶晶，晏于文，陈晨，彭思龙，李志刚，
申请(专利权)人：公安部物证鉴定中心，中国科学院自动化研究所，
类型：发明
国别省市：北京;11