基于量化技术的图像深伪检测加速方法及系统技术方案

本发明专利技术提出一种基于量化技术的图像深伪检测加速方法和系统，包括：获取已标记深伪检测结果的训练视频，从训练视频中抽取伪造检测的关键帧，对关键帧进行压缩并去除冗余信息后提取保留伪造检测关键维度的帧特征；基于帧特征，利用人脸识别算法，定位关键帧中人脸位置信息，基于人脸位置信息、帧特征和已标记深伪检测结果，训练得到初始检测模型；对初始检测模型的权重、激活值进行量化转换，并验证推理速度和精度损失间的平衡，将量化转换后的初始检测模型作为中间模型；对中间模型进行微调或重训练，得到最终的深度伪造检测模型；将待深度伪造检测的视频输入深度伪造检测模型，得到其是否属于伪造视频的检测结果。其是否属于伪造视频的检测结果。其是否属于伪造视频的检测结果。

【技术实现步骤摘要】
基于量化技术的图像深伪检测加速方法及系统


[0001]本专利技术涉及机器学习和计算机视觉领域，特别涉及面向计算机视觉中深度伪造检测的机器学习问题。

技术介绍

[0002]近年来，深度学习技术不断发展，并且在计算机视觉领域取得了广泛的应用。一方面，深度学习技术引领了新一轮的人工智能浪潮，但另一方面深度学习引发的一系列安全问题也引起了越来越多的关注。目前基于深度学习的图像、视频识别技术广泛地被应用于人们生活中的方方面面，例如网络内容智能监管、自动视频监控分析、基于人脸识别地门禁系统、刷脸支付等。在这些关键应用领域，信息和数据的可靠性与安全性应当受到重视并得到保障。2017年以来，一些基于深度伪造(又称DeepFake)技术生成的虚假图像和视频在互联网上引起了广泛的关注，尤其是当深度伪造用于影响力巨大的人物身上时往往会借助该人的影响力而产生更大的影响。论坛甚至存在着在未经允许的情况下，将色情视频角色的脸部修改为明星的面部的视频，造成了严重的负面影响，此外，大量“一键式”换脸的软件，是的深度伪造技术与传统图像视频处理技术相比，具有“门槛低、效率高、质量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于量化技术的图像深伪检测加速方法，其特征在于，包括：步骤1、获取已标记深伪检测结果的训练视频，从该训练视频中抽取伪造检测的关键帧，对该关键帧进行压缩并去除冗余信息后提取保留伪造检测关键维度的帧特征；步骤2、基于该帧特征，利用人脸识别算法，定位该关键帧中人脸位置信息，基于该人脸位置信息、该该帧特征和该已标记深伪检测结果，训练得到初始检测模型；步骤3、对该初始检测模型的权重、激活值进行量化转换，并验证推理速度和精度损失间的平衡，将量化转换后的初始检测模型作为中间模型；对该中间模型进行微调或重训练，得到最终的深度伪造检测模型；步骤4、将待深度伪造检测的视频输入该深度伪造检测模型，得到其是否属于伪造视频的检测结果。2.如权利要求1所述的基于量化技术的图像深伪检测加速方法，其特征在于，该步骤2包括：基于该人脸位置信息对该关键帧中人脸区域进行身份识别，得到身份信息，基于该身份信息、该人脸位置信息、该该帧特征和该已标记深伪检测结果，训练得到该初始检测模型。3.如权利要求1所述的基于量化技术的图像深伪检测加速方法，其特征在于，该量化转换包括：对该初始检测模型的权重与激活函数进行联合量化，利用该训练视频对应的验证集作为校准数据，收集数据分布的信息，包括最小值/最大值、基于熵理论的最佳阈值、基于对称量化的量化因子，计算激活函数输出的范围，以通过微分非线性函数传递值来将该初始检测模型的隐层输出范围映射到[0,1]。4.如权利要求1所述的基于量化技术的图像深伪检测加速方法，其特征在于，步骤1从该训练视频中抽取伪造检测的关键帧具体包括：通过训练时序预测模型，将提取的视频帧特征编码输入模型后解码恢复，基于编解码转换准确率得到每一帧的得分，进而判断关键帧。5.一种基于量化技术的图像深伪检测加速方法，其特征在于，包括：抽取模块，用于获取已标记深伪检测结果的训练视频，从该...

【专利技术属性】
技术研发人员：曹娟，白燕南，郭晨阳，谭光明，孙凝晖，唐胜，谢添，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：