本发明专利技术提出一种基于量化技术的图像深伪检测加速方法和系统，包括：获取已标记深伪检测结果的训练视频，从训练视频中抽取伪造检测的关键帧，对关键帧进行压缩并去除冗余信息后提取保留伪造检测关键维度的帧特征；基于帧特征，利用人脸识别算法，定位关键帧中人脸位置信息，基于人脸位置信息、帧特征和已标记深伪检测结果，训练得到初始检测模型；对初始检测模型的权重、激活值进行量化转换，并验证推理速度和精度损失间的平衡，将量化转换后的初始检测模型作为中间模型；对中间模型进行微调或重训练，得到最终的深度伪造检测模型；将待深度伪造检测的视频输入深度伪造检测模型，得到其是否属于伪造视频的检测结果。其是否属于伪造视频的检测结果。其是否属于伪造视频的检测结果。
【技术实现步骤摘要】
基于量化技术的图像深伪检测加速方法及系统
[0001]本专利技术涉及机器学习和计算机视觉领域，特别涉及面向计算机视觉中深度伪造检测的机器学习问题。
技术介绍
[0002]近年来，深度学习技术不断发展，并且在计算机视觉领域取得了广泛的应用。一方面，深度学习技术引领了新一轮的人工智能浪潮，但另一方面深度学习引发的一系列安全问题也引起了越来越多的关注。目前基于深度学习的图像、视频识别技术广泛地被应用于人们生活中的方方面面，例如网络内容智能监管、自动视频监控分析、基于人脸识别地门禁系统、刷脸支付等。在这些关键应用领域，信息和数据的可靠性与安全性应当受到重视并得到保障。2017年以来，一些基于深度伪造(又称DeepFake)技术生成的虚假图像和视频在互联网上引起了广泛的关注，尤其是当深度伪造用于影响力巨大的人物身上时往往会借助该人的影响力而产生更大的影响。论坛甚至存在着在未经允许的情况下，将色情视频角色的脸部修改为明星的面部的视频，造成了严重的负面影响，此外，大量“一键式”换脸的软件，是的深度伪造技术与传统图像视频处理技术相比，具有“门槛低、效率高、质量好”的特点，带来了巨大的潜在威胁和隐患。虚假图像和视频已经成为目前最显著的信息数据安全隐患之一，其检测和监管面临着巨大的挑战。
[0003]AI合成的假脸存在巨大的威胁，能够以接近真实的面部表情和身体动作来创建目标人做某事或说某事的假象的视频，颠覆了人们对“眼见为实”观念的认知。业界迫切需要一种有效的技术来检测网络环境中的虚假人脸图像或视频，但其难度巨大。深度伪造检测问题由于新型伪造方法层出不穷、网络传播环境复杂等特性，需要针对新的伪造方法和数据集对技术进行不断迭代升级，以快速、精准地对多种格式与质量的图像进行真伪鉴别。随着模型网络参数量变得越来越大、计算复杂度越来越高，同时对硬件资源的消耗也更高，导致深度伪造检测模型很难部署在计算资源有限的硬件平台上，也很难应对高并发、多数据流、快速即时反应的业务应用场景，因此亟需有效的模型加速技术。
[0004]目前在深度伪造检测领域，存在着以下挑战：(1)技术演进使得深度伪造方法纷繁复杂，针对于不同伪造技术的特征，深度伪造检测模型通过模型集成等方法提升了检测准确性的同时，也大大增加了模型的参数量和计算复杂度。(2)深度伪造方法的多样性及其生成场景的复杂性，拓宽了深度伪造数据集的种类，高分辨率的伪造视频使模型的调优和重训练对计算资源和计算时间的消耗变高。(3)在实际的应用场景中，需要满足工业检测性能，快速、精准地对多种格式与质量的图像、视频进行真伪鉴别，实现多任务并行。
技术实现思路
[0005]本专利技术提供一种基于量化技术的深伪检测加速方法，并针对于此提出三个加速模块，分别为数据处理与压缩模块、模型量化加速模块、模型微调与加速模块。
[0006]本专利技术提出的“基于量化技术的深伪检测加速方法”方法，主要为深度伪造检测算
法提供量化加速支撑。在深度伪造检测模型鉴别一个人脸图像是否是经过深度伪造合成时，能够支撑实际应用场景下高并发任务时快速、准确的检测需求，保证深度伪造检测准确性的前提下提升算法效率，降低计算复杂度。
[0007]具体来说，本专利技术提出了一种基于量化技术的图像深伪检测加速方法，其中包括：
[0008]步骤1、获取已标记深伪检测结果的训练视频，从该训练视频中抽取伪造检测的关键帧，对该关键帧进行压缩并去除冗余信息后提取保留伪造检测关键维度的帧特征；
[0009]步骤2、基于该帧特征，利用人脸识别算法，定位该关键帧中人脸位置信息，基于该人脸位置信息、该该帧特征和该已标记深伪检测结果，训练得到初始检测模型；
[0010]步骤3、对该初始检测模型的权重、激活值进行量化转换，并验证推理速度和精度损失间的平衡，将量化转换后的初始检测模型作为中间模型；对该中间模型进行微调或重训练，得到最终的深度伪造检测模型；
[0011]步骤4、将待深度伪造检测的视频输入该深度伪造检测模型，得到其是否属于伪造视频的检测结果。
[0012]所述的基于量化技术的图像深伪检测加速方法，其中该步骤2包括：基于该人脸位置信息对该关键帧中人脸区域进行身份识别，得到身份信息，基于该身份信息、该人脸位置信息、该该帧特征和该已标记深伪检测结果，训练得到该初始检测模型。
[0013]所述的基于量化技术的图像深伪检测加速方法，其中该量化转换包括：
[0014]对该初始检测模型的权重与激活函数进行联合量化，利用该训练视频对应的验证集作为校准数据，收集数据分布的信息，包括最小值/最大值、基于熵理论的最佳阈值、基于对称量化的量化因子，计算激活函数输出的范围，以通过微分非线性函数传递值来将该初始检测模型的隐层输出范围映射到[0,1]。
[0015]所述的基于量化技术的图像深伪检测加速方法，其中步骤1从该训练视频中抽取伪造检测的关键帧具体包括：
[0016]通过训练时序预测模型，将提取的视频帧特征编码输入模型后解码恢复，基于编解码转换准确率得到每一帧的得分，进而判断关键帧。
[0017]本专利技术还提出了一种基于量化技术的图像深伪检测加速方法，其中包括：
[0018]抽取模块，用于获取已标记深伪检测结果的训练视频，从该训练视频中抽取伪造检测的关键帧，对该关键帧进行压缩并去除冗余信息后提取保留伪造检测关键维度的帧特征；
[0019]训练模块，用于基于该帧特征，利用人脸识别算法，定位该关键帧中人脸位置信息，基于该人脸位置信息、该该帧特征和该已标记深伪检测结果，训练得到初始检测模型；
[0020]重训模块，用于对该初始检测模型的权重、激活值进行量化转换，并验证推理速度和精度损失间的平衡，将量化转换后的初始检测模型作为中间模型；对该中间模型进行微调或重训练，得到最终的深度伪造检测模型；
[0021]检测模块，用于将待深度伪造检测的视频输入该深度伪造检测模型，得到其是否属于伪造视频的检测结果。
[0022]所述的基于量化技术的图像深伪检测加速方法，其中该训练模块用于：基于该人脸位置信息对该关键帧中人脸区域进行身份识别，得到身份信息，基于该身份信息、该人脸位置信息、该该帧特征和该已标记深伪检测结果，训练得到该初始检测模型。
[0023]所述的基于量化技术的图像深伪检测加速方法，其中该量化转换包括：
[0024]对该初始检测模型的权重与激活函数进行联合量化，利用该训练视频对应的验证集作为校准数据，收集数据分布的信息，包括最小值/最大值、基于熵理论的最佳阈值、基于对称量化的量化因子，计算激活函数输出的范围，以通过微分非线性函数传递值来将该初始检测模型的隐层输出范围映射到[0,1]。
[0025]所述的基于量化技术的图像深伪检测加速方法，其中从该训练视频中抽取伪造检测的关键帧具体包括：
[0026]通过训练时序预测模型，将提取的视频帧特征编码输入模型后解码恢复，基于编解码转换准确率得到每一帧的得分，进而判断关键帧。
[0027]本专利技术还提出本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于量化技术的图像深伪检测加速方法，其特征在于，包括：步骤1、获取已标记深伪检测结果的训练视频，从该训练视频中抽取伪造检测的关键帧，对该关键帧进行压缩并去除冗余信息后提取保留伪造检测关键维度的帧特征；步骤2、基于该帧特征，利用人脸识别算法，定位该关键帧中人脸位置信息，基于该人脸位置信息、该该帧特征和该已标记深伪检测结果，训练得到初始检测模型；步骤3、对该初始检测模型的权重、激活值进行量化转换，并验证推理速度和精度损失间的平衡，将量化转换后的初始检测模型作为中间模型；对该中间模型进行微调或重训练，得到最终的深度伪造检测模型；步骤4、将待深度伪造检测的视频输入该深度伪造检测模型，得到其是否属于伪造视频的检测结果。2.如权利要求1所述的基于量化技术的图像深伪检测加速方法，其特征在于，该步骤2包括：基于该人脸位置信息对该关键帧中人脸区域进行身份识别，得到身份信息，基于该身份信息、该人脸位置信息、该该帧特征和该已标记深伪检测结果，训练得到该初始检测模型。3.如权利要求1所述的基于量化技术的图像深伪检测加速方法，其特征在于，该量化转换包括：对该初始检测模型的权重与激活函数进行联合量化，利用该训练视频对应的验证集作为校准数据，收集数据分布的信息，包括最小值/最大值、基于熵理论的最佳阈值、基于对称量化的量化因子，计算激活函数输出的范围，以通过微分非线性函数传递值来将该初始检测模型的隐层输出范围映射到[0,1]。4.如权利要求1所述的基于量化技术的图像深伪检测加速方法，其特征在于，步骤1从该训练视频中抽取伪造检测的关键帧具体包括：通过训练时序预测模型，将提取的视频帧特征编码输入模型后解码恢复，基于编解码转换准确率得到每一帧的得分，进而判断关键帧。5.一种基于量化技术的图像深伪检测加速方法，其特征在于，包括：抽取模块，用于获取已标记深伪检测结果的训练视频，从该...
【专利技术属性】
技术研发人员：曹娟，白燕南，郭晨阳，谭光明，孙凝晖，唐胜，谢添，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。