一种基于改进贝叶斯神经网络的伪造人脸视频检测方法技术

本发明专利技术公开了一种基于改进贝叶斯神经网络的伪造人脸视频检测方法，属于计算机视听觉技术领域。本发明专利技术方法包括：利用二分法的思想采用阈值动态采样法对视频进行人脸抽取；引入全局特征与局部特征相结合，从图像中提取人脸信息五元组；构建伪造人脸检测模型，模型包含人脸特征融合模块和改进的贝叶斯网络，模型输出人脸真伪及不确定性；引入平滑机制与不确定机制进行帧后处理，矫正人脸真伪识别结果。采用本发明专利技术方法提升了伪造人脸的检测效率与准确率，同时增加了对未知伪造方法的不确定预测，大幅度的提升了伪造人脸视频的工业实用性。性。性。

【技术实现步骤摘要】
一种基于改进贝叶斯神经网络的伪造人脸视频检测方法


[0001]本专利技术涉及计算机视听觉
，具体涉及一种基于改进贝叶斯神经网络的伪造人脸视频检测方法。

技术介绍

[0002]近年来，随着视频技术和生成技术的飞速发展，伪造人脸视频，即在视频中插入伪造的人脸，在网络上越来越普遍。它们可以被用于虚假宣传、误导公众、欺骗公众、干扰公正、损害公共利益等，对社会和政治造成了严重的威胁。因此，如何判别一个视频中的人物是否是真实的，变得越来越重要了。目前，大量的检测伪造人脸视频算法层出不穷，其中主流的方式有如下几种：
[0003](1)基于人脸匹配的算法：通过对比视频中的人脸与已知人物的面部特征，来检测是否存在伪造人脸。
[0004](2)基于光学流的算法：使用计算机视觉技术来分析视频帧之间的运动，通过比较真实视频和伪造视频中的光学流来检测伪造视频。
[0005](3)基于频域分析的算法：通过对伪造视频进行频域分析，检测图像中的不连续性。
[0006]但是以上主流的检测方式中，都有如下几个的问题：(1)检测效率高的检测效果差；(2)检测效果好的检测效率低；(3)在未知域上表现的非常脆弱，一旦使用一张没有经过模型训练的伪造人脸图片，将会导致模型发生错误的鉴别，因此很难在实际中进行使用。

技术实现思路

[0007]为了解决上述目前伪造人脸视频检测方式中存在的问题，本专利技术提供了一种基于改进贝叶斯神经网络的伪造人脸视频检测方法，通过引入不确定性预测以及检测网络结构的重设计，提升伪造人脸检测效率与准确率。
[0008]本专利技术的一种基于改进贝叶斯神经网络的伪造人脸视频检测方法，包括如下步骤：
[0009]步骤一：采用阈值动态采样法对输入视频抽取帧，对抽取的视频帧提取人脸信息。
[0010]所述的阈值动态采样法是指：设置步长K和位置阈值LT(Location Threshold)，以输入视频中检测到的第一个人脸位置作为起始位置，根据步长抽取视频帧进行检测检测，若视频帧中未检测到人脸，继续进行抽帧检测；若视频帧中检测到人脸，计算当前人脸位置与前一个人脸位置的差值，如果差值小于位置阈值LT，则通过插值法计算前后检测到人脸的两视频帧的中间帧的人脸位置，继续进行抽帧检测。
[0011]步骤二：从检测的人脸图像中提取人脸信息五元组，并进行归一化处理；
[0012]所述的人脸信息五元组包含人脸的左眼睛、右眼睛、鼻子、嘴巴和整张人脸对应的图像；五元组内的五张图像统一缩放到人脸图像的大小，并进行像素归一化，归一化后的每张图像中的像素值都满足正态分布。
[0013]步骤三：使用改进的贝叶斯神经网络构建伪造人脸检测模型，进行真伪人脸鉴别；
[0014]所述的伪造人脸检测模型包含人脸特征融合模块和改进的贝叶斯网络；人脸特征融合模块对输入的人脸信息五元组提取对应的五张特征图，使用通道注意力系数计算特征图的各通道注意力系数，对特征图的各通道进行自适应加权，将各特征图进行特征连接获得对应的人脸特征，输入改进的贝叶斯网络；改进的贝叶斯网络对人脸特征处理，输出人脸识别结果以及结果的不确定数值。
[0015]步骤四：设由步骤1抽取N帧图像，经步骤2和3处理后获得N个人脸真伪识别结果，对N个结果进行帧后处理，矫正识别结果；N为正整数；
[0016]所述的帧后处理先根据视频帧是否连续将N个结果分段，再对每段中包含的每帧人脸真伪识别结果进行平滑与不确定判断，设置不确定数值的阈值UT，若人脸真伪识别结果的不确定数值大于UT，则不改变该帧的人脸真伪识别结果，否则将更新该帧的人脸真伪识别结果。
[0017]相比现有技术，本专利技术方法的优点和积极效果在于：
[0018](1)本专利技术方法采用阈值动态采样法对输入视频抽帧，进行人脸位置信息采集，由原来提取每一帧变成了间隔多帧提取一次，在不降低人脸信息的同时，加快了视频检测的速度。本专利技术方法根据获取到的人脸关键点信息，抽取人脸信息五元组并归一化，丰富了人脸特征，以利于提高伪造人脸检测模型的准确率和泛化能力。
[0019](2)本专利技术方法通过改进贝叶斯神经网络构建伪造人脸检测模型，重构原始的贝叶斯架构，减少至引入一个贝叶斯模块，在降低模型复杂度的同时，也引入了贝叶斯网络的非参数概率模型思想，解决模型对于不认识图片的不确定性问题。本专利技术检测模型中加入人脸特征融合模块，由原始的一个全局人脸特征，转变成现有的人脸信息五元组，将五种特征融合成一个人脸的特征，极大的丰富了需要鉴伪的人脸特征；还采用通道注意力机制，对特征图进行加权融合以提高网络的表达能力和识别性能，让模型在伪造的部分重点关注，降低其他部分对于模型的干扰，以提升模型的鲁棒性与泛化性。
[0020](3)有的人脸因为光照、抖动、模糊等干扰因素会导致模型产生误判，因此为了解决这种不确定的干扰因素，本专利技术方法通过帧后处理，采用平滑机制与不确定判断机制；通过对帧后的人脸真伪数据进行平滑，降低模型误差，提升伪造人脸模型识别的准确率；引入不确定判断机制，对给予的人脸信息加上不确定性，然后根据不确定性判断最终这个人脸是否属于真的，从而提高模型的泛化能力。采用本专利技术方法提升了伪造人脸检测的效率与准确率。
附图说明
[0021]图1为本专利技术的基于改进贝叶斯神经网络的伪造人脸视频检测方法的流程图；
[0022]图2为本专利技术方法中的视频人脸信息提取流程图；
[0023]图3为本专利技术方法中的人脸图像预处理流程图；
[0024]图4为本专利技术方法中改进的贝叶斯神经网络示意图；
[0025]图5为本专利技术方法中的帧后处理的流程图。
具体实施方式
[0026]为了使本专利技术的目的、技术方案及优点更加清楚明白，结合附图和实施例对本专利技术的技术方案进一步详细说明。
[0027]如图1所示，本专利技术提供的基于改进贝叶斯神经网络的伪造人脸视频检测方法，分为人脸信息提取、人脸图像预处理、模型鉴伪、以及帧后处理四个部分。
[0028]人脸信息提取是指，将视频中存在的人脸从视频中提取出来，通过RetinaFace模型检测图像中的人脸关键点信息，采用阈值动态采样法对视频进行抽帧，加速模型对视频中人脸信息的提取。
[0029]人脸图像预处理是指，将提取到的人脸进一步的处理，以方便伪造人脸检测模型的鉴伪，首先将人脸进行矫正，规范人脸，从矫正后的人脸图像中提取出左眼、右眼、鼻子和嘴唇部位的矫正后的关键点坐标，与矫正后的人脸公共构成人脸五元组，对人脸五元组信息进行归一化处理，得到标准的伪造人脸检测模型的输入格式。
[0030]模型鉴伪是指，通过改进的贝叶斯神经网络对输入的人脸五元组信息进行特征的提取以及真伪的判断，改进的贝叶斯神经网络是本专利技术所使用的伪造人脸检测模型，该模型首先通过人脸特征融合模块融合人脸五元组信息，然后通过ResNet50主干网络提取特征，最后通过贝叶斯模块输出人脸的真伪结果以及对于该结果的不确定性值。
[0031]帧后处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进贝叶斯神经网络的伪造人脸视频检测方法，其特征在于，包括如下步骤：步骤1：采用阈值动态采样法对输入视频抽取帧，进行人脸检测；所述的阈值动态采样法是指：设置步长K和位置阈值LT，以输入视频中检测到的第一个人脸位置作为起始位置，根据步长抽取视频帧进行人脸检测；若视频帧中未检测到人脸，继续进行抽帧检测；若视频帧中检测到人脸，计算当前人脸位置与前一个人脸位置的差值，若差值小于LT，通过插值法获取前后检测到人脸的两视频帧的中间帧的人脸位置，否则，继续进行抽帧检测；步骤2：从检测的人脸图像中提取人脸信息五元组，并进行归一化处理；所述的人脸信息五元组包含人脸的左眼睛、右眼睛、鼻子、嘴巴和整张人脸对应的图像；五元组内的五张图像统一缩放到人脸图像的大小，并进行像素归一化，归一化后的每张图像中的像素值都满足正态分布；步骤3：使用改进的贝叶斯神经网络构建伪造人脸检测模型，进行真伪人脸鉴别；所述的伪造人脸检测模型包含人脸特征融合模块和改进的贝叶斯网络；人脸特征融合模块对输入的人脸信息五元组提取对应的五张特征图，使用通道注意力系数计算特征图的各通道注意力系数，对特征图的各通道进行自适应加权，将各特征图进行特征连接获得对应的人脸特征，输入改进的贝叶斯网络；改进的贝叶斯网络对人脸特征处理，输出识别的人脸真伪结果以及结果的不确定数值；步骤4：设由步骤1抽取N帧图像，经步骤2和3处理后获得N个人脸真伪识别结果，对N个结果进行帧后处理，矫正识别结果；N为正整数；所述的帧后处理先根据视频帧是否连续将N个结果分段，再对每段中包含的每帧人脸真伪识别结果进行平滑与不确定判断，设置不确定数值的阈值UT，若人脸真伪识别结果的不确定数值大于UT，则不改变该帧的人脸真伪识别结果，否则将更新该帧的人脸真伪识别结果。2.如权利要求1所述的方法，其特征在于，所述的步骤1包括如下步骤：(1.1)设置抽取的当前帧号为FN，初始FN为1，表示抽取输入视频的第一帧；(1.2)通过RetinaFace模型检测帧号FN图像中的人脸，若包含人脸，执行步骤1.3，若不包含人脸，执行步骤1.4；(1.3)记录帧号FN图像中的人脸关键点坐标，若当前帧是第一帧，以步长K抽取下一帧，更新当前帧号FN增加K，然后继续转步骤1.2执行；若当前帧不是第一帧，计算当前帧FN与上一帧FN1的人脸关键点坐标的差值，判断差值是否小于位置阈值LT，若是，通过插值法获取当前帧与上一帧之间的中间帧FN2的人脸关键点坐标，更新当前帧号FN增加K，再转步骤1.2执行；若差值不小于LT，抽取上一帧FN1与当前帧FN的中间帧FN2，帧号FN2为(FN+FN1)/2，将中间帧FN2作为当前帧，再转步骤1.2执行；(1.4)判断当前帧是否是第一帧，若是，更新当前帧号FN增加K，转步骤1.2执行；若否，对当前帧FN与上一帧FN1之间采用二分法动态抽帧，将所抽取的帧通过RetinaFace模型检测，若包含人脸，将抽取的帧作为当前帧FN，然后转步骤1.3执行；若不包含人脸，继续采用二分法抽取当前帧FN与上一帧FN1之间的帧，当遍历当前帧FN与上一帧FN1之间的帧均未包含人脸后，更新当前帧号FN增加K，然后继续转步骤1.2执行。
3.如权利要求1所述的方法，其特征在于，所述的步骤2包括如下步骤：(2.1)对检测到人脸的图像进行矫正，包括：通过旋转使两眼位于图像的水平线上，通过缩放使得人脸的大小符合预...

【专利技术属性】
技术研发人员：吴林涛，董建武，郑博文，索帅，黄萌，
申请(专利权)人：北京赛思信安技术股份有限公司，
类型：发明
国别省市：