本发明专利技术公开一种基于rPPG生理信号的人脸视频鉴伪方法和装置，该方法包括以下步骤：步骤一：采集人脸视频与手指PPG信号，构建PPG信号视频数据集；搜集真实人脸视频与伪造人脸视频，构建鉴伪数据集；步骤二：使用PPG信号视频数据集作为训练数据，训练得到rPPG信号提取网络；步骤三：使用鉴伪数据集，利用步骤二训练得到的rPPG信号提取网络提取rPPG信号，后输入二元决策网络并进行网络训练；步骤四：使用通过步骤二训练获得的rPPG信号提取网络和步骤三训练获得的二元决策网络，对待检测的视频进行真伪判断。本发明专利技术使用难以伪造的rPPG生理信号用于分辨人脸伪造合成视频，可以有效提升判断准确率。准确率。准确率。
【技术实现步骤摘要】
一种基于rPPG生理信号的人脸视频鉴伪方法和装置
[0001]本专利技术属于计算机视觉、视频鉴伪领域，涉及一种基于rPPG生理信号的人脸视频鉴伪方法和装置。
技术介绍
[0002]近几年来，随着深度学习的不断发展，各种换脸技术正在网络上逐渐兴起。多数的换脸技术以Deepfakes为基础，将图片和视频中的人脸进行修改和替换，达到以假乱真的效果，因此这类技术给社会带来了一定的安全隐患。
[0003]从最初的Deepfakes到最新的StyleGAN，人脸伪造技术所伪造出来的图像肉眼已经难以鉴别真伪，面对不断更新的人脸伪造技术，学术界和工业界也在积极探索人脸伪造的鉴别技术，从传统的图像取证方法到深度学习方法，从人脸的边缘轮廓、眨眼、张嘴和眼球转动行为到基于脉搏心率的生理信号方法。对于视频鉴伪问题，单纯依赖面部图像特征进行视频真伪的判断难以应对越来越先进的伪造手段。rPPG技术是借助光电手段在活体组织中检测血液容积变化的一种无创生理信号检测方法。rPPG生理信号是通过远程测量的一种信号,即基于视频进行测量得到的信号,通过该信号可以计算出心率。在心脏搏动周期内，外周血管中的微动脉、毛细血管和微静脉内流过的血液也相应呈脉动性变化。rPPG信号被广泛应用于人脸活体检测应用之中，这主要是因为针对真实人脸,当一定波长的光束照射到面部皮肤表面后，该血液脉动性的变化将导致对光的吸收也呈脉动性变化。通过普通摄像头对rPPG信号的捕捉，可以反映出血流流动的特点进而推算出生理信号值。而针对于虚假人脸，由于没有真实人脸皮肤，面部光线反射回摄像机的rPPG信号与真实人脸具有显著差异。由于生成的虚假人脸视频没有真实的rPPG信号，现有的伪造技术无法针对rPPG生理信号进行仿真伪造，基于上述的特征，我们认为rPPG信号在人脸视频鉴伪领域同样可以发挥出重要作用，以解决图像特征难以判断伪造人脸视频真伪的问题。
技术实现思路
[0004]为了解决现有技术中存在的上述技术问题，本专利技术提出了一种基于rPPG生理信号的人脸视频鉴伪方法和装置，其具体技术方案如下：一种基于rPPG生理信号的人脸视频鉴伪方法，包括以下步骤：步骤一：采集人脸视频与手指PPG信号，构建PPG信号视频数据集；搜集真实人脸视频与伪造人脸视频，构建鉴伪数据集；步骤二：使用PPG信号视频数据集作为训练数据，训练得到rPPG信号提取网络；步骤三：使用鉴伪数据集，利用步骤二中训练得到的rPPG信号提取网络提取rPPG信号，后输入二元决策网络并进行网络训练，获得训练好的二元决策网络；步骤四：使用通过步骤二训练获得的rPPG信号提取网络和步骤三训练获得的二元决策网络，对待检测的视频进行真伪判断。
[0005]进一步的，所述步骤一，具体为：分别使用高光谱摄像设备和血氧仪采集高光谱人
脸视频和手指PPG信号段，构建PPG信号视频数据集，再将PPG信号视频数据集分段处理，获得若干组PPG信号视频数据；利用开源数据集FaceForencics以及ForgeryNet，搜集真实人脸视频与伪造人脸视频，选取真实人脸视频段和伪造人脸视频段来构建鉴伪数据集，并分为训练集和测试集。
[0006]进一步的，所述步骤二，具体为：将PPG信号视频数据集中的高光谱人脸视频的每一帧图像输入ResNet50特征提取网络提取面部特征，将连续帧提取出的面部特征按时间顺序输入LSTM长短期记忆人工神经网络进行时序建模，并使用快速傅里叶变化以获得频域上的rPPG信号；使用PPG信号视频数据集中采集到的手指PPG信号作为真实标签，与所述的rPPG信号进行损失函数计算，通过SGD随机梯度下降法更新ResNet50特征提取网络和LSTM长短期记忆人工神经网络的参数，使用所有的PPG信号视频数据迭代训练，将训练结束后的参数保存，以获得rPPG信号提取网络。
[0007]进一步的，所述步骤三，具体为：将鉴伪数据集的训练集中的视频逐帧输入步骤二中训练得到的rPPG信号提取网络提取视频数据的rPPG信号，将提取的rPPG信号输入到ResNet18二元决策网络，获取二分类结果，将真实视频标签设定为0，伪造视频标签设定为1，再进行损失函数计算，通过SGD随机梯度下降法更新ResNet18二元决策网络的参数，进行迭代训练，将训练结束后的参数保存，以获得判断视频真伪的二元决策网络。
[0008]进一步的，所述步骤二和步骤三中的损失函数分别为MSE均方误差损失函数和交叉熵损失函数。
[0009]进一步的，所述步骤四，具体为：将待检测视频逐帧输入步骤二训练得到的rPPG信号提取网络，提取整段视频的rPPG信号，将获得的rPPG信号输入步骤三训练得到的二元决策网络，得到网络判断的标签，若标签为0则表示判断待检测视频为真实视频，若标签为1即判断为伪造视频。
[0010]一种基于rPPG生理信号的人脸视频鉴伪装置，包括一个或多个处理器，用于实现所述的基于rPPG生理信号的人脸视频鉴伪方法。
[0011]一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的基于rPPG生理信号的人脸视频鉴伪方法。
[0012]有益效果：本专利技术使用难以伪造的rPPG生理信号用于分辨人脸伪造合成视频，可以有效提升判断准确率，应对多种伪造方法，解决图像特征难以判断伪造人脸视频真伪的问题。
附图说明
[0013]图1是本专利技术的一种基于rPPG生理信号的人脸视频鉴伪方法流程示意图；图2是本专利技术使用的rPPG信号信号提取网络训练流程示意图；图3是本专利技术使用的二元决策网络训练流程示意图；图4是本专利技术实施例的一种基于rPPG生理信号的人脸视频鉴伪装置的结构示意图。
具体实施方式
[0014]为了使本专利技术的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图
和实施例，对本专利技术作进一步详细说明。
[0015]如图1所示，本专利技术实施例的一种基于rPPG生理信号的人脸视频鉴伪方法，具体包括如下步骤：步骤一：采集人脸视频与手指PPG信号，构建PPG信号视频数据集；搜集真实人脸视频与伪造人脸视频，构建鉴伪数据集。
[0016]具体的，本实施例使用了316对分别使用高光谱摄像设备和血氧仪采集的高光谱人脸视频和手指PPG信号段，用于构建PPG信号视频数据集。其中高光谱相机的采集帧率为30赫兹，波段为400nm~1000nm，采集周期为2分钟；血氧仪采集人右手指尖的PPG信号，采集频率为30赫兹，采集周期为2分钟。将采集的PPG信号视频数据集分割为15秒的小段，共获得2528组PPG信号视频数据。
[0017]搜集的真实人脸视频与伪造人脸视频主要来源于开源数据集FaceForencics以及ForgeryNet，从中选取10000段真实人脸视频和10000段伪造人脸视频用于构建鉴伪数据集。其中使用9000段真实人脸视频和9000段伪造人脸视频作为训练集，1000段真实人脸视频和1000段伪造人脸视频作为测试集。
[0018]步骤二：使用PPG信号视频数据集作为训练数据，训本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于rPPG生理信号的人脸视频鉴伪方法，其特征在于，包括以下步骤：步骤一：采集人脸视频与手指PPG信号，构建PPG信号视频数据集；搜集真实人脸视频与伪造人脸视频，构建鉴伪数据集；步骤二：使用PPG信号视频数据集作为训练数据，训练得到rPPG信号提取网络；步骤三：使用鉴伪数据集，利用步骤二中训练得到的rPPG信号提取网络提取rPPG信号，后输入二元决策网络并进行网络训练，获得训练好的二元决策网络；步骤四：使用通过步骤二训练获得的rPPG信号提取网络和步骤三训练获得的二元决策网络，对待检测的视频进行真伪判断。2.如权利要求1所述的一种基于rPPG生理信号的人脸视频鉴伪方法，其特征在于，所述步骤一，具体为：分别使用高光谱摄像设备和血氧仪采集高光谱人脸视频和手指PPG信号段，构建PPG信号视频数据集，再将PPG信号视频数据集分段处理，获得若干组PPG信号视频数据；利用开源数据集FaceForencics以及ForgeryNet，搜集真实人脸视频与伪造人脸视频，选取真实人脸视频段和伪造人脸视频段来构建鉴伪数据集，并分为训练集和测试集。3.如权利要求2所述的一种基于rPPG生理信号的人脸视频鉴伪方法，其特征在于，所述步骤二，具体为：将PPG信号视频数据集中的高光谱人脸视频的每一帧图像输入ResNet50特征提取网络提取面部特征，将连续帧提取出的面部特征按时间顺序输入LSTM长短期记忆人工神经网络进行时序建模，并使用快速傅里叶变化以获得频域上的rPPG信号；使用PPG信号视频数据集中采集到的手指PPG信号作为真实标签，与所述的rPPG信号进行损失函数计算，通过SGD随机梯度下降法更新ResNet50特...
【专利技术属性】
技术研发人员：黎晨阳，徐晓刚，李萧缘，曹卫强，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。