【技术实现步骤摘要】
本专利技术属于生物医学信号处理的，具体涉及一种基于胶囊网络和有监督对比学习的视频自动欺骗检测的方法。
技术介绍
1、随着信息技术的发展和全球化的进程，人们面临着越来越多的信息和交流渠道。欺骗行为可能带来严重的后果，包括经济损失、社会不公平和道德败坏等。
2、测谎仪作为一种传统的接触式测谎技术，本质上是多导生理记录仪，它通过连接在手指上的电极检测汗液，通过袖带检测血压和心率，通过胸带检测呼吸，通过检测这四种生理指标的变化进行测谎。然而，所有的测谎设备必须固定在受试者身上，直至测谎结束，这本身可能就会给受试者带来心理压力，从而使得生理指标的变化不一定是由欺骗导致的而可能是焦虑、紧张等原因。
3、相比之下，非接触式测谎技术通常不需要身体接触，可以使被测者感到更加舒适和尊重隐私。而且非接触式技术可以自动采集生理数据，从而减少了误差和操作人员可能引入的干扰。视频作为一种丰富的多模态数据，包含面部表情、身体姿态等丰富的信息。从视频中除了可以提取上述的视觉特征外，还可以提取心率特征等生理信息。通过记录、分析与说谎密切相关的生理信息(心率、呼吸等)的变化，也可以在一定程度上推断受试者是否在说谎。这使得视频成为非接触式欺骗检测的有力工具。同时，视频数据的获取和传播变得越来越便利，人们通过各种设备(如智能手机、摄像头等)可以轻松地创建和共享视频内容。这为基于视频的非接触式欺骗检测提供了广泛的数据来源和应用场景。
4、然而，利用视频进行欺骗检测同样面临着巨大的挑战。一方面，视频数据本身很复杂，它包含多种模态的数据，
技术实现思路
1、本专利技术是对现有技术存在的不足之处，提供一种基于胶囊网络和有监督对比学习的视频自动欺骗检测方法，以期能够通过从视频中提取的面部特征和心率特征进行欺骗检测，从而能提高欺骗检测分类的准确率。
2、本专利技术为解决技术问题采用如下方案：
3、本专利技术一种基于胶囊网络和有监督对比学习的视频自动欺骗检测方法的特点是按照如下步骤进行：
4、步骤一、提取可解释性特征：
5、步骤1.1、利用openface工具对任一受试者a的视频样本v进行帧级分析，得到不同的面部特征矩阵，包括：眼睛凝视方向矩阵头部姿势矩阵面部动作单元矩阵其中，表示第m个通道的眼睛凝视方向向量，表示第n个通道的头部姿势向量，表示第o个通道的面部动作单元向量，m∈[1,m]，n∈[1,n]，o∈[1,o]，m表示xg的通道数，n表示xp的通道数，o表示xa的通道数；f表示总帧数；每一个视频样本v对应一个类别标签y，且y∈{0,1}，其中，y＝0表示类别为说谎，y＝1表示类别为真实；
6、步骤1.2、使用pyvhr开源工具中的心率提取方法从视频v中提取心率信号向量并使用三次样条插值法调整所述心率信号向量的数据长度，得到心率特征向量表示第f帧的心率特征值；
7、步骤1.3、按照通道维度将眼睛凝视方向矩阵xg、头部姿势矩阵xp、面部动作单元矩阵xa、心率特征向量xh进行拼接，得到融合后的数据x＝{x1,x2,…,xi,…,xq}，xi∈rf×1表示第i个通道的融合数据，q表示通道数之和，q＝m+n+o+1；
8、步骤二、利用通道注意力机制为不同的特征通道分配权重：
9、步骤2.1、利用通道注意力机制计算融合后的数据x的不同特征通道的权重β＝[β1,β2,…,βi,…,βq]，其中，βi表示xi的权重；
10、利用权重βi对xi进行重新编码，得到重新编码后的第i个通道的特征从而得到添加注意力后的特征向量
11、步骤三、建立初始的胶囊网络，包括：前置卷积层，主胶囊层，数字胶囊层：
12、步骤3.1、将所述特征向量送入胶囊网络中，并先经过所述前置卷积层的卷积操作后，得到低级特征序列p＝{p1,p2,…,pr,…,pr}；其中，pr表示第r个低级特征；r表示p的通道数；
13、步骤3.2、所述低级特征序列p经过主胶囊层的重塑处理后，得到胶囊特征序列h＝{h1,h2,…,hs,…，hs}，其中，hs表示第s个胶囊特征向量；s表示h的胶囊个数；
14、步骤3.3、所述数字胶囊层利用动态路由算法对h进行处理，得到状态胶囊序列c＝{ck|k＝1，2}，ck表示第k个状态胶囊，其中，c1表示类别为说谎的状态胶囊，c2表示类别为真实的状态胶囊；
15、步骤3.4、分别计算c1和c2的l2范数，将两者中较大的l2范数所代表的状态作为视频样本v的分类结果；
16、步骤四、设计损失函数，建立胶囊网络的优化目标：
17、步骤4.1、利用式(1)构建第k个边界损失函数
18、
19、式(1)中，tk是第k个状态胶囊ck的指示器，如果视频样本v的标签y与状态胶囊ck输出的类别一致，则令tk为1，否则，令tk为0；m+表示正确类别预测与其他类别预测之间的最小距离的超参数，m-表示不正确类别预测与其他类别预测之间的最大距离的超参数；λ表示控制不正确类别的惩罚程度的权重；
20、利用式(2)构建边界损失函数之和lmar；
21、
22、步骤4.2、利用式(3)构建有监督对比损失函数lsup：
23、
24、式(3)中，b表示批次的大小，yb和yj代表视频样本vb和vj的类别标签，代表同一个批次内标签是yb的视频样本的数量；表示在计算lsup时只考虑不同的视频样本的指示函数，当vb≠vj时，令否则，令表示在计算lsup时只考虑属于相同类别的视频样本的指示函数；当yb＝yj时，令否则，令vb和vj分别表示第b个视频样本vb和第j个视频样本vj经过胶囊网络后得到的状态胶囊序列拼接成的高级特征向量，sb，j表示vb和vj的余弦相似度，且t表示转置，z表示优化的温度参数；
25、步骤4.3、利用式(4)构建总损失函数l：
26、l＝αlmar+(1-α)lsup (4)
27、式(4)中，α用来平衡两个损失函数的重要性；
28、步骤五、利用梯度下降法对所述胶囊网络进行训练，并计算总损失函数l以不断调整网络参数，直到总损失函数l收敛为止，从而得到最优欺骗检测模型，用于对视频中提取的特征进行判断，以确定受试者是否在说谎。
29、本专利技术一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述自动欺骗检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
30、本专利技术一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述自动欺骗检测方法的步骤。本文档来自技高网...
【技术保护点】
1.一种基于胶囊网络和有监督对比学习的视频自动欺骗检测方法，其特征在于，是按照如下步骤进行：
2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述视频自动欺骗检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述视频自动欺骗检测方法的步骤。
【技术特征摘要】
1.一种基于胶囊网络和有监督对比学习的视频自动欺骗检测方法，其特征在于，是按照如下步骤进行：
2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述视频自动欺骗检测方法...
【专利技术属性】
技术研发人员：宋仁成，高帅，方圆成，成娟，李畅，刘羽，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。