一种基于光流和Fisher Vector编码的微表情识别方法技术

公开了一种基于光流和Fisher Vector编码的微表情识别方法，包括：对测试样本中的微表情图像序列进行HOF特征提取，获取第一特征数据X＝{x

【技术实现步骤摘要】
一种基于光流和FisherVector编码的微表情识别方法
本专利技术涉及机器学习和模式识别
，尤其涉及一种基于光流和FisherVector编码的微表情识别方法。
技术介绍
人类的面部表情研究起源于19世纪。最近，国外学者Ekman和Erika进行了面部测绘行为的研究，验证了微表情(microexpression)可提供更全面的隐蔽情感信息。与宏观表情不同，微表情是一种持续时间段、强度小的快速表情。虽然持续时间短，但是微表情更能揭露人内心的真实情感，为判断人的内在精神状态提供可靠的依据，因此其在司法系统、临床诊断等方面有着重要应用。在国外，微表情的研究起步较早，不仅提出、定义了微表情，而且已将微表情的研究成果应用于司法机关诊断案情、商业谈判、心理咨询等领域。在国内，微表情的研究起步较晚。傅小兰教授主持的2011－2013年国家自然科学基金面上项目“面向自动谎言识别的微表情表达研究”，推动了国内对于微表情研究的发展。然而，现有的微表情识别方法存在鲁棒性差、容易受噪声干扰、识别率低等问题。鉴于此，亟需一种新的微表情识别方法，以降低局部噪声的影响，提高微表情特征的鲁棒性和微表情识别的识别率。
技术实现思路
本专利技术的目的在于提出一种新的微表情识别方法，以能更加充分地表示微表情特征，降低了局部噪声的影响，提高了微表情特征的鲁棒性，进而提高了微表情识别的识别率。本专利技术提供了一种基于光流和FisherVector编码的微表情识别方法，包括：步骤S1、对测试样本中的微表情图像序列进行HOF特征提取，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}；步骤S2、对第一特征数据X进行FisherVector编码，获取第二特征数据F；步骤S3、基于预先训练得到的分类器对第二特征数据F进行识别。优选的，步骤S1包括：S11、计算微表情图像序列中相邻两帧图像之间的光流；S12、进行光流对齐；S13、将微表情图像序列划分成R个时空子块，并且对每个时空子块的光流方向进行加权统计，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}，其中，为第r个时空子块的光流方向加权直方图向量。优选的，步骤S2包括：S21、利用高斯混合模型逼近第一特征数据X的分布；式中，pk(xr|λ)是第k个高斯分布的概率密度函数，p(xr|λ)是第一特征数据X中的向量xr的分布；S22、根据EM算法估计高斯混合模型中的参数λ，λ＝{wk,μk,Σk,k＝1,2,...,K}；其中，wk为第k个高斯分布的组合系数，且wk≥0，∑wk＝1，μk为第k个高斯分布的均值向量，Σk为第k个高斯分布的协方差矩阵，且Σk满足：S23、根据估计的参数λ计算第一特征数据的FisherVector编码向量获取第二特征数据F；式中，γr(k)为向量xr由第k个高斯分布生成的概率，且γr(k)满足：优选的，在步骤S11之前，步骤S1还包括：S10、对微表情图像序列进行结构纹理分解，保留图像的纹理分量。优选的，在步骤S10中，根据以下公式对微表情图像序列进行结构纹理分解，式中，表示待处理的灰度图像，表示图像的纹理部分，表示待处理的图像的结构部分，Ω表示整幅图像的像素所在位置坐标的集合，θ为调节系数。优选的，所述进行光流对齐包括：根据如下公式计算x方向上光流分量的补偿量以及y方向上光流分量的补偿量式中，Φ(A)表示矩阵A中等于0的元素的个数，I表示全一矩阵；根据如下公式计算矫正后的光流分量矩阵；式中，为矫正后x方向上的光流分量矩阵，为矫正后y方向上的光流分量矩阵，Ut为矫正前x方向上的光流分量矩阵，Vt为矫正前y方向上的光流分量矩阵。优选的，所述进行光流对齐包括：根据如下公式计算x方向上光流分量的补偿量以及y方向上光流分量的补偿量式中，表示光流分量矩阵Ut中元素大小的统计直方图、表示光流分量直方图Vt中元素大小的统计直方图，u、v表示统计直方图中各组取值范围的中值；根据如下公式计算矫正后的光流分量矩阵；式中，为矫正后x方向上的光流分量矩阵，为矫正后y方向上的光流分量矩阵，Ut为矫正前x方向上的光流分量矩阵，Vt为矫正前y方向上的光流分量矩阵。优选的，所述分类器的训练过程包括如下步骤：对训练样本中的微表情图像序列进行HOF特征提取，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}；对第一特征数据X进行FisherVector编码，获取第二特征数据F；基于第二特征数据F训练分类器。优选的，所述分类器为径向基函数支持向量机。从以上技术方案可以看出，本专利技术通过使用光流特征描述微表情的微弱运动，并使用FisherVector对光流特征进行编码，进一步提取了期望信息和方差信息，因此能更加充分地表示微表情特征，降低了局部噪声的影响，提高了微表情特征的鲁棒性，进而提高了微表情识别的识别率。附图说明通过以下参照附图而提供的具体实施方式部分，本专利技术的特征和优点将变得更加容易理解，在附图中：图1是本专利技术实施例的微表情识别方法的流程示意图；图2是图1所示流程中步骤S1的一种实现方法的流程示意图；图3是对原始图片进行结构纹理分解的示意图；图4是从图片纹理部分提取光流特征的示意图；图5是对光流方向进行加权统计的流程示意图；图6是图1所示流程中步骤S2的一种实现方法的流程示意图。具体实施方式下面参照附图对本专利技术的示例性实施方式进行详细描述。对示例性实施方式的描述仅仅是出于示范目的，而绝不是对本专利技术及其应用或用法的限制。为了克服现有微表情识别方法存在的鲁棒性差、容易受噪声干扰、识别率低等问题，本专利技术的专利技术人提出了一种新的微表情识别方法。下面结合附图和具体实施例对本专利技术的技术方案进行详细说明。图1示出了本专利技术实施例中的微表情识别方法的流程图。从图1可见，该方法主要包括以下步骤：步骤S1、对测试样本中的微表情图像序列进行光流方向加权直方图(HOF)特征提取，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}。图2示出了步骤S1的一种实现方法。如图2所示，步骤S1具体包括步骤S11、S12、S13。在步骤S11中，计算微表情图像序列中相邻两帧图像之间的光流。在具体实施时，考虑到微表情图像序列中不同帧之间的光照变化会影响到光流计算的精确性，因此，为了减小光流计算误差，在进行步骤S11之前，还可进行图3所示的图像处理步骤：S10、对微表情图像序列进行结构纹理分解，保留图像的纹理分量。具体实施时，可根据以下公式对微表情图像序列进行结构纹理分解：式中，表示待处理的灰度图像，即待处理的微表情图像序列；表示图像的纹理部分，表示待处理的图像的结构部分，Ω表示整幅图像的像素所在位置坐标的集合，θ为调节系数。在获取了微表情图像序列的纹理部分之后，可基于纹理部分计算光流。光流，是指两帧图像上像素点移动的速度。其具体计算过程如下：在纹理图像中，假设t时刻(x,y)位置处的像素点灰度值为IT，在t+dt时刻该像素点运动到(x+dx,y+dy)位置处，由灰度恒常约束条件可知：IT(x,y,t)＝IT(x+dx,y+dy,t+dt)公式2将上式右边进行泰勒展开，可得，由于τ是高阶无穷小，因此可得，进而得到，其中，是在x方向上的光流分量，为在y方向上的光流分量。在具体计算光流分量时，可基于公式5、以及增加的假设条件本文档来自技高网...

【技术保护点】
一种基于光流和Fisher Vector编码的微表情识别方法，其特征在于，所述方法包括：步骤S1、对测试样本中的微表情图像序列进行HOF特征提取，获取第一特征数据X＝{x

【技术特征摘要】
1.一种基于光流和FisherVector编码的微表情识别方法，其特征在于，所述方法包括：步骤S1、对测试样本中的微表情图像序列进行HOF特征提取，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}；步骤S2、对第一特征数据X进行FisherVector编码，获取第二特征数据F；步骤S3、基于预先训练得到的分类器对第二特征数据F进行识别。2.如权利要求1所述的方法，其特征在于，步骤S1包括：S11、计算微表情图像序列中相邻两帧图像之间的光流；S12、进行光流对齐；S13、将微表情图像序列划分成R个时空子块，并且对每个时空子块的光流方向进行加权统计，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}，其中，为第r个时空子块的光流方向加权直方图向量。3.如权利要求1所述的方法，其特征在于，步骤S2包括：S21、利用高斯混合模型逼近第一特征数据X的分布；式中，pk(xr|λ)是第k个高斯分布的概率密度函数，p(xr|λ)是第一特征数据X中的向量xr的分布；S22、根据EM算法估计高斯混合模型中的参数λ，λ＝{wk,μk,Σk,k＝1,2,...,K}；其中，wk为第k个高斯分布的组合系数，且wk≥0，∑wk＝1，μk为第k个高斯分布的均值向量，Σk为第k个高斯分布的协方差矩阵，且Σk满足：S23、根据估计的参数λ计算第一特征数据的FisherVector编码向量获取第二特征数据F；式中，γr(k)为向量xr由第k个高斯分布生成的概率，且γr(k)满足：4.如权利要求2所述的方法，其特征在于，在步骤S11之前，步骤S1还包括：S10、对微表情图像序列进行结构纹理分解，保留图像的纹理分量。5.如权利要...

【专利技术属性】
技术研发人员：贾伟光，贲晛烨，李传烨，牟骏，任亿，庞建华，刘嘉懿，
申请(专利权)人：山东中磁视讯股份有限公司，
类型：发明
国别省市：山东,37