一种基于感兴趣区域光流特征的微表情检测方法技术

一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，首先对微表情视频进行预处理得到微表情序列，进而提取人脸关键特征点，根据不同表情FACS运动单元的运动特点，找出效果最好的人脸感兴趣区域；提取感兴趣区域的光流特征，其中本发明专利技术首次引入光流矢量的角度信息，通过计算得到光流矢量模值和角度信息，并进一步将两者结合得到更全面、更有判决力的特征检测出微表情片段；最后该方法将光流模值与角度相结合，其中阈值是根据光流模值大小来判断的，利用数形结合方法可以形象直观地得到微表情片段。本发明专利技术大大提高了微表情检测效率，仅对人脸重要区域提取光流特征矢量，减少计算量，降低时耗，是一种高鲁棒性的微表情检测方法。

A method of micro expression detection based on optical flow feature vector modulus and angle combined with region of interest

A micro expression detection method with the optical flow feature vector model of the region of interest and value perspective, firstly the micro Expression Video pretreatment micro expression sequence, and then extract the facial feature points according to the motion characteristics of different FACS expression movement unit, find out the best effect of face region of interest; flow feature extraction the region of interest, which was first introduced in the invention of the optical flow vector angle information, get the optical flow vector modulus and angle information through calculation, and further combine the characteristics of detecting micro expression fragments more comprehensive and more judgment; finally, this method will be combined with the optical flow modulus angle, which is to determine the threshold according to the size of the optical flow model, using the combination of number and shape method can visually obtain micro expression fragment. The method greatly improves the efficiency of micro expression detection, and extracts the optical flow feature vector only in the important region of the face, reduces the calculation amount and reduces the time consumption, and is a high robustness micro expression detection method.

【技术实现步骤摘要】
一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法
本专利技术涉及一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，属于模式识别以及计算机视觉的

技术介绍
近年来，我们可以通过对声音、面部表情、肢体语言等特征的识别，更好地实现人机交互，而实现人机交互最重要的是对人类情感的识别。其中面部表情是识别人类情感最重要的特征，但在很多情况下人们会隐藏或压抑他们真实的情感，我们通常称之为微表情。微表情是一种持续时间仅为1/25秒至1/5秒的非常快速的表情，它能揭示人类试图隐藏的真实情感，在国家安全、临床诊断、案件侦破、危险预警、个人防卫等领域都展现出良好的应用前景，尤其是在测谎方面有重要的应用价值。但是微表情研究起步较晚，存在大量有待解决的问题。微表情检测是指从图像序列中确定微表情起始帧、高潮帧和结束帧的位置，它是微表情数据库建立及微表情识别算法过程中非常重要的环节，准确高效的微表情检测技术能极大的促进微表情数据库的建立以及微表情自动识别技术的发展，在临床检测、案件侦查以及公共安全等领域具有十分重要的应用前景和价值。在实际生活中，由于微表情持续时间短且强度低的特点，它很难被肉眼识别。只有通过高强度训练的人才能区分微表情，但是即使经过正确地训练，识别率仅有47％。因此，微表情检测技术成为了计算机视觉和模式识别领域炙手可热的研究课题。近年来随着计算机视觉和模式识别技术的飞速发展，微表情自动检测技术取得了很多成果。主要方法有以下三类。频域方法：Wu等人通过提取Gabor特征，采用GentleSVM定位模拟微表情，此方法用于模拟微表情而不是自发的微表情。光流方法：Shreve等人通过计算连续两帧之间的光流场，得到每个像素的运动矢量并计算出有限张力张量作为该点的运动强度来检测微表情。这种方法可以检测微表情是否存在，也可以用来区分常规表情和微表情。然而这种方法没有使用机器学习技术，需要通过人工选定阈值。在训练数据较小时阈值选择的有效性又很难保障。另外此方法用于模拟微表情而不是自发的微表情。特征描述符方法：Polikovsky等人提出梯度直方图描述符和k-means算法定位模拟微表情的起始帧、顶点帧和终止帧，在高速摄像机下收集学生模拟微表情。但是模拟微表情和自发微表情在运动强度、肌肉运动和时间间隔方面存在很大的不同。Sherve等人将人脸划分为几个主要区域，采用稠密光流法提取图像特征值并使用中心插分法估计光流变化，通过与设定的阈值比较来检测微表情，但是该方法将人脸区域简单的划分为8块，并且忽略了眼睛等很多重要的表情部位。Moilanen等人将面部分割成36个区域，利用每个区域LBP直方图来计算与当前帧相差各k帧的前后两帧的特征平均值，用当前帧与该平均值的卡方距离来衡量其在视频中变化程度。这种方法比较巧妙，但是设计思路较为复杂，同时需要手工设定参数，在实际应用中可能需要重新设定参数、阈值等。随后Davison等人用HPG特征代替LBP特征提取图像序列特征后，设定了一个基线阈值通过对比来检测微表情。Yan等人利用特征差异定位微表情顶点，基于受限局部模型(CLM)的方法定位人脸66个关键点，通过关键点划分成关键区域，计算区域的LBP直方图作为每帧的特征向量，计算每一帧相对于第一帧的相关性，最大相关性对应微表情顶点帧。Xia等人通过对几何形变进行建模，采用STASM定位关键点，将每帧与第一帧进行Procuste变换消除头部运动的偏差，计算瞬时表情自身的绝对动态特征和其在一段序列中的相对动态特征，将这两部分特征进行融合，通过随机过程计算转移概率，根据阈值判定是否含有微表情。Patel等人利用DRMF模型定位人脸关键点，基于FACS对关键点分组。每组的平均运动可通过光流场计算的关键点运动矢量求算术平均得到，计算每组随时间的运动幅度值的累加值，通过运动模值累加值增长和减弱标定微表情图像序列的起始点、顶点和终止点。Li等人利用Kanade-Lucas-Tomasi算法跟随每帧的3个特定点(两个内眼角和鼻棘点)并对脸部分块，提取每个区域LBP和HOOF特征，基于特征差异分析得到每一帧特征差异值，通过给定阈值判断起始帧、顶点帧和终止帧。Qu等人利用LBP-TOP算法提取样本特征来检测微表情，取得了一定的检测效果。
技术实现思路
针对现有技术的不足，本专利技术提出了一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法。专利技术概述：本专利技术与现有技术的其他识别方法相比：首先，对微表情视频进行预处理得到微表情序列，进而提取人脸关键特征点，强调了眼睛、眉毛、鼻子和嘴巴等重要的表情部位，根据不同表情FACS运动单元的运动特点，找出效果最好的人脸感兴趣区域；其次，提取感兴趣区域的光流特征：首次引入光流矢量的角度信息，通过计算得到光流矢量模值和角度信息，并进一步将两者结合得到更全面、更有判决力的特征，进而检测出微表情片段；最后，利用光流模值与角度相结合的方法，可以形象直观地得到微表情片段，提高微表情检测效率，且该方法仅对人脸感兴趣区域提取光流特征矢量，这样可以减少计算量，降低时耗，大大提高识别效果，是一种高鲁棒性的微表情检测方法。本专利技术的技术方案如下：一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，包括：步骤一、对微表情视频进行预处理,包括分帧、人脸定位、人脸对齐和人脸裁剪；步骤二、对所述微表情图像序列中的图像划分人脸感兴趣区域，提取所述人脸感兴趣区域的光流特征矢量：由于微表情的运动幅度短暂而微弱，通过对微表情样本分析发现，其运动中心点主要集中在眼睑、眉毛、嘴角和鼻翼等敏感部位，面部其他肌肉部分的运动一般是这些中心点运动的牵连导致，因此所述人脸感兴趣区域是指以上述敏感部位为中心所形成的面部区域，即根据FACS中的AU单元进行划分；所述FACS是对人脸运动肌肉的描述，例如嘴唇运动对应的是运动单元AU12的运动；步骤三、通过光流矢量计算出光流模值，通过反三角函数对光流矢量进行计算，得到光流角度；并引入一种更加形象直观的方法将光流矢量的模值与角度信息进行结合，根据光流模值设定阈值，微表情视频的帧率设定最小帧长度，将有相同光流角度(即在图中表示散点落在一条直线附近)且光流模值大于阈值(在图中表示在圆外)得到的连续不间断的帧数与最小帧长度进行比较，将帧数大于最小帧长度的图像序列判为微表情序列，实现微表情的检测。本专利技术引入一种更加形象直观的方法将光流矢量的模值和角度进行结合，从而得到更全面、更有判决力的特征。根据本专利技术优选的，在步骤二中，对所述微表情图像序列中的图像划分人脸感兴趣区域后，根据不同表情FACS运动单元的运动特点，从人脸感兴趣区域中找出效果最好的一个人脸感兴趣区域。然后提取所述人脸感兴趣区域的光流特征矢量，判定效果最好的一个人脸感兴趣区域的标准是：例如当人脸出现厌恶表情时，对应的人脸肌肉主要是AU4的运动，也就是眉毛的运动，因此判定效果最好的人脸感兴趣区域为眉毛区域，眉毛部位作为最终微表情检测的结果；例如当人脸出现高兴表情时，对应的人脸肌肉主要是AU12的运动，也就是嘴角的运动，因此判定效果最好的人脸感兴趣区域为嘴巴区域，也就是嘴巴部位作为最终微表情检测的结果；依次类推。根据本专利技术优选的，所述步骤二中本文档来自技高网...

【技术保护点】
一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，该检测方法包括：步骤一、对微表情视频进行预处理，包括分帧、人脸定位、人脸对齐和人脸裁剪；步骤二、对所述微表情图像序列中的图像划分人脸感兴趣区域，提取人脸感兴趣区域的光流特征矢量：步骤三、通过光流矢量计算出光流模值，通过反三角函数对光流矢量进行计算，得到光流角度；并引入一种更加形象直观的方法将光流矢量的模值与角度信息进行结合，根据光流模值计算阈值，微表情视频的帧率给定最小帧长度，将有相同光流角度且光流模值大于阈值得到的连续不间断的帧数，将帧数大于最小帧长度的图像序列判为微表情序列，实现微表情的检测。

【技术特征摘要】
1.一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，该检测方法包括：步骤一、对微表情视频进行预处理，包括分帧、人脸定位、人脸对齐和人脸裁剪；步骤二、对所述微表情图像序列中的图像划分人脸感兴趣区域，提取人脸感兴趣区域的光流特征矢量：步骤三、通过光流矢量计算出光流模值，通过反三角函数对光流矢量进行计算，得到光流角度；并引入一种更加形象直观的方法将光流矢量的模值与角度信息进行结合，根据光流模值计算阈值，微表情视频的帧率给定最小帧长度，将有相同光流角度且光流模值大于阈值得到的连续不间断的帧数，将帧数大于最小帧长度的图像序列判为微表情序列，实现微表情的检测。2.根据权利要求1所述的一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，在步骤二中，对所述微表情图像序列中的图像划分人脸感兴趣区域后，根据不同表情FACS运动单元的运动特点，从人脸感兴趣区域中找出效果最好的一个人脸感兴趣区域；优选的，所述步骤二中：提取所述人脸感兴趣区域的光流特征矢量的方法如下：选择微表情图像序列代表中性表情的一帧作为基础帧；利用光流法提取微表情图像序列的每一帧相对于所述基础帧在人脸感兴趣区域的光流矢量：得到相对于基础帧在人脸感兴趣区域上的光流矢量的水平分量x和垂直分量y；优选的，所述步骤一中，所述对微表情视频进行预处理，得到微表情图像序列的方法包括：对微表情视频进行分帧、人脸定位、人脸对齐和裁剪。3.根据权利要求2所述的一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，所述步骤三中：通过所述光流矢量的水平分量x和垂直分量y，计算微表情序列的每一帧光流矢量的模值；利用角度信息描述微表情序列的每一帧图像：通过计算光流矢量的水平分量x和垂直分量y的反三角函数arctan()得到的夹角。4.根据权利要求3所述的一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，所述步骤二中，对所述微表情图像序列中的图像划分人脸感兴趣区域的方法包括：先定位人脸特征点，再结合所述人脸特征点周围区域运动特点和FACS的AU运动单元，以所述人脸特征点的坐标位置为基准划入若干像素值，进而得到与所述人脸特征点对应的人脸感兴趣区域。5.根据权利要求4所述的一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，所述步骤二中提取所述人脸感兴趣区域的光流特征矢量的方法具体如下：在一段微表情图像序列中，在某时刻t，像素点(x,y)处的灰度值为I(x,y,t),该像素点在t+dt时刻运动到了(x+dx,y+dy),根据灰度守恒约束条件得到：I(x,y,t)＝I(x+dx,y+dy,t+dt)(1)将等号右边部分按泰勒公式展开得到：1其中，τ是高阶无穷小，因此变化为：最终得到：I(x,y,t)位置处的光流表示成用fx表示fy表示ft表示其中分别是光流失量的水平分量x和垂直分量y；EC＝∫∫(fxu+fyv+ft)2dxdy(6)根据正规则理论，需对光流场施加平滑约束；传统的...

【专利技术属性】
技术研发人员：贲晛烨，任亿，王建超，庞建华，薛娜，张鑫，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37