一种基于光流法的微表情分类方法技术

本发明专利技术公开了一种基于光流法的微表情分类方法，包括如下步骤：(1)利用Haar特征及Adaboost算法对待测视频中第一帧图像的人脸和五官进行定位；(2)对五官所处的位置进行光流计算，获取五官位置的光流值：(3)将获得的五官位置的光流值输入到微表情分类器的每一决策树中，光流值从决策树的根节点出发，经过节点判断后到达决策树的叶节点，得到每一决策树对所述的待测视频的微表情分类的类别；(4)将所有决策树对所述的待测视频的微表情分类的类别进行统计，确定对所述的待测视频微表情的类别。本发明专利技术的基于光流法的微表情分类方法，能够减少微表情训练时间和微表情分类时间，并提高微表情分类精度。

A Microexpression Classification Method Based on Optical Flow Method

The invention discloses a microexpression classification method based on optical flow method, which includes the following steps: (1) using Haar feature and Adaboost algorithm to locate the face and facial features of the first frame image in the video; (2) calculating the position of the facial features to obtain the optical flow value of the facial features; (3) inputting the optical flow value of the obtained facial features into each decision of the microexpression classifier. In the policy tree, the optical flow value starts from the root node of the decision tree and arrives at the leaf node of the decision tree after node judgment, and gets the classification of the microexpressions of the video to be measured by each decision tree; (4) Statistical analysis is made on the classification of the microexpressions of the video to be measured by all the decision trees, and the classification of the microexpressions of the video to be measured is determined. The micro-expression classification method based on optical flow method can reduce the training time of micro-expression and the classification time of micro-expression, and improve the classification accuracy of micro-expression.

【技术实现步骤摘要】
一种基于光流法的微表情分类方法
本专利技术属于微表情
，尤其涉及一种基于光流法的微表情分类方法。
技术介绍
情绪是人某种内心感受的体验，而表情是人情绪最重要的外部表现形式之一。表情有真假，人可以根据主观意识隐藏自己对外来信息的反应、隐藏自己内心的真实活动，，但是内心的情绪确实客观存在的。心理学研究发现，人在表达情绪的时候，总会伴随着微表情的发生，而微表情是具有不易掩盖伪装的特点，近些年来受到大量研究者的青睐。1966年Haggard等第一次提出了微表情的概念，此后Ekman等报道了关于微表情的案例。在一段心理医生与抑郁症病人的对话中，经常微笑的病人偶尔有几帧非常痛苦的表情。研究人员将这种人在经历强烈情绪时产生的快速、无意识的自发式面部动作称为微表情。经过调研，人类社会50％以上的交流都是通过表情实现的。微表情属于表情的一种，携带的信息也是非常丰富，值得深入研究；而且，由于微表情是一种无意识的面部动作，没有掺杂任何人为的掩饰信息，它在情绪识别任务上的可靠度很高，对表情情感识别任务有潜在的利用价值，如婚姻关系预测、交流谈判、教学评估等。但是，微表情的持续时间非常短,研究表明微表情仅持续1/25s～1/3s，且动作幅度非常小，不会同时在上半脸和下半脸出现，因此正确观测并且识别有着相当的难度。在现实生活中，即使经过专业训练，对人脸微表情的正确识别率也不高。
技术实现思路
专利技术目的：本专利技术提供一种可准确捕捉被测人的微表情，并对对被测人的情绪进行准确判断的基于光流法的微表情分类方法。技术方案：一种基于光流法的微表情分类方法，包括如下步骤：(1)利用Haar特征及Adaboost算法对待测视频中第一帧图像的人脸和五官进行定位；(2)对五官所处的位置进行光流计算，获取五官位置的光流值：在所述的第一帧整帧图像上设置一组控制点，将光流估值分为控制点的光流估值项Edata(D)和在控制点附近的微小变形光流估值项Esmooth(D)；其表达式为：Edata(D)＝∫Ω|I(x,f)-I(x+D(x),f+1)|dx其中，x表示像素，f表示图像序列中的第f帧，D表示2D位移矢量场；光流估值Etotal(D)表达式为：Etotal(D)＝Edata(D)+λEsmooth(D)其中，λ为控制点的光流估值项和控制点附近的微小变形光流估值项的相对系数；(3)将获得的五官位置的光流值输入到微表情分类器的每一决策树中，光流值从决策树的根节点出发，经过节点判断后到达决策树的叶节点，得到每一决策树对所述的待测视频的微表情分类的类别；(4)将所有决策树对所述的待测视频的微表情分类的类别进行统计，确定对所述的待测视频微表情的类别。进一步，在步骤(3)中，所述的微表情分类器的构建步骤为：(31)对样本视频的表情类型进行预处理，确保各类表情类型样本数量均等；(32)利用Haar特征及Adaboost算法对样本的视频中人脸和五官进行定位；(33)对所述的五官所处位置进行光流计算，得出光流值；(34)对光流值采用自助采样法构建测试集；(35)对构建测试集的样本采用随机森林的方法进行训练，从而构建出微表情分类器。进一步，对微表情分类器进行分类准确度计算：将所述的测试样本中的每个样本作为待分类的视频，输入到微表情分类器中判断，将判断结果和测试样本真实的微表情类型比较，得到微表情分类器分类准确度。进一步，微表情分类器对光流的方向和大小设定阈值，去除无效的光流。进一步，步骤(35)的随机森林的方法中的基学习器为决策树。有益效果：本专利技术的基于光流法的微表情分类方法，能够减少微表情训练时间和微表情分类时间，并提高微表情分类精度。附图说明图1是本专利技术的基于光流法的微表情分类的流程图；图2是本专利技术的微表情分类决策树训练流程图；图3是本专利技术的基于随机森林的微表情分类器训练流程图。具体实施方式下面结合附图和实例对本专利技术进一步说明。图1为本专利技术的基于光流法的微表情分类的流程图，如图1所示，所述的微表情分类方法包括如下步骤：步骤1、对待测视频中第一帧图像的人脸和五官进行定位；首先，选用待测视频中的第一帧图像作为人脸识别和五官划分的处理对象。之后利用Haar特征及Adaboost算法进行人脸识别和五官定位，Haar特征是一种反映图像的灰度变化的、由像素分模块求差值的特征。Haar特征有5种基本特征、3种核心特征和6种45度旋转特征。在利用Haar特征进行训练和测试时，需要计算Haar特征值。Haar特征值的计算方式是：Haar特征值＝整个Haar区域内像素和×权重+黑色区域内像素和×权重。根据Haar特征值和一组阈值，可以构建弱分类器。多个弱分类器独立判断并将结果结合起来，可以构成一个强分类器，这就是Adaboost分类器。利用Adaboost分类器进行级联分类，可以较为准确识别出人脸的五官。步骤2、对待测视频中的五官所处位置进行光流计算；根据亮度一致性假设，即图像上一点的(x,y)在t时刻的亮度为I(x,y,t)，在△t时间后I(x+△x,y+△y,t+△t)，当t趋于无穷小时可以认为该点亮度不变，可得到如下公式(1)：I(x,y,t)＝I(x+△x,y+△y,t+△t)(1)若该点亮度累计产生了变化，运动后的像素亮度由泰勒公式展开可得到公式(2)：其中o表示高阶无穷小项，可以忽略。当△t→0时，得到公式(3)I(x+△x,y+△y)＝I(x,y)(3)将改写为Ix、Iy、Iz，并令则上式可以改写为公式(4)：Ixu+Iyv+Iz＝0(4)上式则为光流计算的基本方程，u，v表示速度场中矢量的两个待求分量，计算光流场的过程即为求解u，v的过程。但是一个方程无法求解速度的两个垂直分量，此不适定性方程求解问题也称为“孔径问题”。为了简化计算过程，在整幅图像上设置一组控制点G，并将光流估计分为控制点的光流估值项Edata(D)和在控制点附近的微小变形项Esmooth(D)。控制点的光流估值项Edata(D)为Edata(D)＝∫Ω|I(x,f)-I(x+D(x),f+1)|dx(5)其中x表示像素，f表示图像序列中的第f帧，D表示2D位移矢量场。控制点附近的微小变形项Esmooth(D)为则光流估值Etotal(D)可表示为Etotal(D)＝Edata(D)+λEsmooth(D)(7)其中，λ表示控制点的光流估计项和控制点附近的微小变形项的相对系数。λ和控制点网格都是视情况而设定的。对公式(7)进行最优化计算，可以得到光流估计值。主要是获取人脸上眉毛、眼睛、鼻子、嘴巴位置的光流。步骤3、对步骤2得到的五官位置的光流值输入微表情分类器，并进行微表情分类训练得出微表情所属类别；首先，建立一个微表情分类器，其建微表情分类器步骤如下，如图2所示：步骤(31)：对样本视频的表情类型进行预处理，确保各表情类型样本数量均衡；例如：高兴、压抑、厌恶、惊讶这四个表情类型的样本数量是上百个，但其他类型的样本数量只有十多个，那就应该将其他类型的样本去除，确保构建微表情分类器的各类样本数量均衡，此时微表情分类会将微表情划分为四类。步骤(32)：对训练样本的视频中人脸和五官进行定位；其定位方法和步骤1相同，故这里不在赘述；步骤(33)：对所述的五官所处位置进行光流计算，得出光流值，其计算方法与本文档来自技高网...

【技术保护点】
1.一种基于光流法的微表情分类方法，其特征在于：包括如下步骤：(1)利用Haar特征及Adaboost算法对待测视频中第一帧图像的人脸和五官进行定位；(2)对五官所处的位置进行光流计算，获取五官位置的光流值：在所述的第一帧整帧图像上设置一组控制点，将光流估值分为控制点的光流估值项Edata(D)和在控制点附近的微小变形光流估值项Esmooth(D)；其表达式为：Edata(D)＝∫Ω|I(x,f)‑I(x+D(x),f+1)|dx

【技术特征摘要】
1.一种基于光流法的微表情分类方法，其特征在于：包括如下步骤：(1)利用Haar特征及Adaboost算法对待测视频中第一帧图像的人脸和五官进行定位；(2)对五官所处的位置进行光流计算，获取五官位置的光流值：在所述的第一帧整帧图像上设置一组控制点，将光流估值分为控制点的光流估值项Edata(D)和在控制点附近的微小变形光流估值项Esmooth(D)；其表达式为：Edata(D)＝∫Ω|I(x,f)-I(x+D(x),f+1)|dx其中，x表示像素，f表示图像序列中的第f帧，D表示2D位移矢量场；光流估值Etotal(D)表达式为：Etotal(D)＝Edata(D)+λEsmooth(D)其中，λ为控制点的光流估值项和控制点附近的微小变形光流估值项的相对系数；(3)将获得的五官位置的光流值输入到微表情分类器的每一决策树中，光流值从决策树的根节点出发，经过节点判断后到达决策树的叶节点，得到每一决策树对所述的待测视频的微表情分类的类别；(4)将所有决策树对所述的待测视频的微表情分类的类别进行统计，确定对所述的待测视...

【专利技术属性】
技术研发人员：李立阳，刘海天，付建苏，王会龙，张民强，邱德明，陈阳，王梓，刘飞，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：江苏,32