一种基于多尺度采样的微表情自动识别方法技术

本发明专利技术提供了一种基于多尺度采样的微表情自动识别方法，包括微表情图像序列预处理、微表情特征提取和微表情识别。本发明专利技术为减小人脸自然位移和无效区域对微表情识别的影响，本发明专利技术采用了一种人脸自动对齐和面部区域有效分块的方法，提高了识别结果的鲁棒性；针对已有特征描述子的不足，本发明专利技术提出了一种新颖的微表情特征描述算子CPTOP，CPTOP算子具有和LBP‑TOP算子等数量的采样点数，但使用了多尺度采样的策略，在同等时间复杂度和空间复杂度下获得了更好的描述信息。

【技术实现步骤摘要】

本专利技术涉及一种基于多尺度采样的微表情自动识别方法，属于机器学习和模式识别的

技术介绍
人类的面部表情研究起源于19世纪达尔文[1]，最近，Ekman和Erika[2]进行了面部测绘行为的研究，验证了微表情(micro expression)可提供更全面的隐蔽情感的泄露。微表情是一种快速表情，虽然持续时间短，但是能揭露人内心的真实情感，从而为判断人内在的精神状态提供了可靠的依据[3]，因此在司法系统、临床诊断等方面具有重要的应用。国外针对微表情的研究起步较早，提出并且定义了微表情，在协助司法机关诊断案情、商业谈判、心理咨询等领域多有建树，开始得到一些应用。傅小兰教授主持的2011－2013年国家自然科学基金面上项目“面向自动谎言识别的微表情表达研究”推动了国内对于微表情研究的发展。与宏观表情不同，微表情最大的特点是持续时间短、强度小，所以仅凭人眼识别微表情是一个巨大的挑战。利用计算机视觉实现微表情自动识别是必然的趋势，但准确识别的前提是找到有效的特征描述方式。尽管研究人员在人脸识别、宏观表情识别中提出了一些优秀的特征描述符，并且取得了不错的效果，但针对微表情的时空特性和计算复杂度，直接将上述描述符拓展到微表情识别中是不可行的。为此，针对微表情自动识别面临的诸多挑战，本专利提供了一种基于多尺度采样的微表情自动识别方法。[1]Darwin C.The expression of the emotions in man and animals[M].University of Chicago Press,1965。[2]Ekman P,and Erika L R.What the face reveals:basic and applied studies of spontaneous expression using the facial action coding system(FACS)[M].OxfordUniversity Press,1997。[3]贲晛烨,杨明强,张鹏,等.微表情自动识别综述[J].计算机辅助设计与图形学学报,2014,26(9):1385-1395。
技术实现思路
针对现有技术的不足，本专利提供了一种基于多尺度采样的微表情自动识别方法。为减小人脸自然位移和无效区域对微表情识别的影响，本专利技术采用了一种人脸自动对齐和面部区域有效分块的方法，提高了识别结果的鲁棒性；针对已有特征描述子的不足，本专利技术提出了一种新颖的微表情特征描述算子CPTOP，CPTOP算子具有和LBP-TOP算子等数量的采样点数，但使用了多尺度采样的策略，在同等时间复杂度和空间复杂度下获得了更好的描述信息。本专利技术的技术方案如下：一种基于多尺度采样的微表情自动识别方法，包括微表情图像序列预处理、微表情特征提取和微表情识别；所述微表情图像序列预处理，依次包括人脸特征点检测、人脸对齐和面部分块；所述面部分块是指对微表情图像首帧根据特征点进行分块，形成子块；所述微表情特征提取包括，在每个子块，使用CPTOP算子在灰度化的表情序列XY、XT和YT三个平面上提取直方图特征向量，然后级联成一个高维的特征向量作为CPTOP的特征向量；将上述各子块的高维特征向量级联成更高维的特征向量，作为微表情的描述；微表情识别：通过支持向量机(Support Vector Machine,SVM)构建多个二元分类器实现多分类，通过上述已知类别的高维特征向量有监督地训练支持向量机参数，实现对未知类别微表情的分类。根据本专利技术优选的，在所述微表情图像序列预处理中，所述人脸特征点检测是指对单个表情序列，使用人脸特征点检测方法检测到每一帧的所有特征点，使用其中不易受到微表情动作影响的特征点；所述人脸对齐是指将后续帧对齐到首帧；所述面部分块是指是指根据首帧的特征点，将面部划分成互不重叠的多个子块。根据本专利技术优选的，所述人脸特征点检测是利用Discriminative Response Map Fitting(DRMF)方法检测到微表情图像的特征点：选择一段微表情序列每帧图像中受微表情影响最小的3个非共线的特征点p＝1,…,P,j＝1,2,3，P为帧数，为点坐标的x分量，为点坐标的y分量，利用 L 1 j 1 = M p L p j 1 - - - ( 1 ) ]]>计算后续帧p＝2,…P对齐到首帧的变换矩阵，根据本专利技术优选的，所述人脸对齐是指根据微表情序列两帧图像之间对应点的坐标计算出仿射变换矩阵，由该仿射变换矩阵将其中一帧图像对齐到另一帧图像：I'p(x',y')＝Ip(x,y) (2)Ip(x,y)为原图像像素点的取值，I'p(x',y')为对齐图像像素点的取值，其中 x ′ y ′ 1 = M p x y 1 - - - ( 3 ) ]]>首帧图像与后续帧对齐的图像组成新的微表情序列，后续操作均在此序列上进行。根据本专利技术优选的，所述CPTOP算子，是将微表情图像序列划分为XY、XT和YT三个正交平面，在各正交平面中使用纹理描述算子产生统计直方图，形成微表情特征的表示。所述CPTOP算子在各正交平面中的采样模式如图5，CPTOP在每本文档来自技高网...

【技术保护点】
一种基于多尺度采样的微表情自动识别方法，其特征在于，该方法包括微表情图像序列预处理、微表情特征提取和微表情识别；所述微表情图像序列预处理，依次包括人脸特征点检测、人脸对齐和面部分块；所述面部分块是指对微表情图像首帧根据特征点进行分块，形成子块；所述微表情特征提取包括，在每个子块，使用CPTOP算子在灰度化的表情序列XY、XT和YT三个平面上提取直方图特征向量，然后级联成一个高维的特征向量作为CPTOP的特征向量；将上述各子块的高维特征向量级联成更高维的特征向量，作为微表情的描述；微表情识别：通过支持向量机构建多个二元分类器实现多分类，通过上述已知类别的高维特征向量有监督地训练支持向量机参数，实现对未知类别微表情的分类。

【技术特征摘要】
1.一种基于多尺度采样的微表情自动识别方法，其特征在于，该方法包括微表情图像序列预处理、微表情特征提取和微表情识别；所述微表情图像序列预处理，依次包括人脸特征点检测、人脸对齐和面部分块；所述面部分块是指对微表情图像首帧根据特征点进行分块，形成子块；所述微表情特征提取包括，在每个子块，使用CPTOP算子在灰度化的表情序列XY、XT和YT三个平面上提取直方图特征向量，然后级联成一个高维的特征向量作为CPTOP的特征向量；将上述各子块的高维特征向量级联成更高维的特征向量，作为微表情的描述；微表情识别：通过支持向量机构建多个二元分类器实现多分类，通过上述已知类别的高维特征向量有监督地训练支持向量机参数，实现对未知类别微表情的分类。2.根据权利要求1所述的一种基于多尺度采样的微表情自动识别方法，其特征在于，在所述微表情图像序列预处理中，所述人脸特征点检测是指对单个表情序列，使用人脸特征点检测方法检测到每一帧的所有特征点，使用其中不易受到微表情动作影响的特征点；所述人脸对齐是指将后续帧对齐到首帧；所述面部分块是指是指根据首帧的特征点，将面部划分成互不重叠的多个子块。3.根据权利要求2所述的一种基于多尺度采样的微表情自动识别方法，其特征在于，所述人脸特征点检测是利用Discriminative Response Map Fitting(DRMF)方法检测到微表情图像的特征点：选择一段微表情序列每帧图像中受微表情影响最小的3个非共线的特征点p＝1,L,P,j＝1,2,3，P为帧数，为点坐标的x分量，为点坐标的y分量，利用 L 1 j 1 = M p L p j ...

【专利技术属性】
技术研发人员：贲晛烨，李传烨，杨明强，庞建华，冯云聪，任亿，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37