本发明专利技术提出了一种基于非线性降维的人脸微表情捕捉及识别方法，该方法首先构建一种高速图像采集应用系统并获取高速视频人脸图像序列，然后利用一种基于拉普拉斯特征映射的非线性降维方法，对获得的高速视频人脸图像序列进行降维，最后在低维空间中进行特征参数计算，应用低维空间特征参数跟踪识别人脸微表情变化。实验表明该方法对计算机性能要求低，计算速度快，使得实时跟踪识别人脸微表情变化成为可能。
【技术实现步骤摘要】
本专利技术涉及。构建一种高速时间序列图像动态采集系统获取人脸动态时间序列图像，利用一种基于拉普拉斯特征映射的非线性降维方法，最终实现低维空间人脸微表情的捕捉及识别。
技术介绍
微表情(Micro-expression)是一种持续时间仅为40毫秒至200毫秒的非常快速的表情，它不受意识控制，反映了人类内心的真正情感。微表情作为欺骗检测线索，在临床上、侦查审讯、国家安全等领域有重要价值，应用前景极其广阔。在临床上，医生若能识别病人的微表情，则可以更好地了解病人的需求，针对性地确定治疗方案，缩短疗程，提高疗效。在侦查审讯、国家安全领域，有些训练有素的恐怖分子等危险人物可能轻易就通过测谎仪的检测，但是通过微表情，一般就可以发现他们虚假表面下的真实表情。目前，人们对微表情的认识还十分有限，微表情识别一般借助面部行为编码系统FACS (Facial Action Coding System)对可能包含微表情的视频进行逐巾贞的编码。FACS编码的训练十分费时，编码者一般需要接受100小时的训练才能达到初步熟练的程度；同时使用FACS进行编码也很费时，编码I分钟的视频至少需要2个小时。这极大地限制了目前的微表情研究及应用，此外，由于微表情出现速度很快，人工识别有很大困难，可靠性也无法保证，因此，急需一种有效的人脸微表情自动识别方法。2011年，美国南佛罗里达大学的Shreve1采用光流法提取微表情特征，然后根据给定阈值进行微表情分类。同年，芬兰奥卢大学的赵国英2以时间差值模型LBP-TOP为特征提取方法，综合利用支持向量机、随机森林和多核学习方法进行微表情分类。但这些研究与自动识别微表情的目标尚有较大差距，仅仅只是初步探索。2011年，中国科学院心理研究所的吴奇3等对视频中的人脸进行捕获并进行相应的预处理，基于Gabor特征对捕获到的人脸图像进行特征提取，以形成人脸表情的Gabor表征,再结合Gabor特征与改进的GentleSVM算法实现人脸表情识别，不过，该结果是基于特定的测试集得到的，对于幅度较小的表情或将其应用于现实环境中可能无法达到很高的识别率。2013年，日本的Polikovsky4使用200fps高速摄像机在特定的环境下拍摄了 10组大学生的面部微表情活动，参与者被要求从6种表情以自己最快的速度回到中性表情中，完成模拟微表情变化的过程。记录下面部的微变化后，将面部分为12个感兴趣区，对每一区域采用3D梯度方向直方图描述运动。综合K均值聚类和表决程序的分类结果表明，3D梯度方向直方图可以有效表征不同面部区域处在不同相位的面部表情动作单元。迄今为止，只有日本的Polikovsky5创建的微表情视频库使用的是高速照相机，但它是在强光下拍摄，与真实的自然场景有很大区别，因此也需要研制一种获取人脸动态时间序列图像的高速图像采集系统。微表情持续时间很短并快速变化，需要高速动态图像跟踪捕捉，捕捉到的高速动态图像序列是一个高维数据集，直接对该高维数据进行处理识别微表情特征往往会面临维数灾难。通过维数约减将高维数据转换为低维特征空间表示，必然在相当大的程度上减轻甚至避免图像数据处理所面临的维数灾难。为实现高维输入样本在局部意义下的最优低维嵌入，Belkin和Niyogi于2003年提出了基于谱图理论的Laplacian Eigenmap6 (LE)算法。他们发现流形上Laplacian-Beltrami算子的特征函数可以实现流形的低维嵌入，Laplacian-Beltram算子定义为流形切空间上梯度向量的负散度函数。根据谱图理论，如果数据均匀采样于高维空间中的低维流形，那么可以用图的Laplacian去逼近流形上Laplacian-Beltrami算子,进而可以用图的Laplacian特征向量去逼近流形上Laplacian-Beltrami算子的特征函数。LE算法只需要较少的计算量，执行速度很快，是一种广泛应用的非线性降维方法。1Shreve , M.；Godavarthy, S.；Goldgof, D.；Sarkar, S., 〃Macro-andmicro-expression spotting in long videos using spatio-temporal strain, AutomaticFace&Gesture Recognition and Workshops (FG2011), 2011 IEEE International Conferenceon, vol., n0., pp.51,56,21_25March2011.2Pfister, T.；Xiaobai Li ；Guoying Zhao ；Pietikainen, M., Recognisingspontaneous facial micro-expressions, Computer Vision (ICCV),2011IEEEInternational Conference on, vol., n0., pp.1449,1456,6-13Nov.2011.3Qi Wu, Xunbing Shen, Xiaolan Fu:The Machine Knows What You Are Hiding:AnAutomatic Micro-expression Recognition System.ACII (2) 2011: 152-162.4Polikovsky, Senya ； Kame da, Yoshinari ； Oh t a, Yuichi, FacialMicro-Expression Detection in H1-Speed Video Based on Facial Action CodingSystem(FACS) ，IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, vol.E96D, n0.1，pp.81-92JAN2013.5Polikovsky, Senya ；Kameda, Yoshinari ；0hta, Yuichi, FacialMicro-Expression Detection in H1-Speed Video Based on Facial Action CodingSystem(FACS) ，IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, vol.E96D, n0.1，pp.81-92JAN2013.6Mikhail Belkin, Partha Niyog1. Laplacian Eigenmaps for DimensionalityReduction and Data Representation;/ , Neural Computation, 200315:6,1373-1396.
技术实现思路
本专利技术所解决的主要技术问题是研制一种获取人脸动态时间序列图像的高速图像采集系统，开发一种基于拉普拉斯特征映射的非线性降维的高维序列图像特征计算分析方法，最终实现人脸微表情的捕捉及识别。本专利技术所采用的技术方案如下:1.创建高速图像采集应用系统(硬件组成+应用软件)，设置好高速图本文档来自技高网...
【技术保护点】
一种基于非线性降维的人脸微表情捕捉及识别方法，包括如下步骤：步骤(1)，创建高速图像采集应用系统(硬件组成+应用软件)；步骤(2)，采集高速视频人脸图像序列作为输入进行后续特征提取分析；步骤(3)，对微表情变化时间序列图像预处理，先对视频图像进行滤波降噪预处理，然后从人脸中分割出面部区域并提取相关视频；步骤(4)，应用拉普拉斯特征映射对序列图像降维；步骤(5)，在低维空间中进行特征参数计算，基于k近邻分类器应用低维空间特征参数跟踪识别人脸微表情变化。
【技术特征摘要】
1.一种基于非线性降维的人脸微表情捕捉及识别方法，包括如下步骤: 步骤(1)，创建高速图像采集应用系统(硬件组成+应用软件)； 步骤(2)，采集高速视频人脸图像序列作为输入进行后续特征提取分析； 步骤(3)，对微表情变化时间序列图像预处理，先对视频图像进行滤波降噪预处理，然后从人脸中分割出面部区域并提取相关视频； 步骤(4)，应用拉普拉斯特征映射对序列图像降维； 步骤(5)，在低维空间中进行特征参数计算，基于k近邻分类器应用低维空间特征参数跟踪识别人脸微表情变化。2.如权利要求1所述的高速图像采集应用系统创建方法为: 由于微表情持续时间最短仅为40毫秒,要求fps至少250,控制噪声和系统造价同时，为了提高精度，我们选择采样频率最高可达300fps高速摄像系统，分辨率为800x600像素。高速摄像系统与高性能计算机工作站直接相连，采集系统软件实现图像的实时采集、处理和存储功能。能够...
【专利技术属性】
技术研发人员：李海云，董建鑫，景斌，龙云玲，钟景茹，
申请(专利权)人：首都医科大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。