本发明专利技术监控视频序列中人脸微表情图像序列的识别方法，涉及应用电子设备进行识别图形的方法，步骤是：监控视频人脸微表情图像序列欧拉放大；监控视频人脸微表情图像预处理；利用SMTCTP‑WTOP算子提取人脸微表情图像序列的动态时空纹理特征；使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别。本发明专利技术克服了现有技术中人脸微表情图像的识别受到光照、遮挡物和噪声的影响，导致识别率较低的缺陷。
【技术实现步骤摘要】
本专利技术的技术方案涉及应用电子设备进行识别图形的方法，具体地说是监控视频序列中人脸微表情图像序列的识别方法。
技术介绍
人脸微表情不同于普通表情，是一种持续时间很短并且非常快速的表情，持续约1/25秒至1/5秒，是人类试图压抑或者隐藏真实情感时泄露的不能自主控制，不易被察觉的面部表情。通过分析人脸微表情，可以发现人试图隐藏的真实情感，在临床、司法、国家安全和审讯等中都有很多潜在的应用价值。在日常生活中，了解人脸微表情，也是识别谎言的有效的途径之一。1966年,Haggard和Isaaes首先发现了一种快速且不易被察觉的面部表情(micromomentaryfacialexpressions),认为其与自我防御机制有关，且表达了被压抑的情绪。1969年,Ekman和Friesen也在抑郁症患者的访谈录像中发现了这种面部表情,并将其命名为人脸微表情。Ekman等将跨越不同民族和文化群体的面部表情分成6个主要类别:快乐、悲伤、惊讶、恐惧、愤怒和厌恶。人脸微表情的识别分为两个阶段，一是人工识别人脸微表情阶段，二是人脸微表情自动识别阶段。在人脸微表情早期研究中，即人工识别人脸微表情阶段，研究者的主要任务是编制各种人脸微表情训练工具以达到训练或者提高人脸微表情的识别能力。自Ekman于2002年首先研制出人脸微表情自动识别能力的工具即METT(人脸微表情训练工具)后,人脸微表情自动识别的应用研究在近年来不断涌现，并引起社会媒体和科学界的广泛关注。一些早期的人脸微表情自动识别的应用研究主要集中在一些合成的面部人脸微表情，后来的研究发现，相比于合成的人脸微表情，自发的人脸微表情可以揭示人们内心的真实情感，但更具挑战性，因而更加引起研究人员的关注。目前，自发的人脸微表情识别率很低。美国的Ekman团队、Matsumoto团队和Shreve团队，日本的Polikovsky团队,芬兰的赵国英团队,中国的傅小兰团队等在开展人脸微表情研究。在目前的研究进展中，芬兰奥卢大学的赵国英团队用时间差值模型和LBP-TOP(LocalBinaryPatternfromThreeOrthogonalPlanes)算法对于人脸微表情识别是最简单有效的，是公认的人脸微表情识别方法。由于LBP-TOP对噪声、光照等鲁棒性较差，故Nanni等提出了LTP-TOP(基于三维正交平面的局部三值模式)算法，该算法把LBP算子的二值模式扩展为三值模式LTP算子，但该方法对有遮挡物的人脸微表情难以识别。马来西亚的Wang等人使用六个交叉点的局部二值模式(LBP-SIP，LocalBinaryPatternwithSixIntersectionPoints)，减少了LBP-TOP的冗余信息，识别率提高为65.99％，但其提取的特征数较少，丢失了较多人脸微表情纹理特征信息。芬兰学者Huang等人在LBP-TOP基础上提出STCLQP(SpatioTemporalCompletedLocalQuantizationPatterns)算法，利用3个组件，即符号、大小和方向，形成一个高效的矢量量化和编码来识别人脸微表情，在CASME数据库上识别率达到为68.93％，但识别率并没有达到理想的结果。中国专利CN103440509A提出了一种基于张量空间采用张量表达的判别分析方法，最小化同一种人脸微表情的类内距离，最大化不同类人脸微表情的类间距离，实现对数据降维，并且将特征数据按照类判别能力降低的顺序进行向量化排序，但该方法计算复杂，易受到噪声的影响，并且识别率也不高。CN103617436A提出了一种基于差分切片能量图和Gabor变换的人脸微表情识别方法，该方法主要是将差分切片能量图进行Gabor变换的特征提取，提取后的特征再下采样，再使用线性判别分析作进一步特征提取，但该方法时间复杂度高，且Gabor表征全局的能力较弱，而识别性能低于人们的期望。
技术实现思路
本专利技术所要解决的技术问题是：提供监控视频序列中人脸微表情图像序列的识别方法，是一种利用SMTCTP-WTOP算子提取监控视频微表情序列的动态时空纹理特征的人脸微表情的识别方法，本专利技术克服了现有技术中人脸微表情图像的识别受到光照、遮挡物和噪声的影响，导致识别率较低的缺陷。上述SMTCTP-WTOP是SymmetryMagnitudeTwiceCenteredTernaryPatternsWeightedThreeOrthogonalPlanes的缩写。本专利技术解决该技术问题所采用的技术方案是：监控视频序列中人脸微表情图像序列的识别方法，是一种利用SMTCTP-WTOP算子提取监控视频微表情序列的动态时空纹理特征的人脸微表情的识别方法，具体步骤如下：第一步，监控视频人脸微表情图像序列欧拉放大：利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，采用欧拉影像放大算法对人脸图像序列进行放大；第二步，监控视频人脸微表情图像序列预处理：利用中值滤波算法对上述第一步中得到的放大的监控视频人脸微表情图像序列去噪，然后用Adaboost算法检测该去噪后的图像序列中的人脸，并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，完成监控视频人脸微表情图像预处理，得到预处理后的监控视频人脸微表情图像的大小为N×N个像素；第三步，利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征：(3.1)计算XY、XT、YT平面上每个像素点的CTP和SMTP特征：对上述第二步预处理后得到人脸微表情图像序列，分别在XY、XT、YT平面上遍历人脸微表情图像序列中的每一个像素点gc，在以gc为中心，R为半径的环形近邻点上提取gc的CTP特征和SMTP特征，其中像素点gc的CTP特征由公式(1)提取，这里，s(x)为三值函数，公式如下：上述式(1)中，gc是中心像素点的灰度值，R是以gc为中心的环的半径，n是分布在环上的像素点个数即近邻像素点个数，gi，i＝0,1,…,n-1，是近邻像素点的灰度值，t是阈值；像素点gc的SMTP特征定义如下：这里k(x)是二值函数，公式如下：上述式(3)中，上述式(4)中取t＝M；由此计算出XY、XT、YT平面上每个像素点的CTP和SMTP特征；(3.2)提取SMTCTP-TOP特征统计直方图：对于第二步得到的图像的尺寸归一化的人脸微表情图像序列，大小为N×N×L,需要分别在XY、XT、YT平面上统计上述式(3)和式(4)得到的每个像素点的CTP特征和SMTP特征，并采用下式(5)分别计算三个平面的CTP和SMTP统计直方图，每个平面的CTP统计直方图定义如下：上述式(5)中，j的值为0、1、2，分别表示XY、XT、YT平面，i表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素点gc(x,y,t)在第j个平面CTP特征值，(x,y,t)为gc的坐标，nj为CTP特征在第j个平面产生的最大的十进制数，二值函数I(x)如下所示：同理，每个平面j＝0、1、2的SMTP特征统计直方图定义如式(7)：XY、XT、YT三个平面的SMTCTP特征统计直方图是由两个CTP特征统计直方图和一个SMTP特征统计直方图组成，即：Hj＝[HCTP,jHCTP,jHSMTP,j]j＝0,1,本文档来自技高网...
【技术保护点】
监控视频序列中人脸微表情图像序列的识别方法，其特征在于：是一种利用SMTCTP‑WTOP算子提取监控视频微表情序列的动态时空纹理特征的人脸微表情的识别方法，具体步骤如下：第一步，监控视频人脸微表情图像序列欧拉放大：利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，采用欧拉影像放大算法对人脸图像序列进行放大；第二步，监控视频人脸微表情图像序列预处理：利用中值滤波算法对上述第一步中得到的放大的监控视频人脸微表情图像序列去噪，然后用Adaboost算法检测该去噪后的图像序列中的人脸，并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，完成监控视频人脸微表情图像预处理，得到预处理后的监控视频人脸微表情图像的大小为N×N个像素；第三步，利用SMTCTP‑WTOP算子提取人脸微表情图像序列的动态时空纹理特征：(3.1)计算XY、XT、YT平面上每个像素点的CTP和SMTP特征：对上述第二步预处理后得到人脸微表情图像序列，分别在XY、XT、YT平面上遍历人脸微表情图像序列中的每一个像素点gc，在以gc为中心，R为半径的环形近邻点上提取gc的CTP特征和SMTP特征，其中像素点gc的CTP特征由公式(1)提取，CTP(n,R,gc)=Σi=0n/2-1s(gi-gi+n/2)3i+s(gc-1n+1(Σi=0n-1gi+gc))3n/2---(1),]]>这里，s(x)为三值函数，公式如下：s(x)=2,x>t1,|x|≤t0,x<-t---(2),]]>上述式(1)中，gc是中心像素点的灰度值，R是以gc为中心的环的半径，n是分布在环上的像素点个数即近邻像素点个数，gi，i＝0,1,…,n‑1，是近邻像素点的灰度值，t是阈值；像素点gc的SMTP特征定义如下：SMTP(n,R,gc)=Σi=0n-1k(|gi-gi+n/2|)3n/2+i+k(|gc-M|)3n---(3),]]>这里k(x)是二值函数，公式如下：上述式(3)中，上述式(4)中取t＝M；由此计算出XY、XT、YT平面上每个像素点的CTP和SMTP特征；(3.2)提取SMTCTP‑TOP特征统计直方图：对于第二步得到的图像的尺寸归一化的人脸微表情图像序列，大小为N×N×L,需要分别在XY、XT、YT平面上统计上述式(3)和式(4)得到的每个像素点的CTP特征和SMTP特征，并采用下式(5)分别计算三个平面的CTP和SMTP统计直方图，每个平面的CTP统计直方图定义如下：HCTP,j=[Σx,y,tI(CTPj(n,R,gc(x,y,t))=i),i=0,...,nj]---(5),]]>上述式(5)中，j的值为0、1、2，分别表示XY、XT、YT平面，i表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素点gc(x,y,t)在第j个平面CTP特征值，(x,y,t)为gc的坐标，nj为CTP特征在第j个平面产生的最大的十进制数，二值函数I(x)如下所示：同理，每个平面j＝0、1、2的SMTP特征统计直方图定义如式(7)：HSMTP,j=[Σx,y,tI(SMTPj(n,R,gc(x,y,t))=i),i=0,...,nj,]---(7),]]>XY、XT、YT三个平面的SMTCTP特征统计直方图是由两个CTP特征统计直方图和一个SMTP特征统计直方图组成，即：Hj＝[HCTP,j HCTP,j HSMTP,j] j＝0,1,2 (8),将每个平面得到的统计直方图标准化如下：H‾j=Hj/Σj=02Hj---(9),]]>式(9)中，把XY、XT、YT三个平面的统计直方图总和加起来作为分母，分子为各个平面的统计直方图，最后得出标准化后的统计直方图，再进行统计直方图的串联，得到SMTCTP‑TOP特征统计直方图H，如公式(10)所示，H=[H0‾H1‾H2‾]---(10),]]>由此提取出SMTCTP‑TOP特征统计直方图；(3.3)确定XY、XT和YT平面直方图的权值，得到SMTCTP‑WTOP特征统计直方图：对XY、XT和YT每个平面赋予不同平面统计直方图的权值，且三个平面统计直方图的权重之和为1，从而构成SMTCTP‑WTOP算子，具体方法如下：设XY平面所占权重为a，XT所占权重为b，则YT平面权重为(1‑a‑b)，权重向量W为：W＝(a b 1‑a‑b) (11)，则构成加权的SMTCTP‑TOP即SMTCTP‑WTOP算子如下：SMTCTP‑WTOP＝W·HT＝[aH0 bH1 (1‑a‑b)H2] (12)，...
【技术特征摘要】
1.监控视频序列中人脸微表情图像序列的识别方法，其特征在于：是一种利用SMTCTP-WTOP算子提取监控视频微表情序列的动态时空纹理特征的人脸微表情的识别方法，具体步骤如下：第一步，监控视频人脸微表情图像序列欧拉放大：利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，采用欧拉影像放大算法对人脸图像序列进行放大；第二步，监控视频人脸微表情图像序列预处理：利用中值滤波算法对上述第一步中得到的放大的监控视频人脸微表情图像序列去噪，然后用Adaboost算法检测该去噪后的图像序列中的人脸，并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，完成监控视频人脸微表情图像预处理，得到预处理后的监控视频人脸微表情图像的大小为N×N个像素；第三步，利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征：(3.1)计算XY、XT、YT平面上每个像素点的CTP和SMTP特征：对上述第二步预处理后得到人脸微表情图像序列，分别在XY、XT、YT平面上遍历人脸微表情图像序列中的每一个像素点gc，在以gc为中心，R为半径的环形近邻点上提取gc的CTP特征和SMTP特征，其中像素点gc的CTP特征由公式(1)提取，CTP(n,R,gc)=Σi=0n/2-1s(gi-gi+n/2)3i+s(gc-1n+1(Σi=0n-1gi+gc))3n/2---(1),]]>这里，s(x)为三值函数，公式如下：s(x)=2,x>t1,|x|≤t0,x<-t---(2),]]>上述式(1)中，gc是中心像素点的灰度值，R是以gc为中心的环的半径，n是分布在环上的像素点个数即近邻像素点个数，gi，i＝0,1,…,n-1，是近邻像素点的灰度值，t是阈值；像素点gc的SMTP特征定义如下：SMTP(n,R,gc)=Σi=0n-1k(|gi-gi+n/2|)3n/2+i+k(|gc-M|)3n---(3),]]>这里k(x)是二值函数，公式如下：上述式(3)中，上述式(4)中取t＝M；由此计算出XY、XT、YT平面上每个像素点的CTP和SMTP特征；(3.2)提取SMTCTP-TOP特征统计直方图：对于第二步得到的图像的尺寸归一化的人脸微表情图像序列，大小为N×N×L,需要分别在XY、XT、YT平面上统计上述式(3)和式(4)得到的每个像素点的CTP特征和SMTP特征，并采用下式(5)分别计算三个平面的CTP和SMTP统计直方图，每个平面的CTP统计直方图定义如下：HCTP,j=[Σx,y,tI(CTPj(n,R,gc(x,y,t))=i),i=0,...,nj]---(5),]]>上述式(5)中，j的值为0、1、2，分别表示XY、XT、YT平面，i表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素点gc(x,y,t)在第j个平面CTP特征值，(x,y,t)为gc的坐标，nj为CTP特征在第j个平面产生的最大的十进制数，二值函数I(x)如下所示：同理，每个平面j＝0、1、2的SMTP特征统计直方图定义如式(7)：HSMTP,j=[Σx,y,tI(SMTPj(n,R,gc(x,y,t))=i),i=0,...,nj,&...
【专利技术属性】
技术研发人员：于明，张津，于洋，刘依，张婷婷，郭迎春，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：天津;12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。