本发明专利技术提出一种基于视频的面部表情识别方法及装置，该方法在进行实时视频面部表情识别的时候，主要将ＡＳＭ轮廓提取算法应用到特征矢量的提取当中，并根据人脸的眼睛的位置对人脸图像进行提取，由人脸下巴的位置生成归一化的特征脸，用ＡｄａＢｏｏｓｔ算法提取特征脸中最有效的特征，最终达到面部表情识别的目的。本发明专利技术在使用中可以消除光照的影响，在方法中对人脸图像进行了专门处理，使人脸的左右部分的灰度均值和方差基本一致，并且本发明专利技术的方法针对常用的ＵＳＢ摄像头的视频数据来对人脸进行实时自动检测、跟踪并能识别出正面人脸常见的四种表情的算法，可以达到较佳的技术以及商用效果。
【技术实现步骤摘要】
本专利技术涉及一种识别方法，尤其是指一种基于视频对人脸面部表情的识别方法及装置。
技术介绍
随着人机交互研究的深入和巨大的应用前景，人脸面部表情识别已经成为当前模式识别和人工智能领域的一个研究热点。但人脸表情的实时识别是一个非常困难的问题，许多理论还不完善，成熟的商业成果几乎没有。人脸表情识别的困难在于不同人所做出的同一种表情有较大差异，而且不同表情之间的差别也很微妙。此外光照、人脸姿态也会影响到识别的正确率。表情识别的方法一般都是基于统计来完成的，即从人脸图像中提取出特征矢量，然后训练分类器，最后进行识别。特征的提取是识别成败的关键，目前用于表情识别的特征可以分为两种局部特征和整体特征。基于局部特征的人脸面部表情识别是利用每个人的面部特征(眉毛、眼睛、鼻子、嘴巴和面部轮廓等)的位置、大小及其相互位置的不同进行特征提取，达到人脸面部表情识别的目的。基于人脸整体特征的识别是从整个人脸图像出发，提出反映了整体的特征实现人脸面部表情识别。局部特征的数据量比较小，但是它用有限的特征来代表整个图像，会丢失有用的信息。而且人脸特征的准确、自动提取是一个很难的问题。在现有的技术中，有人提出采用对人脸的面部表情的识别采用Fisher准则函数进行识别，也就是对人脸部的整体特征进行识别，利用反向传播算法对人脸进行识别，该方法识别的基本步骤是a、对接收的图像进行预处理；b、进行人脸的局部特征提取；c、整体特征的提取；d、对局部和整体特征进行融合；e、最后对接收的人脸的面部表情做出识别。但是这种识别方法只是更清楚的对人脸的特征进行分析和判断，尽管能大致反映出人脸上体现的面部表情，但是还受到光照等外在因素的影响，仍不能准确，迅速自动的提取出来。
技术实现思路
本专利技术要解决的技术问题是现有技术不能准确、自动提取人脸表情的问题，本专利技术提出一种视频情况下的面部表情识别方法，目的是能够解决现有技术中存在的缺陷，该方法基于人脸的整体特征，根据自动提取的人脸下巴轮廓生成一个标准脸，然后采用AdaBoost的算法选择最有效的特征，得到稳健的识别结果。本专利技术的方法是针对常用的USB摄像头的视频数据提出的可以对人脸进行实时自动检测、跟踪并识别出正面人脸常见的表情的算法，尤其是最常见的四种表情，并且可以避免识别的面部表情受到光照等因素的影响。本专利技术的目的是这样实现的一种基于视频的面部表情识别方法，包括以下步骤从USB摄像头输入的视频数据中采集人脸的面部表情图像数据，对该图像数据做预处理；实时提取人脸在预处理后图像中的位置；依据人眼分类器对确定出的图像中的人脸中的人眼做出定位；根据确定的人眼的位置和人脸分类器的信息提取包含人脸的图像区域，进行归一化处理；对人脸器官定位；根据对人脸器官的定位确定人脸下巴的位置，确定图像中的人脸区域，生成特征脸，并作为分类样本； 计算所述的特征脸图像的Gabor特征；对计算出的Gabor特征进行选择；由挑选的特征构造支持向量机分类器；根据构造的分类器得出人脸表情识别结果。从USB摄像头输入的数据进行采集的时候，包括以下人脸图像跟踪步骤在未获取跟踪目标前，搜索每帧图像，检测人脸图像的存在；如果检测到某帧图像存在一个或多个人脸，则在接下来的两帧图像中跟踪检测到的人脸，并对这两帧图像中跟踪的人脸进行检测和验证，对检测结果作出判断；在同一个位置三帧图像都检测到人脸后，算法才认为该位置存在有人脸图像，此时执行实时人脸检测算法提取人脸在图像中的位置；如果检测到场景中存在有多个人脸图像，挑选出最大的人脸图像开始跟踪，在后续帧中持续跟踪该人脸，如相邻帧中后一帧与前一帧的跟踪结果的相似度过低，或某个跟踪目标所在区域长时间未检测到正面直立人脸，则停止跟踪。所述归一化处理通过重采样算法实现所述的重采样算法为缩放、旋转和平移变换，使检测的人眼的位置与人眼分类器的位置重叠进行定位。所述的对人脸器官定位是采用目标提取方法，该目标提取方法为主动形状模型算法。所述的主动形状模型算法的具体步骤为由视频数据中提取人脸的轮廓信息，建立样本单元；对样本单元中的样本进行归一化和对齐处理，然后进行主分量分析变换；对主分量分析变换后的轮廓信息中每个控制点的灰度信息，作为点搜索的依据；将主分量分析计算得到的平均轮廓作为轮廓搜索的初始值，进行迭代搜索，得到最终结果。所述的迭代搜索的步骤是根据灰度信息来获得初始的平移值，将根据灰度搜索得到的新的轮廓对齐到平均轮廓，计算对齐的参数值；根据对齐后的数据和主分量分析计算的统计值来计算形状的变化值；根据对齐的参数值将变化后的形状反算到原来的位置得到一次搜索的结果；重复上述搜索步骤，继续进行迭代直到收敛得到最终结果。所述的生成特征脸是将提取出来的人脸轮廓与人脸分类器中的人脸对比，进行倾斜度调整。在生成特征脸与计算特征脸图像的Gabor特征之间还存在对生成的特征脸进行处理的步骤对形成的特征脸的左右部分进行灰度的归一化，使左右部分的灰度均值和方差相同。所述的特征脸的左右部分之间设有灰度过滤带。所建立的支持向量机分类器为多类分类器，为一对一、一对多或决策树形。本专利技术还提出一种基于视频的面部表情识别装置，包括视频数据采集单元，图像处理单元、人脸信息数据库以及面部表情识别单元；视频数据采集单元对视频的人脸图像进行采集并将其传送给图像处理单元；图像处理单元从人脸信息数据库中调取人脸信息与采集的人脸图像进行对比，再对人脸数据进行计算，将计算后的数据传送给所述的面部表情识别单元；面部表情识别单元根据人脸信息数据库中存储的识别信息对采集的人脸图像进行识别。还包括显示单元，将识别出来的面部表情显示出来。所述的图像处理单元包括比较单元、特征生成单元、计算单元以及分类器单元；所述的比较单元将人脸的图像信息与人脸数据库中的图像信息做出对比，检测出人脸以及双眼，并根据双眼位置提取出人脸图像，将该人脸信息传送至特征生成单元；所述的特征生成单元对人脸器官定位，根据人脸下巴生成特征脸，将特征脸作为样本传送至计算单元；所述的计算单元计算特征脸图像的Gabor特征，并采用AdaBoost算法挑选特征，再将挑选的特征传送至分类器单元；所述的分类器单元根据挑选的特征构造支持向量机分类器，将分类器信息传送至面部表情识别单元。所述的视频数据采集单元中还包含一视频数据追踪单元，该视频数据追踪单元对视频数据的人脸数据进行追踪检测，判断是否对输入数据采集。本专利技术上述的方法的技术方案，使得在视频情况能自动提取准确的人脸的面部表情，并且本方法采用了Adaboost以及ASM算法，可以消除光照的影响，在方法中对人脸图像进行了专门处理，使人脸的左右部分的灰度均值和方差基本一致，并且本专利技术的方法针对常用的USB摄像头的视频数据来开发一个可以对人脸进行实时自动检测、跟踪并能识别出正面人脸常见的四种表情的算法，可以达到较佳的技术以及商用效果。附图说明图1为本专利技术的基于视频的面部表情识别的方法流程图。图2为本专利技术的基于视频的面部表情识别方法的实施例中表情采集示意图。图3为人脸图像形状的归一化处理示意图。图4为ASM算法的检测示意图。图5a所示为采集到的人脸轮廓的特征脸。图5b所示为标准特征脸。图6为特征脸生成的示意图。图7为在进行特征人脸图像的Gabor特征计算时，图像在不同尺度、不同本文档来自技高网...
【技术保护点】
一种基于视频的面部表情识别方法，其特征在于，包括以下步骤： 从ＵＳＢ摄像头输入的视频数据中采集人脸的面部表情图像数据，对该图像数据做预处理； 实时提取人脸在预处理后图像中的位置； 依据人眼分类器对确定出的图像中的人脸中的人眼做出定位； 根据确定的人眼的位置和人脸分类器的信息提取包含人脸的图像区域，进行归一化处理； 对人脸器官定位； 根据对人脸器官的定位确定人脸下巴的位置，确定图像中的人脸区域，生成特征脸，并作为分类样本； 基于所述的分类样本计算所述的特征脸图像的Ｇａｂｏｒ特征； 对计算出的Ｇａｂｏｒ特征进行选择； 由挑选的特征构造支持向量机分类器； 根据构造的分类器得出人脸表情识别结果。
【技术特征摘要】
【专利技术属性】
技术研发人员：谢东海，黄英，王浩，
申请(专利权)人：北京中星微电子有限公司，
类型：发明
国别省市：11[中国|北京]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。