本发明专利技术提出了一种基于特征点矢量与纹理形变能量参数的人脸表情识别方法，概括为：1、利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端表情分别进行特征点定位；2、将选取的26个特征点构成特征点矢量，为适应人脸表情识别，本发明专利技术将特征点矢量分为特征点之间的欧氏距离d（代表大小）和连线的夹角α（代表方向）两部分。根据d与α计算特征点之间的距离系数比kd，去掉冗余部分kl，得到kd-final。同理可以得到kα-final；3、根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过PCA，最终得到纹理形变能量参数ks-final；4、将最终的特征输入，即：kfinal=kd-final+kα-final+ks-final作为RBF神经网络的训练数据，最终实现人脸表情识别。
【技术实现步骤摘要】
本专利技术涉及一种人脸表情识别方法，尤其是基于特征点与特征块的人脸表情特征提取方法，属于人脸表情识别领域。
技术介绍
情感识别一直是人机交互领域中一个重要的研究方向。为了建立友好和谐的人机交互模式，大量研究者从语音，面部表情，文本等方面入手，期望以单模或者多模融合的方法实现更好的人机交互效果。其中，面部表情识别是情感识别的一个重要研究方向，近些年也有大量优秀的研究成果涌现，这无疑有力地推动了人机交互研究的快速发展。感谢图像处理，模式识别等领域专家们的不懈努力，在计算机软硬件技术飞速发展的大前提下，基于面部表情的自动化情感识别在最近些年已经取得了显著的成果。Ekman和Friesen提出了高兴、悲伤、惊讶、生气、嫌恶、害怕这6种基本表情，并在1978年开发了面部动作编码系 统。然而，真正意义上的依靠计算机的自动化人脸表情识别始于上世纪九十年代，许多基于Ekman和Friesen所提理论的研究成果相继出现。当然，也有一些研究者提出6种情感以外的情感模式，这极大的丰富了人脸情感识别研究的内容。为了识别这6种基本情感，研究者们所提出的研究方向大致分为两个主要的分支一个是基于外观的方法，另一个就是基于特征的方法。目前所用到的识别特征主要有灰度特征、运动特征和频率特征三种。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据；运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别；频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。具体的表情识别方法主要有三个一是整体识别法和局部识别法，二是形变提取法和运动提取法，三是几何特征法和容貌特征法。当然，这三个发展方向不是严格独立的，恰恰相反，是相互联系，相互影响的，它们只是从不同侧面来提取所需要的表情特征，都只是提供了一种分析表情的思路。在此，本专利技术着重于基于纹理与基于特征两方面进行说明。目前在人脸表情识别领域，结合人脸结构特征与纹理信息，并且考虑个体差异对人脸表情识别结果的影响，这样的方法还比较少，这在一定程度上制约了人脸表情识别研究的进一步发展。结合特征点矢量和纹理形变能量参数的人脸表情识别方法能够很好的解决这一问题。因此，提出这样一种有效的人脸表情识别方法具有很强的现实意义。
技术实现思路
本专利技术创新性地给出了特征点矢量与纹理形变能量参数的概念，提出一种基于两者结合的人脸表情识别方法。本专利技术的主要内容为对人脸表情样本进行特征点定位,根据选取的特征点计算特征点矢量与纹理形变能量参数，然后通过RBF神经网络训练学习，完成七种人脸表情(高兴、悲伤、惊讶、生气、嫌恶、害怕、中性)识别。该方法的具体步骤如下步骤I :利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端的惊讶表情(任为六种基本表情之一，以惊讶为例说明)分别进行特征点定位。步骤2 :将选取的特征点构成特征点矢量。矢量有大小和方向，为适应人脸表情识另|J，本专利技术将特征点矢量分为特征点之间的欧氏距离d (代表大小)和连线的夹角α (代表方向)两部分。根据d与α计算特征点之间的距离系数比^，去掉冗余部分匕，得到kd_final。同理可以得到k α _final。步骤3 :根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过PCA，最终得到纹理形变能量参数ks_final。步骤4 :将最终的特征输入，即kfinal=kd_final+ka_final+ks_final作为RBF神经网络的训练数据，最终实现人脸表情识别。本专利技术提供的人脸表情识别方法，其优点和积极效果在于 I该方法基于人脸结构特征与纹理信息相结合的角度进行人脸表情识别。2该方法考虑不同个体之间的差异，解决了个性信息，光照，小范围头部姿势等因素对人脸表情识别的影响。附图说明图I人脸表情识别系统框2特征点定位3纹理形变能量参数获取4RBF神经网络结构图具体实施例方式本专利技术的基本思想是通过AAM对人脸特征点进行定位，根据选取所需的26个特征点，计算特征点向量与纹理形变能量参数并进行整合，最后通过RBF神经网络实现人脸表情(高兴、悲伤、惊讶、生气、嫌恶、害怕、中性)识别的目的。根据以上思想，本专利技术的系统结构框图如图I所示。为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，具体阐述本专利技术的实施方式。应当理解，此处所描述的具体实例仅用以解释本专利技术，并不用于限定本专利技术。I、在获取特征点矢量与特征块之前，利用AAM对人脸表情序列始端的中性表情和末端的惊讶表情(任为六种基本表情之一，以惊讶为例说明)分别进行特征点定位，其中AAM工具来源于OPENCV软件包。特征点定位后，本专利技术选取其中26点作为最终的特征点，具体位置如图2所示，具体说明如下。权利要求1.，其主要特征在于 步骤I :利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端的惊讶表情(任为六种基本表情之一，以惊讶为例说明)分别进行特征点定位； 步骤2 :将选取的特征点构成特征点矢量，为适应人脸表情识别，本专利技术将特征点矢量分为特征点之间的欧氏距离d (代表大小)和连线的夹角α (代表方向)两部分，然后根据d与α计算特征点之间的距离系数比^，去掉冗余部分匕，得到kd_final，同理可以得到k a -final步骤3 :根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过主成分分析(PCA),最终得到纹理形变能量参数ks_final ； 步骤4 :将最终的输入特征，即kfinal=kd_final+ka_final+ks_final作为RBF神经网络的训练数据，最终实现人脸表情识别。2.根据权利要求I所述方法，其步骤一中的主要特征为最后选取的52个特征点记为Pfture Q = 1,2,3,……26)与Pfupris.1, (i = 1,2,3.......26);。3.根据权利要求I所述方法，其步骤二中的主要特征为计算特征点之间的距离和，特征点连线的夹角，然后对所得距离与夹角进行标准化，即-Jiprise /dffture Jiprise Jdfture，再将所有表情条件下两个比值不会发生变化或者变化很小的冗余特征去除，最终参与后续训练分类实验的特征输入记为kd_final和ka_final。4.根据权利要求I所述方法，其步骤三中的主要特征为参与计算的两个特征块记为匕，16，9，2和F3,1(U3，6 (其中下标表示特征点标号)，对特征块进行大小调整后，本专利技术对特征块进行傅里叶变换；随后，将得到的惊讶与中性频谱图相比，则得到比例系数矩阵，再转化为系数向量；最后，系数向量组合后再进行PCA，得到纹理形变能量参数，记为ks_final。全文摘要本专利技术提出了一种，概括为1、利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端表情分别进行特征点定位；2、将选取的26个特征点构成特征点矢量，为适应人脸表情识别，本专利技术将特征点矢量分为特征点之间的欧氏距离d(代表大小)和连线的夹角α(代表方向)两部分。根据d与α计算特征点之间的距离系数比kd，去掉冗余部分kl，得到kd-final。同理可以得到kα-final；3、根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过PCA，最终得到纹理形变能量参数ks-fi本文档来自技高网...
【技术保护点】
基于特征点矢量与纹理形变能量参数的人脸表情识别方法，其主要特征在于：?步骤1：利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端的惊讶表情（任为六种基本表情之一，以惊讶为例说明）分别进行特征点定位；?步骤2：将选取的特征点构成特征点矢量，为适应人脸表情识别，本专利技术将特征点矢量分为特征点之间的欧氏距离d（代表大小）和连线的夹角α（代表方向）两部分，然后根据d与α计算特征点之间的距离系数比kd，去掉冗余部分kl，得到kd?final，同理可以得到kα?final；?步骤3：根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过主成分分析（PCA），最终得到纹理形变能量参数ks?final；?步骤4：将最终的输入特征，即：kfinal=kd?final+kα?final+ks?final作为RBF神经网络的训练数据，最终实现人脸表情识别。
【技术特征摘要】
【专利技术属性】
技术研发人员：毛峡，易积政，薛雨丽，陈立江，王晓侃，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。