基于人脸识别进行人物表情情感语义识别方法技术

本发明专利技术公开了一种基于人脸识别进行人物表情情感语义识别方法，其特征在于所述方法包括以下步骤：（1）对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；（2）对步骤（1）检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；（3）提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。该方法可以根据图像由计算机自动获取人脸的表情含义，可以实现计算机自动语义感知功能。

【技术实现步骤摘要】

本专利技术属于人物图像语义识别
，具体涉及ー种。
技术介绍
图像语义分为三个层次，分别是底层的特征语义层，中层的对象语义层，上层的抽象语义层。目前研究的热点在底层的特征语义层，研究图像的底层特征如顔色、纹理及形状等及其组合来提取相关语义描述，简单语义特征的提取与分析需要利用复杂语义信息，而且通过単一的特征分析，是不能准确确定图像语义的。图像的语义不单是图像的底层特征所能表达的，图像语义是个复杂的系统表达，例如一副人物图像，是不能只根据图像的背景顔色，人物的轮廓就可以判断图像语义的，如果将重点放在图像的对象、场景的含义和目标 进行高层推理，研究抽象语义层，能更好地得到相关的语义描述。研究抽象语义层将重点放在人物面部表情识别上，研究目标是能够自动地识别出人的表情，分析出人的情感，进而得到图像情感语义。计算机自动识别人脸表情是困难的，因为人脸是ー个柔性体，为人脸表情特征建立精确数学模型难度较高。脸部器官的位置稍有变动，表情就会发生巨大的变化，因而需要选择最重要的特征来决定表情的识别。面部表情识别是情感识别的初级，而情感识别是最高级的识别，超出了人工智能的模糊识别，有着广泛的应用前景和发展前景。在汽车、飞机、车间等重要岗位上的监控系统设备中，通过感应设备对司机、飞行员、工人等进行脸部监控，通过其表情的痛苦或不适表现得疲劳、压カ过大等精神状态信息，及时报警提示，避免事故发生；在医疗中，表情分析可作为辅助手段，帮助医生分析病人的精神状态，对病人的精神问题做出正确的诊断；在电脑游戏中，能够根据游戏者的喜、怒、哀、乐来做出实时的反应，那么电脑游戏会比传统规定好规则的游戏更逼真；此外，在安全保密，公安侦查，医疗辅助等其他需要解释面部信号的领域和行业中都会有广泛的应用。本专利技术因此而来。
技术实现思路
本专利技术目的在于提供ー种，解决了现有技术中图像中面部表情识别不能较好的进行识别等问题。为了解决现有技术中的这些问题，本专利技术提供的技术方案是ー种，其特征在于所述方法包括以下步骤(I)对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；(2)对步骤(I)检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；(3)提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。优选的，所述方法步骤(3)通过Gauss滤波和中值滤波，混合投影定位脸部器官，提取器官特征轮廓，计算轮廓特征点，通过逻辑判断出表情情感。优选的，所述方法中以人脸图像中嘴唇为目标，采用方差过滤器，建立X，Y坐标系，原点在图像左上角，提取嘴唇的特征形状轮廓，计算嘴唇轮廓的所有坐标像素点，设定情感判断条件；所述情感判断条件包括嘴角两坐标纵坐标点与全部坐标点平均纵坐标值的比较结果、嘴角两坐标纵坐标点与中间坐标点纵坐标点比较结果以及嘴角两坐标纵坐标点与最大、最小纵坐标点比较結果。本专利技术的另ー目的在于提供ー种基于人脸识别进行人物表情情感语义识别的识别系统，其特征在于所述系统包括·人脸检测模块，用于对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；特征提取模块，用于对检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；面部表情识别模块，用于提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。优选的，所述系统还包括图像预处理模块，用于对人脸图像进行灰度校正，噪声过滤处理。本专利技术首先对人脸进行检测与定位，采取一定策略，从未知的图像背景中提取并确认可能存在的人脸，如果检测到人脸，提取人脸特征，并返回人脸的位置。然后从人脸图像中提取能够表征输入表情本质的信息，用来描述表情图像，在提取特征数据的过程中，为了避免维数危机需要警醒特征降维，特征分解等一系列步骤；最后分析特征的关系，将输入的人脸面部表情分类到相应的类别。传统的人脸识别的特征提取方法是基于PCA和2D PCA方法，本专利技术通过Gauss滤波和中值滤波，混合投影定位脸部器官，提取器官特征轮廓，计算轮廓特征点，通过逻辑判断出表情情感。将抽象的对象含义与底层的轮廓相结合，是将图像的特征语义与抽象语义相结合。相对于现有技术中的方案，本专利技术的优点是本专利技术技术方案可以实现人脸检测、定位和跟踪，可以根据图像由计算机自动获取人脸的表情含义，可以实现计算机自动语义感知功能。附图说明下面结合附图及实施例对本专利技术作进ー步描述图I为基于人脸识别进行人物表情情感语义识别的识别系统的架构示意图；图2为中图像预处理流程图；图3为中特征提取的处理流程图；图4为中正面人脸投影的效果图；图5为中嘴唇部位投影的效果图；图6为中表情的识别流程图。图7为人脸嘴唇轮廓的坐标点显示图。具体实施例方式以下结合具体实施例对上述方案做进ー步说明。应理解，这些实施例是用于说明本专利技术而不限于限制本专利技术的范围。实施例中采用的实施条件可以根据具体厂家的条件做进ー步调整，未注明的实施条件通常为常规实验中的条件。实施例本实施例的基本目标是进行人脸检测、定位和跟踪，表情的特征提取，表情识别，识别出开心、悲伤、平静三种情感。人物表情情感语义分析研发主要包含人脸检测模块，图像预处理模块，特征提取模块，面部表情识别模块，如图I。通过人脸检测模块、图像预处理模块、特征提取模块、面部 表情识别模块的分エ协作由计算机自动获取图像人脸的表情识别。下面简单介绍每个模块的具体功能。(I)人脸检测模块人脸检测是人脸分析的第一歩，指对于任意一幅给定的图像，采用AdaBoost算法对其进行捜索以确定其中是否含有人脸，如果含有则返回人脸的位置、大小和姿态。AdaBoost算法是ー种循环迭代方法，给每ー个人脸图像样本设置ー个初始权重，在每轮的迭代过程中，按照分类结果对图像样本的权重进行调整，正确分类的样本权重降低，被错误分类的样本权重增加，在下ー轮的循环中，算法会集中学习分类错误的样本，即权重值较大的样本，最終将每次迭代产生的弱分类器按照加权投票的方式合并为强分类器。AdaBoost训练强分类器的算法描述如下①给定一系列训练样本(X1, yj，(x2，y2),…，(xn, yn)，其中Yi=O表示其为负样本(非人脸)，Yi=I表示其为正样本(人脸)。n为一共的训练样本数量。②初始化权重W1, i = D⑴；③对t=l，...，T:a.归ー化权重Wfi€t,i = ,.. ム j=t nt4b.对每个特征f，训练ー个弱分类器h (X，f，p，0 );计算对用特有特征的弱分类器的加权(qt)错误率e f ef=E ^qi |h(xi； f, p, 0 ) -yjc.选取最佳的弱分类器ht(x)(拥有最小错误率et):e t = minfjPj 0 E iqi|h(xi, f, p, 0 )-Yi | =E iqi|h(xi, ft, pt, 0 t) Ii Iht (x) = h(x, ft, pt, 0 t)d.按照这个最弱分类器，调整权重wt+ii = Wf4美其中efO表示Xi被正确地分类，Gi=I表示Xi被错误地分类；fit④最后的强分类器为本文档来自技高网...

【技术保护点】
一种基于人脸识别进行人物表情情感语义识别方法，其特征在于所述方法包括以下步骤：（1）对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；（2）对步骤（1）检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；（3）提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。

【技术特征摘要】
1.一种基于人脸识别进行人物表情情感语义识别方法，其特征在于所述方法包括以下步骤 (1)对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小； (2)对步骤(I)检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓； (3)提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。2.根据权利要求I所述的方法，其特征在于所述方法步骤(3)通过Gauss滤波和中值滤波，混合投影定位脸部器官，提取器官特征轮廓，计算轮廓特征点，通过逻辑判断出表情情感。3.根据权利要求I所述的方法，其特征在于所述方法中以人脸图像中嘴唇为目标，采用方差过滤器，建X，Y坐标系，原点在图像左上角，提取嘴唇的特征形状轮廓，计算嘴唇轮廓的所有坐标...

【专利技术属性】
技术研发人员：陈国庆，王俊杰，
申请(专利权)人：苏州两江科技有限公司，
类型：发明
国别省市：