人脸表情识别的方法及装置制造方法及图纸

本发明专利技术适用于机器学习技术领域，提供了一种人脸表情识别的方法及装置。该方法包括：获取符合预设条件的人脸图像；检测所述人脸图像中人脸N个特征点的位置，所述N为大于零的整数；根据检测到的所述N个特征点的位置，选取眼睛、鼻子和/或嘴角作为关键特征点对所述人脸图像进行校准；通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别，并输出识别结果。通过本发明专利技术，可有效提高人脸表情识别的准确率，即使针对有较多遮挡、图像分辨率小或存在侧脸的图像上的人脸，也可以达到较高的表情识别率。

【技术实现步骤摘要】

本专利技术属于机器学习
，尤其涉及人脸表情识别的方法及装置。
技术介绍
人脸表情识别是指从给定的人脸图像中分析人脸的表情状态属于哪一种类别，从而推断被识别对象的心理情绪，比如高兴、悲伤、惊讶、恐惧、厌恶、生气等。人脸表情识别已经广泛应用于人机交互、机器学习等方面，是当前机器学习与模式识别等领域的热点课题。然而，现有的一些人脸表情识别方法，例如IntraFace等方法，主要运用几何提取人脸特征点，很难检测到有遮挡人脸、图像分辨率小或存在侧脸的图像上的人脸，从而使得人脸表情识别的应用范围受到限制。
技术实现思路
鉴于此，本专利技术实施例提供一种人脸表情识别的方法及装置，以提高人脸表情识别的性能。第一方面，本专利技术实施例提供了一种人脸表情识别的方法，所述方法包括：获取符合预设条件的人脸图像；检测所述人脸图像中人脸N个特征点的位置，所述N为大于零的整数；根据检测到的所述N个特征点的位置，选取眼睛、鼻子和/或嘴角作为关键特征点对所述人脸图像进行校准；通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别，并输出识别结果。第二方面，一种人脸表情识别的装置，所述装置包括：人脸图像获取单元，用于获取符合预设条件的人脸图像；检测单元，用于检测所述人脸图像中人脸N个特征点的位置，所述N为大于零的整数；校准单元，用于根据检测到的所述N个特征点的位置，选取眼睛、鼻子和<br>/或嘴角作为关键特征点对所述人脸图像进行校准；识别单元，用于通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别，并输出识别结果。本专利技术实施例与现有技术相比存在的有益效果是：本专利技术实施例通过人脸图像检测、校准以及基于训练后的深度卷积神经网络的识别等过程，可有效提高人脸表情识别的准确率，即使针对有较多遮挡、图像分辨率小或存在侧脸的图像上的人脸，也可以达到较高的表情识别率，具有较强的易用性和实用性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的人脸表情识别的方法的实现流程示意图；图2是本专利技术实施例提供的人脸表情的示例图；图3是本专利技术实施例提供的人脸表情识别的装置的组成结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透切理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。请参阅图1，图1示出了本专利技术实施例提供的人脸表情识别的方法的实现流程，该方法可适用于各类终端设备，如个人计算机、平板电脑、手机等。该方法过程详述如下：步骤S101，获取符合预设条件的人脸图像。在本实施例中，所述符合预设条件的人脸图像包括有侧脸的人脸图像、图像分辨率小于第一预设值的人脸图像和/或人脸被遮挡的部分大于第二预设值且小于第三预设值的人脸图像。示例性的，本实施例主要针对ICML等数据集中图像分辨率小、有较多遮挡和侧脸的人脸图像。在步骤S102中，检测所述人脸图像中人脸N个特征点的位置，所述N为大于零的整数。优选的是，本实施例采用多任务学习的深度卷积神经网络(即训练完成的深度卷积神经网络)检测所述人脸图像中人脸68个特征点的位置。在步骤S103中，根据检测到的所述N个特征点的位置，选取眼睛、鼻子和/或嘴角作为关键特征点对所述人脸图像进行校准。本实施例根据检测到的所述68个特征点的位置，选取眼睛、鼻子和/或嘴角作为关键特征点对所述人脸图像进行校准。即根据原人脸图像所述关键特征点的位置与校准后的人脸图像所述关键特征点的位置的映射关系，固定所述关键特征点在校准后的人脸图像中的位置。其中，所述校准技术可以采用基于仿射变换的相似性变换，变换后将原人脸图像上的所述关键特征点按比例对应到校准后的人脸图像上。在步骤S104中，通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别，并输出识别结果。具体的是，获取人脸表情数据库；将所述人脸表情数据库中的人脸表情图像作为训练数据集，并对所述训练数据集进行所述校准处理；对校准处理后的所述训练数据集进行数据增强处理；通过数据增强处理后的所述训练数据集对深度卷积神经网络进行训练，获得训练后的所述深度卷积神经网络；通过训练后的所述深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别，并输出识别结果。即通过训练数据集对深度卷积神经网络进行训练，获得深度卷积神经网络的参数，通过获得所述参数的深度卷积神经网络(即训练后的所述深度卷积神经网络)对校准后的所述人脸图像进行识别，并输出识别结果。在本实施例中，所述数据增强处理包括但不限于水平镜像、旋转和平移放大等处理。所述对校准后的所述训练数据集中的人脸表情图像进行数据增强处理包括：将校准后的所述训练数据集中的人脸表情图像水平翻转，获得水平镜像图像；和/或，将校准后的所述训练数据集中的人脸表情图像旋转得到M张旋转图像，其中M为大于零的整数；和/或，例如，将校准后的所述人脸表情图像旋转得到12张旋转图像，其中，旋转角度从负60度到正60度，旋转角度的步长为10度，即-60度，-50度，-40度，-30度，-20度，-10度，10度，20度，30度，40度，50度，60度。将旋转后得到的12张图像加上校准后的所述人脸表情图像(即校准后不做旋转操作的人脸表情图像)一共得到13张人脸表情图像。将校准后的所述训练数据集中的人脸表情图像平移放大得到L张平移图像。例如，将校准后的所述人脸表情图像平移放大得到5张平移图像。即将所述人脸表情图像往它的四个对角平移3个像素，得到平移后的4张人脸表情图像，再加上取所述人脸表情图像中间(原人脸表情图像的宽度-3)*(原人脸表情图像的高度-3)大小的图像，最后将平移得到的所述5张人脸表情图像统一放大到一个尺寸，即校准后的人脸表情图像的尺寸。需要说明的本文档来自技高网...

【技术保护点】
一种人脸表情识别的方法，其特征在于，所述方法包括：获取符合预设条件的人脸图像；检测所述人脸图像中人脸N个特征点的位置，所述N为大于零的整数；根据检测到的所述N个特征点的位置，选取眼睛、鼻子和/或嘴角作为关键特征点对所述人脸图像进行校准；通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别，并输出识别结果。

【技术特征摘要】
1.一种人脸表情识别的方法，其特征在于，所述方法包括：
获取符合预设条件的人脸图像；
检测所述人脸图像中人脸N个特征点的位置，所述N为大于零的整数；
根据检测到的所述N个特征点的位置，选取眼睛、鼻子和/或嘴角作为关键
特征点对所述人脸图像进行校准；
通过已训练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表
情识别，并输出识别结果。
2.如权利要求1所述的人脸表情识别的方法，其特征在于，所述通过已训
练完成的深度卷积神经网络对校准后的所述人脸图像进行人脸表情识别，并输
出识别结果包括：
获取人脸表情数据库；
将所述人脸表情数据库中的人脸表情图像作为训练数据集，并对所述训练
数据集进行所述校准处理；
对校准处理后的所述训练数据集进行数据增强处理；
通过数据增强处理后的所述训练数据集对深度卷积神经网络进行训练，获
得训练后的所述深度卷积神经网络；
通过训练后的所述深度卷积神经网络对校准后的所述人脸图像进行人脸表
情识别，并输出识别结果。
3.如权利要求2所述的人脸表情识别的方法，其特征在于，所述对校准后
的所述训练数据集进行数据增强处理包括：
对校准后的所述训练数据集中的人脸表情图像进行水平镜像、旋转和平移
放大处理。
4.如权利要求3所述的人脸表情识别的方法，其特征在于，所述对校准后
的所述训练数据集中的人脸表情图像进行水平镜像、旋转和平移放大处理包括：
将校准后的所述训练数据集中的人脸表情图像水平翻转，获得水平镜像图
像；和/或，
将校准后的所述训练数据集中的人脸表情图像旋转得到M张旋转图像，其
中M为大于零的整数；和/或，
将校准后的所述训练数据集中的人脸表情图像平移放大得到L张平移图
像，其中L为大于零的整数。
5.如权利要求1至4任一项所述的人脸表情识别的方法，其特征在于，所
述深度卷积神经网络为五层卷积神经网络，学...

【专利技术属性】
技术研发人员：谭莲芝，李志锋，乔宇，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44