微表情识别方法、装置与存储介质制造方法及图纸

本发明专利技术提供了一种微表情识别方法、装置与存储介质，所述方法，包括：检测预先采集的目标人脸图像的人脸特征，获取所述目标人脸图像的至少五个人脸特征点；根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块；根据所述若干个图块，通过预先建立的卷积神经网络模型，获得微表情分类结果。上述方法依据获取的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，并采用卷积神经网络对切块后的得到的若干个图块进行识别分类，能够有效提高微表情识别的速度、精度，从而大幅度提高微表情识别的工作效率。

【技术实现步骤摘要】
微表情识别方法、装置与存储介质
本专利技术涉及微表情识别
，尤其涉及一种微表情识别方法、装置与存储介质。
技术介绍
微表情是人类试图压抑或隐藏真实情感时泄露的非常短暂的、不能自主控制的面部表情。它与普通表情的区别在于，微表情持续时间很短，仅为1/25秒至1/5秒。因此，大多数人往往难以觉察到它的存在。这种快速出现不易被察觉的面部表情被认为与自我防御机制有关，表达了被压抑的情绪。不过微表情的产生与识别心理与神经机制尚在研究当中，而且微表情出现的频率比较低，普通人对微表情的识别能力也不高，工欲善其事必先利其器，开发一套微表情识别系统，对开展研究微表情是非常必要的。目前，Affectiva公司通过深度学习算法来研究人的“微表情”，什么是“微表情”，它是跟表情相对的，表情就是一种显性的表情，而“微表情”则是一种潜在的，隐性、潜在的表情。在深度学习的帮助下，通过观察所有脸部的纹理与皱纹，以及形状的变化，最后总结出具有微笑特征和假笑甚至是其他微表情的差别。一般来说，该公司在人脸上定位42个关键点，然后跟踪这些关键点在0.2秒(1秒大约有30帧图片)之间的差异，以此来识别微笑、大笑、精细、困惑等标志。具体做法是：将脸上的点分为可变性和不可变形的点，一般以鼻子作为锚点，当一个用户有表情变化时，计算其他点与鼻子锚点的几何模型(点与点的距离)渲染特征，以此来确定当前用户的微表情是微笑还是惊讶等。上述的方式是经典的全局计算方法，因为需要计算不同组合点之间距离的特征才能确定微表情是什么。比如：微笑，是嘴角的点以及脸部肌肉点的联动；在比如惊讶：很可能是嘴巴微微张卡以及眼睛周围的点的微小变化。但是，全局计算方法的计算的速度慢，微表情识别的精度较低，导致微表情识别的工作效率低下。
技术实现思路
基于此，本专利技术提出了一种微表情识别方法、装置与存储介质，能够有效提高微表情识别的速度、精度，从而大幅度提高微表情识别的工作效率。为了达到上述的目的，本专利技术实施例一方面提供了一种微表情识别方法，包括：检测预先采集的目标人脸图像的人脸特征，获取所述目标人脸图像的至少五个人脸特征点；根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块；根据所述若干个图块，通过预先建立的卷积神经网络模型，获得微表情分类结果。优选地，所述根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块，具体包括：根据所述人脸特征点在所述目标人脸图像上建立多条第一图像切分线；按照预设的图像分块规则，从所述多条第一图像切分线中提取N条第一图像切分线，并采用提取所得的N条第一图像切分线对所述目标人脸图像切块处理；其中，N<3；历遍所述多条第一图像切分线，共获得若干个图块。优选地，所述方法还包括：根据所述若干个图块，通过所述卷积神经网络模型，识别所述人脸特征点中的不变形特征点以及变形特征点；其中，所述不变形特征点为所述人脸特征点中没有被所述卷积神经网络模型中神经元激活的点，所述变形特征点为所述人脸特征点中被所述卷积神经网络模型中的神经元激活的点；根据所述人脸特征点中的变形特征点，在所述目标人脸图像上建立多条第二图像切分线；按照所述图像分块规则，从所述多条第二图像切分线中提取M条第二图像切分线，并采用提取所得的M条第二图像切分线对所述目标人脸图像切块处理；其中，M<3；历遍所述多条第二图像切分线，共获得若干个变形特征点图块；根据所述若干个变形特征点图块，通过所述卷积神经网络模型，获得微表情分类调整结果，并将当前微表情分类结果更新为所述微表情分类调整结果。优选地，所述根据所述若干个图块，通过预先建立的卷积神经网络模型，获得微表情分类结果，具体包括：对所述若干个图块进行灰度化处理，得到若干个灰度化图块；对所述若干个图块进行水平翻转处理，得到若干个水平翻转图块；将所述若干个图块、所述若干个灰度化图块以及所述若干个水平翻转图块输入到所述卷积神经网络模型进行卷积计算，获得所述目标人脸图像对应的特征向量，并对所述特征向量进行PCA降维处理；根据降维后的特征向量，通过所述卷积神经网络模型中的多层分类器，获得所述目标人脸图像对应的微表情分类结果。优选地，所述根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块之前，所述方法还包括：根据所述人脸特征点，所述对所述目标人脸图像进行对齐处理。优选地，所述若干个图块包括：包含双眼特征的第一图块、包含双眼特征和鼻子特征的第二图块、包含左眼特征与左鼻翼特征的第三图块、包含右眼特征与右鼻翼特征的第四图块、包含鼻子特征和嘴巴特征的第五图块、包含左鼻翼特征与左嘴角特征的第六图块、包含右鼻翼特征与右嘴角特征的第七图块、包含眉眼特征的第八图块、包含嘴巴特征的第九图块以及包含全脸特征的第十图块。本专利技术实施例另一方面提供了一种微表情识别装置，包括：人脸特征检测模块，用于检测预先采集的目标人脸图像的人脸特征，获取所述目标人脸图像的至少五个人脸特征点；图像切块模块，用于根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块；微表情识别模块，用于根据所述若干个图块，通过预先建立的卷积神经网络模型，获得微表情分类结果。优选地，所述图像切块模块包括：第一图像切分线建立单元，用于根据所述人脸特征点在所述目标人脸图像上建立多条第一图像切分线；第一切分单元，用于按照预设的图像分块规则，从所述多条第一图像切分线中提取N条第一图像切分线，并采用提取所得的N条第一图像切分线对所述目标人脸图像切块处理；其中，N<3；第一图块获取单元，用于历遍所述多条第一图像切分线，共获得若干个图块。本专利技术实施例一方面提供了一种微表情识别装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的微表情识别方法。本专利技术实施例一方面提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的微表情识别方法。相比于现有技术，本专利技术实施例的有益效果在于：所述微表情识别方法，包括：检测预先采集的目标人脸图像的人脸特征，获取所述目标人脸图像的至少五个人脸特征点；根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块；根据所述若干个图块，通过预先建立的卷积神经网络模型，获得微表情分类结果。上述方法依据获取的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，并采用卷积神经网络对切块后的得到的若干个图块进行识别分类，能够有效提高微表情识别的速度、精度，从而大幅度提高微表情识别的工作效率。附图说明图1是本专利技术实施例一提供的一种微表情识别方法的流程示意图；图2是目标人脸图像的切块示意图；图3是切块处理后得到的若干个图块的示意图；图4本专利技术实施例二提供的一种微表情识别装置的示意框图；图5本专利技术实施例三提供的一种微表情识别装置的示意框图。具体实施方式下面将结合本专利技术实施例中的附图，本文档来自技高网...

【技术保护点】
1.一种微表情识别方法，其特征在于，包括：检测预先采集的目标人脸图像的人脸特征，获取所述目标人脸图像的至少五个人脸特征点；根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块；根据所述若干个图块，通过预先建立的卷积神经网络模型，获得微表情分类结果。

【技术特征摘要】
1.一种微表情识别方法，其特征在于，包括：检测预先采集的目标人脸图像的人脸特征，获取所述目标人脸图像的至少五个人脸特征点；根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块；根据所述若干个图块，通过预先建立的卷积神经网络模型，获得微表情分类结果。2.如权利要求1所述的微表情识别方法，其特征在于，所述根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块，具体包括：根据所述人脸特征点在所述目标人脸图像上建立多条第一图像切分线；按照预设的图像分块规则，从所述多条第一图像切分线中提取N条第一图像切分线，并采用提取所得的N条第一图像切分线对所述目标人脸图像切块处理；其中，N<3；历遍所述多条第一图像切分线，共获得若干个图块。3.如权利要求2所述的微表情识别方法，其特征在于，所述方法还包括：根据所述若干个图块，通过所述卷积神经网络模型，识别所述人脸特征点中的不变形特征点以及变形特征点；其中，所述不变形特征点为所述人脸特征点中没有被所述卷积神经网络模型中神经元激活的点，所述变形特征点为所述人脸特征点中被所述卷积神经网络模型中的神经元激活的点；根据所述人脸特征点中的变形特征点，在所述目标人脸图像上建立多条第二图像切分线；按照所述图像分块规则，从所述多条第二图像切分线中提取M条第二图像切分线，并采用提取所得的M条第二图像切分线对所述目标人脸图像切块处理；其中，M<3；历遍所述多条第二图像切分线，共获得若干个变形特征点图块；根据所述若干个变形特征点图块，通过所述卷积神经网络模型，获得微表情分类调整结果，并将当前微表情分类结果更新为所述微表情分类调整结果。4.如权利要求1所述的微表情识别方法，其特征在于，所述根据所述若干个图块，通过预先建立的卷积神经网络模型，获得微表情分类结果，具体包括：对所述若干个图块进行灰度化处理，得到若干个灰度化图块；对所述若干个图块进行水平翻转处理，得到若干个水平翻转图块；将所述若干个图块、所述若干个灰度化图块以及所述若干个水平翻转图块输入到所述卷积神经网络模型进行卷积计算，获得所述目标人脸图像对应的特征向量，并对所述特征向量进行PCA降...

【专利技术属性】
技术研发人员：杜翠凤，温云龙，蒋仕宝，
申请(专利权)人：广州杰赛科技股份有限公司，广州杰赛通信规划设计院有限公司，
类型：发明
国别省市：广东,44