脸部表情辨识的方法及装置制造方法及图纸

本揭露提出一种脸部表情辨识的方法及装置。脸部表情辨识的方法包括：辨识多个脸部图像中表情的表情种类，并取得每一表情种类与另一表情种类间的辨识结果；根据所述辨识结果取得每一表情种类与另一表情种类间的相似度；根据所述相似度将所述表情种类分为多个表情群组；训练一第一辨识模型分类所述脸部图像中的所述表情至所述表情群组；以及对每一所述表情群组分别训练一第二辨识模型分类各自表情群组中的脸部图像的表情为所述表情种类其中之一。

【技术实现步骤摘要】
脸部表情辨识的方法及装置
本揭露一般涉及生物识别技术，且更加具体地说是有关于一种脸部表情辨识的方法及装置。
技术介绍
在生活中，人们经常通过脸部表情来表达情绪。脸部表情是人们传达其情绪及意图最有力、自然且直接的方式。脸部可表达情绪甚至是表达自己的感受快于人们用语言表达。例如，使用不同的脸部区域(主要是嘴、眼睛和眉毛)可表达不同的情绪。现今，脸部表情识别技术得到了广泛的应用。例如，实体商店可以利用脸部表情识别技术来识别消费者浏览商品或广告时的表情(例如，高兴或恶心)，以取得消费者对于此商品或广告的评价。然而，目前的表情识别器通常依靠信号处理和模式识别技术将类别标签分配给表情状态，像是“生气”、或“伤心”等等。此种方法面临的主要挑战为人类行为的表达是变动很大的且取决于许多因素。这些因素可能包括表达行为的背景和领域。因此，表情的分类表示和简单的模式识别方案可能无法精确的辨识脸部表情。需要一种脸部表情辨识的方法及装置，以提升脸部表情辨识的精确度。
技术实现思路
以下揭露的内容仅为示例性的，且不意指以任何方式加以限制。除所述说明方面、实施方式和特征之外，透过参照附图和下述具体实施方式，其他方面、实施方式和特征也将显而易见。即，以下揭露的内容被提供以介绍概念、重点、益处及本文所描述新颖且非显而易见的技术优势。所选择，非所有的，实施例将进一步详细描述如下。因此，以下揭露的内容并不意旨在所要求保护主题的必要特征，也不意旨在决定所要求保护主题的范围中使用。本揭露提供一种脸部表情辨识的方法及装置。本揭露提出一种脸部表情辨识的方法，包括：辨识多个脸部图像中表情的表情种类，并取得每一表情种类与另一表情种类间的辨识结果；根据所述辨识结果计算每一表情种类与另一表情种类间的相似度；根据所述相似度将所述表情种类分为多个表情群组；训练一第一辨识模型分类所述脸部图像中的所述表情至所述表情群组；以及对每一所述表情群组分别训练一第二辨识模型分类各自表情群组中的脸部图像的表情为所述表情种类其中之一。在一些实施例中，一第一表情种类与一第二表情种类之间的相似度是根据所述第一表情种类与所述第二表情种类之间的交叉熵(CrossEntropy)所取得。在一些实施例中，所述相似度表示如下：S(p,q)＝H(p,q)+H(q,p)其中S(p,q)是为一表情种类p与一表情种类q之间的相似度，H(p,q)及H(q,p)是为所述表情种类p与所述表情种类q之间的一交叉熵，其中所述交叉熵H(p,q)表示如下：其中TPp代表在所述表情种类p的所述脸部图像中表情被正确辨识为所述表情种类p的数量，FPp,q代表在所述表情种类p的所述脸部图像中表情被错误辨识为所述表情种类q的数量。在一些实施例中，根据所述相似度将所述表情种类分为多个表情群组是包括：合并所述相似度最高的两个表情种类为一表情群组；取得未合并的表情种类与所述表情群组彼此之间的相似度；以及合并所述相似度最高的未合并的表情种类与所述表情群组或合并所述相似度最高的两个未合并的表情种类为另一表情群组。在一些实施例中，根据所述相似度将所述表情种类分为多个表情群组是还包括：取得所述表情群组与所述另一表情群组彼此之间的相似度；以及合并相似度最高的所述表情群组与所述另一表情群组。在一些实施例中，所述未合并的表情种类与所述表情群组之间的相似度是根据所述未合并的表情种类与所述表情群组之间的交叉熵所取得。在一些实施例中，所述方法还包括：接收包括一脸部的一输入图像；以及使用所述第一辨识模型及所述第二辨识模型辨识所述输入图像中表情的表情种类。在一些实施例中，所述表情种类包括生气、恶心、害怕、中性无表情、高兴、伤心及惊讶。在一些实施例中，所述第一辨识模型及所述第二辨识模型是基于一卷积神经网络(ConvolutionalNeuralNetwork，CNN)模型。本揭露提出一种脸部表情辨识的装置，包括：一或多个处理器；以及一或多个计算机储存媒体，储存计算机可读取指令，其中所述处理器使用所述计算机储存媒体以执行：辨识多个脸部图像中表情的表情种类，并取得每一表情种类与另一表情种类间的辨识结果；根据所述辨识结果计算每一表情种类与另一表情种类间的相似度；根据所述相似度将所述表情种类分为多个表情群组；训练一第一辨识模型分类所述脸部图像中的所述表情至所述表情群组；以及对每一所述表情群组分别训练一第二辨识模型分类各自表情群组中的脸部图像的表情为所述表情种类其中之一。附图说明附图被包括以提供本揭露进一步理解且被合并并组成本揭露的一部分。附图是说明本揭露的实施例且连同描述一起用以解释本揭露的原理。其可理解附图不一定按比例描绘，一些元件可以超过在实际实施方式的大小来显示，以清楚地说明本揭露的概念。图1所示的识别装置及电子装置是一脸部表情辨识系统架构的示例；图2是显示根据本揭露一实施例所述的脸部表情辨识的方法的流程图；图3是显示根据本揭露一实施例所述的识别装置根据所述相似度将所述表情种类分为多个表情群组的流程图；图4是显示根据本揭露一实施例的卷积神经网络；图5是显示根据本揭露一实施例的卷积神经网络训练第一辨识模型的示意图；图6是显示根据本揭露一实施例的卷积神经网络训练第二辨识模型的示意图；图7A～图7F是显示根据本揭露一实施例的识别脸部图像实验数据的表格；图8是显示用以实现本专利技术实施例的示例性操作环境。【符号说明】100脸部表情辨识系统110识别装置112输入装置114处理器116CNN118记忆体1182程序120网络130电子装置200方法S205、S210、S215、S220、S225步骤300流程图S305、S310、S315、S320步骤400卷积神经网络402训练输入404卷积层406激活层408池化层410完全连接层412输出500卷积神经网络510第一辨识模型600卷积神经网络610A、610B第二辨识模型800计算装置810总线812记忆体814处理器816显示元件818I/O端口820I/O元件822电源供应器具体实施方式在下文中将参考附图对本揭露的各方面进行更充分的描述。然而，本揭露可以具体化成许多不同形式且不应解释为局限于贯穿本揭露所呈现的任何特定结构或功能。相反地，提供这些方面将使得本揭露周全且完整，并且本揭露将给本领域技术人员充分地传达本揭露的范围。基于本文所教导的内容，本领域的技术人员应意识到，无论是单独还是结合本揭露的任何其它方面实现本文所揭露的任何方面，本揭露的范围旨在涵盖本文中所揭露的任何方面。例如，可以使用本文所提出任意数量的装置或者执行方法来实现。另外，除了本文所提出本揭露的多个方面之外，本揭露的范围更旨在涵盖使用其它结构、功能或结构和功能来实现的装置或方法。应可理解，其可透过申请专利范围的一或多个元件具体化本文所揭露的任何方面。词语“示例性”在本文中用于表示“用作示例、实例或说明”。本揭露的任何方面或本文描述为“示例性”的设计不一定被解释为优选于或优于本揭露或设计的其他方面。此外，相同的数字在所有若干图示中指示相同的元件，且除非在描述中另有指定，冠词“一”和“所述”包含复数的参考。可以理解，当元件被称为被“连接”或“耦接”至另一元件时，该元件可被直接地连接到或耦接至另一元件或者可存在中间元件。相反地，当该元件被称为本文档来自技高网...

【技术保护点】
1.一种脸部表情辨识的方法，其特征在于，包括：辨识多个脸部图像中表情的表情种类，并取得每一表情种类与另一表情种类间的辨识结果；根据所述辨识结果计算每一表情种类与另一表情种类间的相似度；根据所述相似度将所述表情种类分为多个表情群组；训练一第一辨识模型分类所述脸部图像中的所述表情至所述表情群组；以及对每一所述表情群组分别训练一第二辨识模型分类各自表情群组中的脸部图像的表情为所述表情种类其中之一。

【技术特征摘要】
2017.12.15 TW 1061441661.一种脸部表情辨识的方法，其特征在于，包括：辨识多个脸部图像中表情的表情种类，并取得每一表情种类与另一表情种类间的辨识结果；根据所述辨识结果计算每一表情种类与另一表情种类间的相似度；根据所述相似度将所述表情种类分为多个表情群组；训练一第一辨识模型分类所述脸部图像中的所述表情至所述表情群组；以及对每一所述表情群组分别训练一第二辨识模型分类各自表情群组中的脸部图像的表情为所述表情种类其中之一。2.根据权利要求1所述的脸部表情辨识的方法，其特征在于，一第一表情种类与一第二表情种类之间的相似度是根据所述第一表情种类与所述第二表情种类之间的交叉熵(CrossEntropy)所取得。3.根据权利要求1所述的脸部表情辨识的方法，其特征在于，所述相似度表示如下：S(p,q)＝H(p,q)+H(q,p)其中S(p,q)是为一表情种类p与一表情种类q之间的相似度，H(p,q)及H(q,p)是为所述表情种类p与所述表情种类q之间的一交叉熵，其中所述交叉熵H(p,q)表示如下：其中TPp代表在所述表情种类p的所述脸部图像中表情被正确辨识为所述表情种类p的数量，FPp,q代表在所述表情种类p的所述脸部图像中表情被错误辨识为所述表情种类q的数量。4.根据权利要求1所述的脸部表情辨识的方法，其特征在于，根据所述相似度将所述表情种类分为多个表情群组包括：合并所述相似度最高的两个表情种类为一表情群组；取得未合并的表情种类与所述表情群组彼此之间的相似度；以及合并所述相似度最高的未合并的表情种类与所述表情群组或合并所述相似度最高的两个未合并的表情种类为另一表情群组。5.根据权利要求4所述的脸部表情辨识的方法，其特征在于，根据所述相似度将所述表情种类分为多个表情群组还包括：取得所述表情群组与所述另一表情群组彼此之间的相似度；以及合并相似度最高的所述表情群组与所述另一表情群组。6.根据权利要求4所述的脸部表情辨识的方法，其特征在于，所述未合并的表情种类与所述表情群组之间的相似度是根据所述未合并的表情种类与所述表情群组之间的交叉熵所取得。7.根据权利要求4所述的脸部表情辨识的方法，其特征在于，还包括：接收包括一脸部的一输入图像；以及使用所述第一辨识模型及所述第二辨识模型辨识所述输入图像中表情的表情种类。8.根据权利要求1所述的脸部表情辨识的方法，其特征在于，所述表情种类包括生气、恶心、害怕、中性无表情、高兴、伤心及惊讶。9.根据权利要求1所述的脸部表情辨识的方法，其特征在于，所述第一辨识模型及所述第二辨识模型是基于一卷积神经网络(ConvolutionalNeuralNetwork，CNN)模型。10.一种脸部表情辨识的装置，其特征在于，包括：一或多...

【专利技术属性】
技术研发人员：康浩平，吴佳桦，杨耀钦，高志忠，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：中国台湾,71