图像处理装置、图像处理方法和机器可读存储介质制造方法及图纸

本公开涉及一种图像处理装置、图像处理方法和机器可读存储介质。图像处理装置包括：信息获取单元，将输入图像划分为多个区域且获取关于多个区域中的面部动作单元的信息；动作单元特征提取单元，基于关于面部动作单元的信息对动作单元的区域提取动作单元特征；第一计算单元，计算每个动作单元的动作单元特征与各个动作单元的动作单元特征的相似度；第二计算单元，基于相似度计算的结果重新计算每个动作单元的动作单元特征；全局面部特征提取单元，基于关于面部动作单元的信息提取全局面部特征；以及分类单元，基于重新计算的动作单元特征和全局面部特征对面部动作单元分类。图像处理装置可以基于动作单元关系学习进行自动微面部表情识别。表情识别。表情识别。

【技术实现步骤摘要】
图像处理装置、图像处理方法和机器可读存储介质


[0001]本公开涉及图像处理的
，具体地涉及用于微面部表情识别的图像处理装置、图像处理方法和机器可读存储介质。

技术介绍

[0002]这个部分提供了与本公开有关的背景信息，这不一定是现有技术。
[0003]面部在每时每刻都承载着有关我们的心理和情绪状态的大量信息。因此，可以基于微面部表情识别来量化精神状态。微面部表情识别在现实生活中具有许多应用。例如，可以通过关心员工的心理并改善他们的动机来提高劳动生产率，或者可以估计客户的满意度并改善他们的购买动机(数字营销)，或者可以用于估计司机开车状态等。
[0004]可见，开发一种有效识别微面部表情的装置具有重要意义。

技术实现思路

[0005]这个部分提供了本公开的一般概要，而不是其全部范围或其全部特征的全面披露。
[0006]本公开的目的在于提供一种基于动作单元(AU)关系学习进行自动的微面部表情识别的图像处理装置、图像处理方法和机器可读存储介质。
[0007]根据本公开的一方面，提供了一种图像处理装置，包括：信息获取单元，其将输入的图像划分为多个区域，并且获取关于多个区域中的面部动作单元的信息；动作单元特征提取单元，其基于所获取的关于面部动作单元的信息来对面部动作单元的区域提取动作单元特征；第一计算单元，其计算不同面部动作单元中的每一个面部动作单元的动作单元特征与各个面部动作单元的动作单元特征之间的相似度；第二计算单元，其基于相似度计算的结果重新计算每一个面部动作单元的动作单元特征；全局面部特征提取单元，其基于所获取的关于面部动作单元的信息提取全局面部特征；以及分类单元，其基于重新计算的每一个面部动作单元的动作单元特征和全局面部特征两者来对所述面部动作单元进行分类。
[0008]根据本公开的另一方面，提供了一种图像处理方法，包括：将输入的图像划分为多个区域，并且获取关于多个区域中的面部动作单元的信息；基于所获取的关于面部动作单元的信息来对面部动作单元的区域提取动作单元特征；计算不同面部动作单元中的每一个面部动作单元的动作单元特征与各个面部动作单元的动作单元特征之间的相似度；基于相似度计算的结果重新计算每一个面部动作单元的动作单元特征；基于所获取的关于面部动作单元的信息提取全局面部特征；以及基于重新计算的每一个面部动作单元的动作单元特征和全局面部特征两者来对面部动作单元进行分类。
[0009]根据本公开的另一方面，提供了一种机器可读存储介质，其上携带有包括存储在其中的机器可读指令代码的程序产品，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本公开的图像处理方法。
[0010]使用根据本公开的图像处理装置、图像处理方法和机器可读存储介质，可以通过
检测与面部的每个局部区域相对应的面部动作单元的出现来识别微表情。
[0011]从在此提供的描述中，进一步的适用性区域将会变得明显。这个概要中的描述和特定例子只是为了示意的目的，而不旨在限制本公开的范围。
附图说明
[0012]在此描述的附图只是为了所选实施例的示意的目的而非全部可能的实施，并且不旨在限制本公开的范围。在附图中：
[0013]图1为图示根据本公开的实施例的图像处理装置的结构的框图；
[0014]图2为图示根据本公开的实施例的图像处理装置中的信息获取单元的结构的框图；
[0015]图3为图示根据本公开的实施例的图像处理装置中的动作单元特征提取单元的结构的框图；
[0016]图4为图示根据本公开的实施例的图像处理装置中的全局面部特征提取单元的结构的框图；
[0017]图5为图示由根据本公开的实施例的图像处理装置中的第一计算单元和第二计算单元执行的示例性处理的示意图；
[0018]图6为图示由根据本公开的实施例的图像处理装置中的第一计算单元和第二计算单元执行的另一示例性处理的示意图；
[0019]图7为图示根据本公开的实施例的图像处理方法的流程图；以及
[0020]图8为其中可以实现根据本公开的实施例的图像处理装置和方法的通用个人计算机的示例性结构的框图。
[0021]虽然本公开容易经受各种修改和替换形式，但是其特定实施例已作为例子在附图中示出，并且在此详细描述。然而应当理解的是，在此对特定实施例的描述并不打算将本公开限制到公开的具体形式，而是相反地，本公开目的是要覆盖落在本公开的精神和范围之内的所有修改、等效和替换。要注意的是，贯穿几个附图，相应的标号指示相应的部件。
具体实施方式
[0022]现在参考附图来更加充分地描述本公开的例子。以下描述实质上只是示例性的，而不旨在限制本公开、应用或用途。
[0023]提供了示例实施例，以便本公开将会变得详尽，并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定部件、装置和方法的例子，以提供对本公开的实施例的详尽理解。对于本领域技术人员而言将会明显的是，不需要使用特定的细节，示例实施例可以用许多不同的形式来实施，它们都不应当被解释为限制本公开的范围。在某些示例实施例中，没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。
[0024]下面结合图1来说明根据本公开的实施例的图像处理装置如何识别微面部表情。
[0025]图1图示了根据本公开的实施例的图像处理装置100的结构的框图。如图1所示，根据本公开的实施例的图像处理装置100可以包括信息获取单元110、动作单元特征提取单元120、全局面部特征提取单元130、分类单元140、第一计算单元150和第二计算单元160。在此，假设输入图像中只有一张脸。微面部表情识别任务是检测用户关心的所有面部动作单
元的出现。面部动作单元出现与否可以表示与该面部动作单元对应的面部区域的人脸肌肉运动与否。
[0026]首先，信息获取单元110可以将输入的图像划分为多个区域，并且获取关于多个区域中的面部动作单元的信息。此外，信息获取单元110可以将所获取的关于多个区域中的面部动作单元的信息提供给动作单元特征提取单元120和全局面部特征提取单元130。
[0027]进一步，动作单元特征提取单元120可以基于由信息获取单元110提供的关于面部动作单元的信息来对面部动作单元的区域提取动作单元特征。此外，动作单元特征提取单元120可以将提取到的动作单元特征提供给第一计算单元150和第二计算单元160。
[0028]进一步，第一计算单元150可以计算不同面部动作单元中的每一个面部动作单元的动作单元特征与各个面部动作单元的动作单元特征之间的相似度。此外，第一计算单元150可以将相似度计算的结果提供给第二计算单元160。
[0029]进一步，第二计算单元160可以基于由动作单元特征提取单元120提取到的动作单元特征和由第一计算单元150提供的相似度计算的结果来重新计算每一个面部动作单元的动作单元特征。此外，第二计算单元160可以将重新计算的动作单元特征提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置，包括：信息获取单元，其将输入的图像划分为多个区域，并且获取关于所述多个区域中的面部动作单元的信息；动作单元特征提取单元，其基于所获取的关于所述面部动作单元的信息来对所述面部动作单元的区域提取动作单元特征；第一计算单元，其计算不同面部动作单元中的每一个面部动作单元的动作单元特征与各个面部动作单元的动作单元特征之间的相似度；第二计算单元，其基于相似度计算的结果重新计算每一个面部动作单元的动作单元特征；全局面部特征提取单元，其基于所获取的关于所述面部动作单元的信息提取全局面部特征；以及分类单元，其基于重新计算的每一个面部动作单元的动作单元特征和所述全局面部特征两者来对所述面部动作单元进行分类。2.根据权利要求1所述的图像处理装置，其中，针对某个面部动作单元，所述第二计算单元将所述某个面部动作单元的动作单元特征与各个面部动作单元的动作单元特征之间的相似度和相应的各个面部动作单元的动作单元特征的乘积之和作为所述某个面部动作单元的重新计算的动作单元特征。3.根据权利要求1所述的图像处理装置，其中，每一个面部动作单元的动作单元特征由预定数目的矩阵表示，并且所述第一计算单元计算每一个面部动作单元的动作单元特征的每个矩阵与各个面部动作单元的动作单元特征的每个矩阵之间的相似度。4.根据权利要求3所述的图像处理装置，其中，针对某个面部动作单元，所述第二计算单元针对所述某个面部动作单元的动作单元特征的所述预定数目的矩阵中的每一个，将所述某个面部动作单元的动作单元特征的矩阵与各个面部动作单元的动作单元特征的矩阵之间的相似度和相应的各个...

【专利技术属性】
技术研发人员：石自强，刘柳，刘汝杰，宓晓宇，村濑健太郎，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：