面部表情识别装置及方法和摄像装置制造方法及图纸

本发明专利技术涉及一种面部表情识别装置及方法和摄像装置。所述面部表情识别装置顺次接受输入的图像，并基于在所输入的图像中检测到的面部图像信息确定是否开始面部表情确定。当确定应当开始面部表情确定时，所述面部表情识别装置响应于所述确定而基于在所述图像中检测到的所述面部图像信息获取参照特征信息。然后，在关于所述开始面部表情确定的确定之后，所述面部表情识别装置从在所述输入的图像中检测到的所述面部图像信息提取特征信息，并基于所提取的特征信息以及所获取的参照特征信息确定所检测到的面部的面部表情。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种基于描绘人物的图像信息来识别面部表情的面部表情识别装置及方法和摄像装置。
技术介绍
存在多种传统技术用来识别面部表情。在日本特许第02840816号公报(在下文中称为"专利文献1")所记载的面部表情识别中，预先设置要在面部表情识别中使用的无表情的参照图像。然后，对输入图像和预先设置的无表情的参照图像进行小波变换以针对各个频带计算频率信号的平均功率。然后通过计算各个平均功率之间的差来确定面部表情。另外，在日本特开2005-56388号公报(下文中称为专利文献2)记载的面部表情识别中，在从面部表情识别所使用的无表情的参照图像中预先提取了规定的特征点之后，计算特征点之间的距离等。然后通过类似地计算输入图像中的特征点之间的距离并计算各个距离之间的差值，来确定面部表情。此外，日本特开2005-266984号公报(下文中称为专利文献3)记载了一种不使用无表情的参照图像的面部表情识别技术。在专利文献3所记载的面部表情识别中，在检测到图像中的嘴角(comer)以及左眼角和右眼角之后，基于由这四个点生成的矩形中长边与短边的比率确定面部表情。此外，在日本特许第2573126号公报(专利文献4)中，记载了一种方法，其中，从各特征位置获得眉毛动作和其他面部表情元素及面部表情元素信息，并基于面部表情元素信息计算面部表情元素码，然后在规定的变换公式中使用面部表情元素码来计算情绪值。然而，由于在上述专利文献1和专利文献2中所记载的面部表情识别捕捉相对于无表情状态的变化，因此，与专利文献3中记载的不使用无表情的参照图像的面部表情识别技术相比，它们具有以下显著优势(1)它 们能够适应诸如眼、嘴等的面部器官的位置的个人差异；(2)它们能够以 相对高的检测精确度捕捉面部表情的细微变化。但是，另一方面，这些处 理具有以下问题(1)为了预先登记无表情的图像，需要时间和人力；(2)仅能够对所登记的人识别面部表情；(3)由于进行登记的图像的数量等依 赖于进行面部表情识别的人的数量，因此需要较大的存储区；(4)当登记 期间的摄像环境与面部表情识别期间的摄像环境不同时，有时由于摄像环 境之间的差异而不能精确地识别面部表情；(5)在登记无表情的图像的用 户中术语"无表情的图像"的定义的变化很大地影响到面部表情识别的精 确度。上述五个问题由用户预先手动地登记无表情的图像的操作引起。此外，在专利文献3和4中，不能适应面部的特征点位置等方面的个 人差异，并且由于使用通用标准来确定各个人的面部表情，因此难以提髙 精确度。
技术实现思路
考虑解决上述问题而做出本专利技术，本专利技术提供了一种面部表情识别装 置及方法，其中，在典型实施例中，不需要预先登记特定面部表情的图像， 并且基于各个人的面部特征的使用，能够进行面部表情的确定。根据本专利技术的一个方面，提供了一种面部表情识别装置，该面部表情 识别装置包括图像输入单元，用于顺次输入图像；面部检测单元，用于检测由所述图像输入单元获得的图像中的面部； 开始确定单元，用于基于由所述面部检测单元检测到的面部图像信息确定是否开始面部表情确定；获取单元，用于在所述开始确定单元确定应当开始面部表情确定时，基于由所述面部检测单元检测到的所述面部图像信息获取参照特征信息；以及面部表情确定单元，用于在所述开始确定单元确定开始所述面部表情 确定时从由所述面部检测单元检测到的所述面部图像信息提取特征信息，并基于所提取的特征信息和所述参照特征信息确定所述检测到的面部的面 部表情。根据本专利技术的另一方面，提供了一种摄像装置，该摄像装置包括 上述面部表情识别装置；供应单元，用于使用摄像单元以时间先后顺序获取图像并将所获取的 图像供应给所述图像输入单元；以及记录单元，用于在所述面部表情确定单元确定面部表情是规定面部表 情时，将所述图像记录为拍摄图像。根据本专利技术的一个方面，提供了一种面部表情识别装置，该面部表情 识别装置包括图像输入单元，用于顺次输入图像；面部检测单元，用于检测由所述图像输入单元获得的所述图像中的面部；特征提取单元，用于从由所述面部检测单元检测到的面部中提取特征；存储单元，用于在由所述特征提取单元提取的所述特征的可靠性不小于阈值时，将所述特征存储在存储器中；以及面部表情确定单元，用于基于由所述存储单元存储在所述存储器中的 所述特征的变化确定所述面部的面部表情。根据本专利技术的另一方面，提供了一种面部表情识别装置，该面部表情 识别装置包括检测单元，用于从顺次输入的图像中检测面部；状态确定单元，用于确定由所述检测单元检测到的所述面部的特征的 状态；获取单元，用于在所述状态确定单元确定了所述面部的所述特征处于 预定状态时，基于所述面部的图像信息获取参照特征信息；以及面部表情确定单元，用于基于由所述检测单元新检测到的面部和所述 参照特征信息确定所述新检测到的面部的面部表情。根据本专利技术的另一方面，提供了一种面部表情识别方法，该面部表情 识别方法包括以下步骤图像输入步骤，其涉及顺次输入图像；面部检测步骤，其涉及检测在所述图像输入步骤中获得的图像中的面部；开始确定步骤，其涉及基于在所述面部检测步骤中检测到的面部图像 信息确定是否幵始面部表情确定；获取步骤，其涉及在所述开始确定步骤确定应当开始面部表情确定时， 基于在所述面部检测步骤中检测到的所述面部图像信息获取参照特征信 息；以及面部表情确定步骤，其涉及在所述开始确定步骤中确定开始所述面部 表情确定时从在所述面部检测步骤中检测到的所述面部图像信息提取特征 信息，并基于所提取的特征信息和所述参照特征信息确定所检测到的面部 的面部表情。根据本专利技术的一个方面，提供了一种基于信息处理器的面部表情识别 方法，该方法包括以下步骤图像输入，其涉及顺次输入图像；面部检测，其涉及检测在所述图像输入歩骤中获得的所述图像中的面部；特征提取，其涉及从在所述面部检测步骤中检测到的面部中提取特征；存储，其涉及在所述特征提取步骤中提取的所述特征的可靠性不小于 阈值时，将所述特征存储在存储器中；以及面部表情确定，其涉及基于在所述存储步骤中存储在所述存储器中的 所述特征的变化确定所述面部的面部表情。根据本专利技术的一个方面，提供了一种面部表情识别方法，该面部表情 识别方法包括以下步骤从顺次输入的图像中检测面部；确定在所述检测步骤中检测到的所述面部的特征的状态； 在所述状态确定单元确定了所述面部的所述特征处于预定状态时，基 于所述面部的图像信息获取参照特征信息；以及基于在所述检测步骤中新检测到的面部和所述参照特征信息确定所述新检测到的面部的面部表情。通过下面参照附图对示例性实施例的描述，本专利技术的其它特征将变得 清楚。附图说明图1示出了根据本实施例的摄像装置的硬件配置。图2是例示根据第一实施例的摄像装置的整体操作的流程图。图3是例示根据第一实施例的参照特征设置处理(步骤S213)的详情 的流程图。图4是例示示例性的检测到的左眼和右眼的图。图5是例示示例性的检测到的特征点的图。图6是例示为检测特征点500和502所设定的示例性区域的图。图7是例示为检测特征点503所设定的示例性区域的图。图8是例示为检测特征点506和509所设定的示例性区域的图。图9是例示为检测特征点507和508所设定的示例性区域的图。图10是例示为检测特征点5本文档来自技高网...

【技术保护点】
一种面部表情识别装置，该面部表情识别装置包括：　图像输入单元，用于顺次输入图像；　面部检测单元，用于检测由所述图像输入单元获得的图像中的面部；　开始确定单元，用于基于由所述面部检测单元检测到的面部图像信息确定是否开始面部表 情确定；　获取单元，用于在所述开始确定单元确定应当开始面部表情确定时，基于由所述面部检测单元检测到的所述面部图像信息获取参照特征信息；以及　面部表情确定单元，用于在所述开始确定单元确定开始所述面部表情确定时从由所述面部检测单元检 测到的所述面部图像信息提取特征信息，并基于所提取的特征信息和所述参照特征信息确定所检测到的面部的面部表情。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：金田雄司，真继优和，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP[日本]