本发明专利技术提供了一种图像处理装置及图像处理方法。该图像处理装置用于对甚至难以识别面部表情的被摄物执行精确的面部表情识别。从由图像输入单元输入的图像中提取人的面部区域。从所述提取出的面部区域中提取预定的部分区域，所述预定的部分区域在面部表情处于第一状态与第二状态之间变化。通过使用评估值计算公式来计算面部表情评估值。当所述计算出的面部表情评估值大于第一阈值时，确定所述面部表情处于第二状态。如果在预定时间内的所述计算出的面部表情评估值的最大值与最小值之间的差小于预定值，则改变所述评估值计算公式或所述评估值计算公式的参数，以增大该差。
【技术实现步骤摘要】
本专利技术涉及。技术背景已经开发了用于检测作为人类面部表情之一的眼的睁开/闭合状态的技 术。例如，参考文献中公开的技术对输入图像进行二值化，并从被二值化 的图像中提取对应于瞳孔的黑色区域，并基于该黑色区域的垂直连续像素的 数量来确定眼的睁开/闭合状态。在该技术中，在多个图像中参照黑色(虹膜) 区域的垂直连续像素的数量的最大值。然后，基于垂直连续像素的数量的最 大值和最小值来设置用于确定是/否存在眨眼的阈值。参考文献中公开的技术检测上眼睑和下眼睑的边缘，并基于所述上眼睑边缘与下眼睑边缘之间的距离来确定眼的睁开/闭合状态。还开发了用于检测诸如高兴和愤怒的感情的面部表情的技术。例如，参考文献中公开的技术对输入图像执行二维傅立叶变换并生成预定特征向 量。根据预先准备的面部表情的隐马尔可夫模型，来计算特征向量生成的可 能性。将与用于计算最大可能性的隐马尔可夫模型相对应的面部表情作为识 别结果输出。另一方面，还开发了基于交互用户、交互量和情境来调整与用户交互的 电子秘书的面部表情和该面部表情的程度的技术。例如，参考文献中公开 的技术基于交互用户、交互量和情境来从预先存储的表情阈值集合中读取特 定表情阈值，或者通过使用预先定义的几个变换中的特定一个变换来设置表 情阈值。利用该方法设置了或改变了电子秘书的面部表情的类型。然而，包含在面部中的诸如眼和嘴的多个部分的形状和动作因人而异。 例如，对于上眼睑与下眼睑间隔的距离相对远的人，上眼睑与下眼睑之间的 距离的变化量大。但是，对于上眼睑与下眼睑之间距离近的人，上眼睑与下 眼睑之间的距离的变化量小。在客观地描述面部表情的动作的参考文献中，将作为面部表情之一 的"喜悦"描述为(1)"升高颊部"、(2)"上拉唇端"、……。但是，颊部或 唇端的变化量也因人而异。鉴于以上原因，如果在确定面部表情的过程中对例如所有人使用相同的 参数(例如，阈值)，则可能总是将上眼睑与下眼睑距离近的特定人错误地确 定为处于眼闭合状态。例如，则可能总是将少量地移动了诸如眼和嘴之类的 多个部分的人错误地确定为无表情。参考文献.-日本特开平06-032154号公报；参考文献:日本特开2000-137792号公报；参考文献:日本特许第2962549号公报；参考文献:日本特开平07-104778号公报；参考文献:日本特开2000-030065号公报；参考文献:日本特开2003-323622号公报；参考文献:日本特开2005-056388号公报；参考文献:P. Ekman and W. V. Friesen, Facial Action Coding System(FACS): Manual, Palo Alto: Consulting Psychologists Press, 1978;参考文献: R Viola and M. Jones, "Rapid object detection using a Boosted Cascade of Simple Features", Proc. of IEEE Conf. CVPR， 1， pp.511-518， 2001;参考文献: Yann LeCun and Yoshua Bengio, "Convolutinal Networks for Images, Speech, and Time Series", The Handbook of Brain Theory and Neural Networks, pp.255-258, 1995;参考文献: Ishii, Ueda, Maeda, and Murase, "Easy-to隱Understand Pattern Recognition", Ohmsya, 1998。
技术实现思路
鉴于上述问题开发了本专利技术，并且本专利技术的目的是甚至对于难以进行面 部识别处理的难测的被摄物的面部表情也进行精确的识别。本专利技术的一个方面提供一种图像处理装置，该图像处理装置包括面部 区域提取单元，用于从输入图像中提取人的面部区域；计算单元，用于利用 评估公式，根据所提取的面部区域来计算面部表情评估值；确定单元，用于 基于所计算的面部表情评估值来确定该面部区域所表达的面部表情；改变单 元，用于在预定时间内的所计算出的面部表情评估值的变化小于预定值的情 况下，改变所述评估公式和所述评估公式的参数中的一个来增大所述变化。本专利技术的另一方面提供一种图像处理方法，该图像处理方法包括以下步骤从输入图像中提取人的面部区域；利用评估公式，根据所提取的面部区域来计算面部表情评估值；基于所计算的面部表情评估值来确定所述面部区 域所表达的面部表情；以及在预定时间内的所计算出的面部表情评估值的变 化小于预定值的情况下，改变所述评估公式和所述评估公式的参数中的一个 来增大所述变化。通过以下参照附图对示例性实施例的详细说明，本专利技术其他的特征将变得明确。附图说明图1是示出根据第一实施例的图像处理装置的结构的框图。图2是示出输入图像和正规化图像的示例的图。图3是用于解释用于检测瞳孔区域的巻积神经网络(C丽)的图。图4是示出该C丽的神经元输出值直方图的示例的图。图5是示出面部表情评估值的特性曲线的曲线图。图6是用于解释面部表情评估值的阈值处理的曲线图。图7是示出上眼睑与下眼睑之间距离大的人的眼和上眼睑与下眼睑之间距离小的人的眼的图。图8和图9是用于解释眼闭合状态检测错误的曲线图。图10是示出当改变图8中的特性曲线的面部表情评估值计算公式的系数时的面部表情评估值特性曲线的示例的曲线图。图11是示出具有根据图8中的面部表情评估值特性曲线改变的线性特性曲线的面部表情评估值特性曲线的示例的曲线图。图12是例示根据第一实施例的改变面部表情评估值计算公式的系数的 处理的流程图。图13是示出根据第二实施例的图像处理装置的结构的框图。图14是用于解释根据第二实施例的神经元输出值的阈值的改变的曲线图。图15是例示根据第二实施例的阈值变化处理的流程图。图16是示出根据第三实施例的摄像设备的结构的框图。图17A和17B是例示根据第三实施例的摄像设备的操作的流程图。图18是用于解释根据第三实施例的面部表情评估值的阈值的改变的曲线图。具体实施方式将根据附图详细描述本专利技术的优选实施例。本专利技术并不限于实施例的公 开内容，并且对于本专利技术的解决手段，在实施例中描述的特征的所有组合并 不总是必需的。 (第一实施例)图1是示出根据第一实施例的图像处理装置的结构的框图。图像输入单元iooo输入图像信号。被摄物检测单元1001从自图像输入 单元1000输入的图像信号中检测是/否存在人脸，并且如果存在人脸，则检 测该人脸的位置。特征提取单元1002通过使用由被摄物检测单元1001检测 到的人脸位置和由图像输入单元1000生成的图像，来提取面部表情识别所必 需的特征。面部表情评估值计算单元1003通过使用特征提取单元1002提取 的面部表情识别所必需的特征，来计算代表各被摄物的面部表情的类型和各 个面部表情的程度的面部表情评估值。面部表情确定单元1004通过使用由面 部表情评估值计算单元1003计算的被摄物的面部表情评估值，来确定各被摄 物的面部表情。面部表情评估值计算公式/参数改变单元1005基于由本文档来自技高网...
【技术保护点】
一种图像处理装置，该图像处理装置包括： 面部区域提取单元，用于从输入图像中提取人的面部区域； 计算单元，用于通过使用评估公式，根据所述提取出的面部区域来计算面部表情评估值； 确定单元，用于基于所述计算出的面部表情评估值来确定所述面部区域所表达的面部表情； 改变单元，用于在预定时间内的所述计算出的面部表情评估值的变化小于预定值的情况下，改变所述评估公式和所述评估公式的参数中的一个，以增大所述变化。
【技术特征摘要】
...
【专利技术属性】
技术研发人员：金田雄司，森克彦，佐藤博，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP[日本]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。