图像处理装置、图像捕获装置及图像处理方法制造方法及图纸

图像处理装置、图像捕获装置及图像处理方法。获取按照连续方式所捕获的图像并对其进行临时存储。提取所获取的帧图像中的脸部的特征点。计算在当前帧中的脸部(脸部部分)的特征点与在之前帧的特征点之间的距离总和(表情变化量)。提取其中表情变化量最大的目标帧图像以及其中表情变化量最大的目标帧图像之前和之后的m个帧图像以作为最佳图像候选者。从最佳图像候选者中提取最佳拍摄图像并将其存储到存储媒介中。因此，可有效地从按照连续方式所捕获的图像当中仅提取包含用户期望记录的脸部的图像(最佳拍摄图像)并对其进行存储。

【技术实现步骤摘要】
图像处理装置、图像捕获装置、图像处理方法及记录媒介本申请是申请日为2008年9月28日、申请号为200810168154.6、专利技术名称为“图像处理装置、图像捕获装置、图像处理方法及记录媒介”的专利技术专利申请的分案申请。
本专利技术涉及一种图像处理装置、图像捕获装置、图像处理方法以及图像处理程序，并且尤其是涉及一种用于存储最佳拍摄图像的技术。
技术介绍
在现有技术中提出了一种脸部图像处理方法。该方法包括:连续地输入包括有脸部图像的人的图像、从该图像判断对象脸部的状态(例如瞳孔的状态)、并且自动选择包括有与用户期望相匹配的适当脸部图像(日本专利申请特开N0.2000 - 259833)。该方法可，例如通过在某个时间长度将照相机指向对象而获得包括其中对象睁开眼睛的适当脸部图像的图像。在现有技术中还提出了一种图像处理装置。所提粗的图像处理装置找到包含在输入图像之中的脸部的预定局部(与眼、嘴、以及鼻子相对应)中的特征点，并且找到预定局部的特征量(例如眼睛(特性点)的终端与嘴的终端(特性点)之间的距离)。图像处理装置还找到包含预定脸部表情的脸的另一图像中的预定局部的特征量。图像处理装置进一步计算对于每个预定局部而言输入图像的特征量与其他图像的特征量之间的差，并且根据该差来计算用于每个预定局部的分数。通过将为输入图像所计算的分数的分布与为各种脸部表情的脸中的预定局部所计算的分数的巳知分布进行比较，图像处理装置判断在输入图像的脸上是哪种脸部表情(日本专利申请特开N0.2005 - 56388)。此外，根据日本专利申请特开N0.2005 一 56388的图像捕获装置，当用户希望捕获包括有期望脸部表情(诸如笑)的图像时，捕获包括该脸部的时间序列图像，并且将为每个图像所计算的分数的分布与为笑脸中的预定局部所计算的分数的分布进行比较。通过仅存储具有最接近笑脸分布的分布的图像，图像捕获设备可存储包括期望表情的图像。
技术实现思路
然而，日本专利申请特开N0.2000 - 259833的专利技术的问题在于因为判断连续输入图像的每个图像是否包括用户期望的适当脸部图像(例如其中对象眼睛睁开的图像)，因此需要大量图像处理。另外，日本专利申请特开N0.2005 一 56388的专利技术也具有相似问题，该问题在于因为图像处理装置判断图像序列的每个图像中的脸部表情，因此需要大量图像处理。此外，日本专利申请特开N0.2000 - 259833和N0.2005 一 56388均具有进一步的问题，该问题在于如果连续地输入包含适当脸部图像或者期望表情的脸部图像的图像，那么存储所有输入图像(例如包含具有相同表情的脸部的同样图像)，并且无用地消耗了存储媒介的存储器容量。在考虑了上述问题之后构思了本专利技术并且目的是提供一种能够从连续捕获的图像中仅存储用户希望存储的图像(以下称为〃最佳拍摄图像〃)并且能够有效地提取最佳拍摄图像的图像处理装置、图像捕获装置、图像处理方法、以及图像处理程序。为了实现该目的，根据本专利技术第一方面的图像处理装置包括:图像获取设备，其用于顺序地获取按照连续方式所捕获的图像；脸部检测设备，其用于对所获取的图像中的脸部进行检测；表情变化量计算设备，其用于对每个目标帧计算表情变化量，该表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情变化，目标帧是获取帧中的每个或者是获取帧中规则间隔的帧；提取设备，其用于提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及存储设备，其用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。因此，从按照连续方式所捕获的图像当中提取具有大脸部表情变化的脸部的目标帧的图像，并且将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。应该注意的是存在大脸部表情变化的脸部很有可能是期望的图像(S卩，用户希望存储的脸的图像(最佳拍摄))。此外，对两个图像之间的表情变化量进行计算所需的图像处理负荷低于对脸部表情本身进行分析所需的图像处理负荷。此外，当在连续图像中捕获表情不变的脸部时，不存储包含这种脸部的图像。因此，可避免浪费使用存储媒介上的存储器容量。根据本专利技术第二方面的图像处理装置包括:图像获取设备，其用于顺序地获取按照连续方式所捕获的图像；脸部检测设备，其用于对所获取图像中的脸部进行检测；表情变化量计算设备，其用于对每个目标帧计算表情变化量，该表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情变化，该目标帧是获取帧中的每个或者是获取帧中规则间隔的帧；提取设备，其用于提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及存储设备，其用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。根据本专利技术的第一方面计算在当前目标帧图像中所检测到的脸部与在连续捕获的图像的之前目标帧图像中所检测到的脸部之间的表情变化。另一方面，根据本专利技术的第二方面与第一方面的不同之处在于计算连续捕获的目标帧的图像与参考模板之间的表情变化量。根据本专利技术的第三方面，在根据第二方面的图像处理装置中，根据与一个或多个人的平常脸的脸部局部相对应的多个特征点的坐标位置来创建参考模板。应该注意的是之前与之后帧的脸部之间的表情变化量至多是预定值的连续捕获的任何帧的图像中的脸部可用作平常脸。根据本专利技术的第四方面，在根据第三方面的图像处理装置中，预先创建与人的属性相对应的多个参考模板并且将其存储在存储器中，并且通过图像获取设备从存储器读取相应于所获取的图像中与人的属性的参考模板并使用。所考虑的人的属性的示例包括性另IJ、年龄、成熟度(孩子或者成人)、以及种族。根据本专利技术的第五方面，根据第一至第四方面任何一个的图像处理装置进一步包括典型脸部选择设备，该典型脸部选择设备用于当脸部检测设备对多个脸部进行检测时，根据以亮度、位置、大小、以及脸部清晰度中的至少一个为条件来选择典型脸部以作为目标帧图像中检测到的脸部。换句话说，当所捕获的图像中存在不止一个人时，选择单个人作为目标。利用该安排，可将被选择为目标的人的最佳拍摄图像进行存储，并且可使对要存储的图像的选择简单化。根据本专利技术的第六方面，在根据第一至第五方面任何一个的图像处理装置中，表情变化量检测设备包括:特征点提取设备，其用于提取与每个脸部局部相对应的多个特征点；标准化设备，其用于使所提取的特征点的坐标位置标准化；以及计算设备，其用于根据每个脸部中的相应特征点的标准化坐标位置之间的距离总和或者其之间的距离的平方和来对两个比较的脸部计算表情变化量。该安排可利用简单操作来计算表情变化量。根据本专利技术的第七方面，根据第一至第六方面任何一个的图像处理装置进一步包括:最佳图像候选者提取设备，其用于提取已提取的目标帧的图像以及多个连续帧的图像以作为最佳图像候选者，所述多个连续帧的图像是目标帧的之前和之后图像中的至少一个；以及最佳图像选择设备，其用于从所提取的最佳图像候选者组中选择最佳图像，其中存储设备将所选的最佳图像存储在存储媒介中。根据本专利技术的第八方面，在根据第七方面的图像处理装置中，最佳图像选择设备包括:至少一个:第一估计设备，其用于将最佳图像候选者的脸部与表示预定表情的表情模板进行比本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：图像获取设备，所述图像获取设备用于顺序地获取按照连续方式所捕获的图像；脸部检测设备，所述脸部检测设备用于对所获取的图像中的脸部进行检测；表情变化量计算设备，所述表情变化量计算设备用于对每个目标帧计算表情变化量，所述表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧；提取设备，所述提取设备用于提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及存储设备，所述存储设备用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。

【技术特征摘要】
2007.09.28 JP 2007-2567111.一种图像处理装置，包括: 图像获取设备，所述图像获取设备用于顺序地获取按照连续方式所捕获的图像； 脸部检测设备，所述脸部检测设备用于对所获取的图像中的脸部进行检测； 表情变化量计算设备，所述表情变化量计算设备用于对每个目标帧计算表情变化量，所述表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧； 提取设备，所述提取设备用于提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及 存储设备，所述存储设备用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。2.一种图像处理装置，包括: 图像获取设备，所述图像获取设备用于顺序地获取按照连续方式所捕获的图像； 脸部检测设备，所述脸部检测设备用于对所获取图像中的脸部进行检测； 表情变化量计算设备，所述表情变化量计算设备用于对每个目标帧计算表情变化量，所述表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧； 提取设备，所述提取设备用于提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及 存储设备，所述存储设备用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。3.根据权利要求2所述的图像处理装置，其中 所述参考模板是根据与一个或多个人的平常脸的脸部局部相对应的多个特征点的坐标位置而创建的。4.根据权利要求3所述的图像处理装置，其中 预先创建与人的属性相对应的多个参考模板并且将所述多个参考模板存储在存储器中，以及 从所述存储器读取并使用与通过所述图像获取设备获取的图像中的人的属性相对应的参考模板。5.根据权利要求1所述的图像处理装置，还包括: 典型脸部选择设备，所述典型脸部选择设备用于当所述脸部检测设备检测到多个脸部时，根据以亮度、位置、大小以及脸部清晰度中的至少一个为条件来选择典型脸部以作为所述目标帧的图像中检测到的脸部。6.根据权利要求1所述的图像处理装置，其中 所述表情变化量检测设备包括: 特征点提取设备，所述特征点提取设备用于提取与每个脸部局部相对应的多个特征占.标准化设备 ，所述标准化设备用于使所提取的特征点的坐标位置标准化；以及 计算设备，所述计算设备用于根据每个脸部中的相应特征点的标准化坐标位置之间的距离总和或者标准化坐标位置之间的距离的平方和来为两个比较的脸部计算表情变化量。7.根据权利要求1所述的图像处理装置，还包括: 最佳图像候选者提取设备，所述最佳图像候选者提取设备用于提取所提取的目标帧的图像以及多个连续帧的图像以作为最佳图像候选者，所述多个连续帧的图像是所述目标帧的图像之前和之后的至少一个；以及 最佳图像选择设备，所述最佳图像选择设备用于从所提取的最佳图像候选者组中选择最佳图像，其中 所述存储设备将所选择的最佳图像存储在所述存储媒介中。8.根据权利要求7所述的图像处理装置，其中 所述最佳图像选择设备包括: 下述至少一个: 第一估计设备，所述第一估计设备用于将所述最佳图像候选者的脸部与表示预定表情的表情模板进行比较，并且根据比较结果而判给每个最佳图像候选者分数； 第二估计设备，所述第二估计设备用于对所述最佳图像候选者中的脸部方向进行检测，并且根据所检测到的脸部方向判给每个最佳图像候选者分数；以及 第三估计设 备，所述第三估计设备用于对所述最佳图像候选者中的对象眼睛的方向进行检测，并且根据所检测到的对象眼睛的方向判给每个最佳图像候选者分数；以及 选择设备，所述选择设备用于根据由所述估计设备中的至少一个所判给的一个或多个分数来从所述最佳图像候选者当中选择最佳图像。9.根据权利要求8所述的图像处理装置，其中 所述选择设备选择具有最高分数的图像以作为最佳图像，或者从其分数大于或等于预定值的最佳图像候选者当中选择具有由所述表情变化量计算设备所计算的最大表情变化量的图像作为最佳图像。10.一种图像捕获装置，包括: 图像捕获设备，所述图像捕获设备可操作用于按照连续方式捕获对象的图像；以及 根据权利要求1所述的图像处理装置，其中所述图像获取设备顺序地获取由所述图像捕获设备按照连续方式所捕获的图像。11.根据权利要求10所述的图像捕获装置，还包括: 图像捕获指示设备；以及 存储数目设置设备，所述存储数目设置设备用于设置响应所述图像捕获指示设备的单个图像捕获指令而将要存储在存储媒介中的图像的数目，其中 当所述图像捕获指示设备发出了图像捕获的指令时，重复所述图像捕获设备的图像捕获操作以及所述图像处理装置的图像处理，直至已存储的图像数目达到了所设置的要存储的图像的数目。12.根据权利要求...

【专利技术属性】
技术研发人员：中村友和，
申请(专利权)人：富士胶片株式会社，
类型：发明
国别省市：日本;JP