影像处理装置制造方法及图纸

提供影像处理装置。生成使脸区域与从出现脸区域直到消失为止的信息相对应的影像数据附带信息。由行踪判断部（４２４）对在脸区域检测部（４１０）中检测出的帧中的脸区域的位置及属性、与在脸区域预测部（４２３）中预测的规定行踪的帧中的脸区域的位置及属性进行比较。比较的结果，判断为在脸区域检测部（４１０）中检测出的帧包含在规定的行踪中的情况下，该帧被加到该规定的行踪中。由结束帧判断部（４２５）判断行踪的结束帧。在代表脸区域信息生成部（４３０）中从构成行踪的帧中包含的脸区域来选择代表脸区域，生成代表脸区域信息。根据行踪及代表脸区域，由影像数据附带信息生成部（４５０）生成影像数据附带信息。

【技术实现步骤摘要】

本专利技术涉及一种从影像数据检测脸区域的影像处理装置，特别是涉及对从出现脸区域直到消失为止进行追踪的影像处理装置、以及它们的处理方法和使计算机执行该方法的程序。
技术介绍
影像数据与静止图像数据不同，难以在短时间内掌握其内容。为了在短时间内掌握影像数据的内容，例如使用三倍速再现等高速再现的方法、或将影像数据中的规定场景进行缩略图(thumbnail)显示而进行多个显示等的方法。然而，即使是高速再现，以三倍速再现程度很难说能够在短时间内掌握影像数据的内容。另一方面，即使提高再现速度，人的眼睛所能看到的再现速度有限。另外，使影像数据中的规定场景为缩略图显示的方法中，并不是表示影像数据特征的场景被缩略图显示，因此对掌握影像数据的内容是不够的。为了掌握这种影像数据的内容，关注影像数据的出场人物是有效的。因为通常影像数据中人物出场的情况较多。近年来，与脸检测技术有关的研究盛行，正在进行使用该脸检测技术来掌握影像数据的出场人物的技术开发。例如，有如下的技术从影像数据检测移动物体，利用脸检测技术对该移动物体进行是否是人物的判断，从包含该人物的影像数据中选择规定数量的帧进行显示(例如参照专利文献1。)。另外，还有如下的技术从构成影像数据的帧抽出脸区域，按人物对抽出的所有脸区域进行分组，从该分组的脸区域中显示该人物的代表脸区域(例如参照专利文献2。)。专利文献1日本特开2000-232638号公报(图1)专利文献2日本特开2001-167110号公报(图1)
技术实现思路
然而，与上述的移动物体有关的技术不检测不移动的物体，因此不是能够直接利用于所有普通的影像数据的技术。另外，一般关于从帧中检测脸区域，理想状态是如图15的(a)所示，在帧中包含有脸区域的情况下利用脸检测技术能够没有遗漏地进行检测，但是在现阶段的脸检测技术中，如图15的(b)所示，即使在帧中包含有脸区域也可能发生检测遗漏。在从上述分组的脸区域中显示该人物的代表脸区域的技术中，作为从帧抽出脸区域的前提，从帧中检测脸区域，但是没有实施关于脸区域的检测遗漏的对策。因而，无法直接充分地掌握脸区域的时间方向的关系，具有难以掌握影像数据内容的问题。因此，本专利技术目的在于提供一种生成使脸区域和从出现脸区域到消失为止的信息相对应的影像数据附带信息的影像处理装置。本专利技术是为了解决上述问题而完成的，其第一侧面是一种影像处理装置，其特征在于，具备脸区域检测单元，其检测在构成影像数据的帧中包含的脸区域；行踪(トレ一ス)生成单元，其根据上述检测生成帧标识符，该帧标识符与将上述脸区域从出现直到消失为止的帧的集合作为一个单位的行踪的开始以及结束对应；代表脸区域信息生成单元，其从在构成上述行踪的帧中包含的上述脸区域中选择代表脸区域，生成表示上述代表脸区域的内容的代表脸区域信息；以及影像数据附带信息生成单元，其作为在上述影像数据中附带的影像数据附带信息，对于上述影像数据生成使与上述行踪的开始以及结束对应的帧标识符和上述代表脸区域信息相对应的信息。由此，带来如下作用生成使脸区域和脸区域从出现直到消失为止的信息相对应的影像数据附带信息。因而，能够有效地管理在庞大的帧中出场的多数人物。另外，在该第一侧面特征在于，上述行踪生成单元具备行踪标识符赋予单元，其对上述脸区域从出现直到消失为止的帧赋予相同的行踪标识符；脸区域预测单元，其根据赋予了上述相同的行踪标识符的以前的帧中的上述脸区域，预测当前帧中的上述脸区域；行踪判断单元，其根据上述预测的当前帧中的上述脸区域，判断在上述脸区域检测单元中检测出的上述当前帧中的上述脸区域是否包含在上述行踪中，在判断为包含在上述行踪中的情况下，将上述当前帧添加到上述行踪中；以及结束帧判断单元，其判断为在上述脸区域检测单元中检测出的上述当前帧中的上述脸区域没有包含在上述行踪中的情况下，判断将哪个帧设为上述行踪的结束帧。由此，带来如下作用通过提供影像数据，自动地生成使脸区域和脸区域从出现直到消失为止的信息相对应的影像数据附带信息。另外，特征在于，上述脸区域预测单元根据赋予了上述相同的行踪标识符的以前的帧中的上述脸区域，利用线性预测来预测上述当前帧中的上述脸区域。由此，带来如下作用可得到精度良好的脸区域的位置等预测值。另外，特征在于，上述行踪判断单元将上述预测的当前帧中的上述脸区域和在上述脸区域检测单元中检测出的上述当前帧中的上述脸区域进行比较，判断位置的差及属性的差是否在规定的阈值内，在上述阈值内的情况下，判断为上述当前帧中的上述脸区域包含在上述行踪中，将上述当前帧添加到上述行踪中。由此，带来如下作用即使在实际的检测值和预测值中有误差的情况下，也生成脸区域从出现直到消失为止的信息。另外，特征在于，上述行踪判断单元，作为上述属性根据上述脸区域的大小、上述脸区域的亮度分布、上述脸区域的颜色分布、上述脸区域的形状、上述脸区域的图案中的至少一个要素，判断上述属性的差是否在规定的阈值内。由此，带来如下作用根据脸区域中的大小、亮度分布、颜色分布、形状、图案等要素，将实际的检测值和预测值进行比较。另外，特征在于，上述结束帧判断单元在判断为在上述脸区域检测单元中检测出的上述当前帧中的上述脸区域没有包含在上述行踪中的情况下，根据上述行踪判断单元对之后接着的帧的判断结果，判断将哪个帧设为上述结束帧。由此，带来如下作用即使有脸区域的检测遗漏的情况下，也生成脸区域从出现直到消失为止的信息。另外，在该第一侧面特征在于，上述代表脸区域信息生成单元根据构成上述行踪的帧中的上述脸区域的大小、上述脸区域中的频率分布、上述脸区域中的颜色的浓淡分布以及上述脸区域颜色分布中的至少一个要素，选择上述代表脸区域。由此，带来如下作用将由用户容易看到的脸区域选择为代表脸区域。另外，在该第一侧面特征在于，上述代表脸区域信息生成单元将包含上述代表脸区域的帧的帧编号、和包含上述代表脸区域的帧中的上述代表脸区域的位置以及大小，作为上述代表脸区域信息生成。由此，带来如下作用降低影像数据附带信息中的代表脸区域信息的信息量。另外，在该第一侧面特征在于，上述代表脸区域信息生成单元将从包含上述代表脸区域的帧中切出的上述代表脸区域，作为上述代表脸区域信息生成。由此，带来如下作用将脸区域包含在影像数据附带信息而生成。另外，特征在于，具备脸区域特征数据保持单元，其使记述了规定的脸区域的特征的脸区域特征数据、和识别上述脸区域特征数据的脸特征标识符相对应进行保持；脸区域特征数据抽出单元，其从在上述脸区域信息生成单元切出的上述代表脸区域，抽出脸区域特征数据；以及脸区域特征数据检索单元，其从上述脸区域特征数据保持单元检索与上述抽出的脸区域特征数据类似的上述脸区域特征数据，将上述脸特征标识符赋予上述抽出的脸区域特征数据，上述影像数据附带信息生成单元在上述影像数据附带信息中包含上述脸特征标识符而生成。由此，带来如下作用使将类似的脸区域相关联的脸特征标识符包含在影像数据附带信息中而生成。另外，特征在于，在上述脸区域特征数据检索单元中没有从上述脸区域特征数据保持单元检索到与上述抽出的脸区域特征数据类似的上述脸区域特征数据的情况下，将新的脸特征标识符赋予上述抽出的脸区域特征数据。由此，带来如下作用即使没有类似的脸区域，也赋予新的脸特征标识符。即向所有的本文档来自技高网...

【技术保护点】
一种影像处理装置，其特征在于，具备：脸区域检测单元，其检测在构成影像数据的帧中包含的脸区域；行踪生成单元，其根据上述检测生成帧标识符，该帧标识符与将上述脸区域从出现直到消失为止的帧的集合作为一个单位的行踪的开始以及结束对应； 代表脸区域信息生成单元，其从在构成上述行踪的帧中包含的上述脸区域选择代表脸区域，生成表示上述代表脸区域的内容的代表脸区域信息；以及影像数据附带信息生成单元，其对于上述影像数据生成影像数据附带信息，该影像数据附带信息使与上述行 踪的开始以及结束对应的帧标识符和上述代表脸区域信息相对应。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：安部素嗣，西口正之，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]