图像处理装置、成像装置、图像处理方法和计算机程序制造方法及图纸

本发明专利技术提供了一种图像处理装置、成像装置和图像处理方法。该图像处理装置包括典型人脸提取单元，其被配置为在构成视频图像数据的一部分的图像帧中检测人脸图像，并且从检测出的人脸图像中选择将用作索引信息的人脸图像。典型人脸提取单元被配置为基于在所述图像帧中检测出的每个人脸图像的特征计算所述人脸图像的分数，并且将分数较高的检测出的人脸图像选作索引用人脸图像。

【技术实现步骤摘要】

本专利技术涉及图像处理装置、成像装置、图像处理方法和计算机程序。 更具体地说，本专利技术涉及显示与从通过例如利用摄像机拍摄获得的多段视频图像数据中选择的图像相对应的略縮图(thumbnail)图像列表，并且执 行从与该列表中的略縮像中指定的一个相对应的位置开始回放视频的 过程的图像处理装置、成像装置、图像处理方法和计算机程序。
技术介绍
当今，诸如数码相机或数码摄像机之类的多种成像装置以及诸如 DVD播放机之类的多种图像处理装置具有例如在图像显示部件或监视器上 显示在存储介质中存储的图像数据的列表的功能。例如， 一些能够播放视频的成像装置或DVD播放机具有显示菜单的 能力，在该菜单中排列出视频的标题和章节，允许用户从所显示的菜单中 选择期望的内容，并且播放所选内容。此外， 一些设备能够执行所谓的索 引显示过程。索引显示过程是这样的过程用縮小(略縮图)的形式显示 代表通过例如利用成像装置的一个拍摄过程(即，从拍摄的开始导结束) 获得的视频的图像。这使得可以利用按照縮小的形式在显示器上显示的图 像作为索引从该图像的帧开始回放视频。在显示视频数据的索引时，显示从组成该视频数据的所有帧中选择的 帧的縮小图像。因此，为了使用户容易地了解视频数据的内容，必须从视 频数据选择尽可能重要的帧作为索引用图像。在例如日本专利No. 3312105中描述了实现该目的的一种技术。根据该技术，利用对象字典在 视频图像数据中进行搜索，其中在该对象字典中，注册了要被搜索的对象 的图像，使得与该注册图像相似的图像将作为索引用帧图像被选择。在对 象字典中注册要被搜索的对象的图像是通过学习预先执行的。根据该技术，可以从通过一个记录操作所获得的一个单位的数据(该 单位数据在下文中将被称作一段内容)中选择与特定的已注册对象相 对应的索引图像，并且要求先前的对象图像注册。该技术存在这样的问 题与未注册的对象相对应的图像不能被选作索引。例如，假设多个人在 同一内容的不同时间段中出现。在该情形中，包括与特定注册对象相对应 的人的人脸的帧可以被选作索引，而仅包括其他人的帧作为索引被显示。 这种技术存在用户期望作为索引图像被显示的人脸(例如，用户的孩子的 人脸)不能作为索引图像被显示。在诸如摄像机之类的在显示视频图像的索引时显示该视频图像中包括 的人脸的图像的应用(下文称作人脸索引)中，将内容(即，视频图 像)中所包括的所有人脸都作为索引显示可能是不合理的。例如，当拍摄 了出现许多人脸的场景(例如，合唱比赛、运动会等)时，太多的人脸的 图像将作为索引被显示。显示索引的最初目的是使得能够快速了解内容的 概要。当如上例所述太多的人脸被显示为索引时，就不能实现该目的。
技术实现思路
本专利技术解决了上述问题，以及与过去的方法和装置相关联的其他问 题，并且提供了图像处理装置、成像装置、图像处理方法和计算机程序， 用于在从视频数据提取人脸图像并将所提取的人脸数据作为索引显示时， 使得能够在无需先注册对象等的情况下提取并显示人脸图像作为索引，并 且使得能够即使在视频数据中包括大量的人脸也能够高效地选择多个人人 脸并且将所选人脸作为索引显示。根据本专利技术一个实施例，提供了一种图像处理装置，包括典型人脸 提取单元，其被配置为在构成视频图像数据的一部分的图像帧中检测人脸图像，并且从检测出的人脸图像中选择将被用作索引信息的人脸图像，其 中，所述典型人脸提取单元被配置为基于在所述图像帧中检测出的每个人 脸图像的特征计算所述人脸图像的分数，并且将分数较高的检测出的人脸 图像选作索引用人脸图像。根据本专利技术另一个实施例，提供了一种成像装置，包括成像部件；以及典型人脸提取单元，其被配置为接受通过所述成像部件拍摄获得的视 频图像数据，在构成所接受的视频图像数据的一部分的图像帧中检测人脸 图像，并且从检测出的人脸图像中选择将被用作索引信息的人脸图像，其 中，所述典型人脸提取单元被配置为基于在所述图像帧中检测出的每个人 脸图像的特征计算所述人脸图像的分数，并且将分数较高的检测出的人脸 图像选作索引用人脸图像。根据本专利技术另一个实施例，提供了一种在包括典型人脸提取单元的图 像处理装置中采用的图像处理方法，该方法包括以下步骤典型人脸提取 单元在构成视频图像数据的一部分的图像帧中检测人脸图像，并且从检测 出的人脸图像中选择将被用作索引信息的人脸图像，其中，所述检测和选 择步骤包括以下步骤基于在所述图像帧中检测出的每个人脸图像的特征 计算所述人脸图像的分数，并且将分数较高的检测出的人脸图像选作索引 用人脸图像。根据本专利技术另一个实施例，提供了一种用于使包括典型人脸提取单元 的图像处理装置执行图像处理的计算机程序，该计算机程序使典型人脸提 取单元执行以下步骤在构成视频图像数据的一部分的图像帧中检测人脸 图像，并且从检测出的人脸图像中选择将被用作索引信息的人脸图像，其 中，所述检测和选择步骤包括以下步骤基于在所述图像帧中检测出的每 个人脸图像的特征计算所述人脸图像的分数，并且将分数较高的检测出的 人脸图像选作索引用人脸图像。根据本专利技术的该实施例的计算机程序是这样的计算机程序可以例如 通过存储介质或者通信介质以计算机可读形式提供给能够执行各种程序代 码的通用计算机的计算机程序。当以计算机可读形式提供这种程序时，在 计算机系统上实现根据该程序的处理。从下面结合附图对本专利技术的实施例的详细描述中，本专利技术的其他特点 和优点将变得更明显。根据本专利技术的一个实施例，在从视频图像数据中选择将被用作索引图 像的人脸图像的情形中，在图像帧中检测出的人脸的分数(例如，根据人 脸在帧内的位置的位置分数、根据人脸的大小的大小分数、根据人脸的相似程度的人脸评估值分数、以及根据人脸检测位置与先前的人脸检测帧的 差别的距离分数)被计算出，并且基于上述分数计算的合计分数较高的人 脸图像优选被用作索引。因此，可以从大量人脸出现的视频图像数据中高 效地仅选择分数较高的人脸，以便生成便于用户的人脸索引信息。附图说明图1是用于说明作为根据本专利技术一个实施例的图像处理装置的成像装 置的结构的框图2是用于说明在显示部件上显示人脸选择图标的示例性方式的图3是用于说明在显示部件上显示人脸索引视图的示例的图4是示出了在根据本专利技术一个实施例的图像处理装置中执行的数据记录序列的流程图，该数据记录序列包括人脸检测过程和索引用人脸选择过程；图5是用于说明在根据本专利技术一个实施例的图像处理装置中执行的用 于选择将经受人脸选择过程的帧的示例过程的图6是用于说明关于在根据本专利技术一个实施例的图像处理装置中执行 的人脸检测过程所检测的人脸的元信息的图7是示出了在根据本专利技术一个实施例的图像处理装置中执行的索引 人脸选择过程的流程图8是用于说明在根据本专利技术一个实施例的图像处理装置中执行的索 引人脸选择过程中用于计算距离分数的过程的细节的图9A和9B示出了根据本专利技术一个实施例的图像处理装置中示出的索 引人脸的元数据的示例结构；图10是用于说明在根据本专利技术一个实施例的图像处理装置中执行的 索引人脸选择序列的流程图，其中该索引人脸选择序列涉及个人标识；图11是用于说明在根据本专利技术一个实施例的图像处理装置中执行的 索引人脸选择序列的流程图，其中该索引人脸选择序列涉及笑容识别；图12是用于说本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：　　　　典型人脸提取单元，其被配置为在构成视频图像数据的一部分的图像帧中检测人脸图像，并且从检测出的人脸图像中选择将被用作索引信息的人脸图像，　　　　其中，所述典型人脸提取单元被配置为基于在所述图像帧中检测出的每个人脸图像的特征计算所述人脸图像的分数，并且将分数较高的检测出的人脸图像选作索引用人脸图像。

【技术特征摘要】
JP 2007-4-23 2007-1125911.一种图像处理装置，包括典型人脸提取单元，其被配置为在构成视频图像数据的一部分的图像帧中检测人脸图像，并且从检测出的人脸图像中选择将被用作索引信息的人脸图像，其中，所述典型人脸提取单元被配置为基于在所述图像帧中检测出的每个人脸图像的特征计算所述人脸图像的分数，并且将分数较高的检测出的人脸图像选作索引用人脸图像。2. 如权利要求1所述的图像处理装置，其中，所述典型人脸提取单元 还被配置为计算在所述图像帧中检测出的每个人脸图像的位置分数，并且 将位置分数较高的检测出的人脸图像选作所述索引用人脸图像，所述位置 分数的值随所述人脸图像接近所述图像帧的中央而增大。3. 如权利要求1所述的图像处理装置，其中，所述典型人脸提取单元 还被配置为计算在所述图像帧中检测出的每个人脸图像的大小分数，并且 将大小分数较高的检测出的人脸图像选作所述索引用人脸图像，所述大小 分数的值随所述人脸图像的大小增大而增大。4. 如权利要求1所述的图像处理装置，其中，所述典型人脸提取单元 还被配置为计算在所述图像帧中检测出的每个人脸图像的人脸评估值分 数，并且将人脸评估值分数分数较高的检测出的人脸图像选作所述索引用 人脸图像，所述人脸评估值分数的值随所述人脸图像的人脸相似程度增大 而增大。5. 如权利要求1所述的图像处理装置，其中，所述典型人脸提取单元 还被配置为确定在所述图像帧中检测出的人脸图像的数目是否大于在前一 人脸检测帧中检测出的人脸图像的数目，并且当在所述图像帧中检测出的 人脸图像的数目大于在前一人脸检测帧中检测出的人脸图像的数目时，将 分数较高的检测出的人脸图像选作所述索引用人脸图像。6. 如权利要求1所述的图像处理装置，其中，所述典型人脸提取单元 还被配置为标识在所述图像帧中检测出的每个人脸图像，并且优选将在前一人脸检测帧中人脸未被检测到的个人的人脸图像选作所述索引用人脸图7. 如权利要求1所述的图像处理装置，其中，所述典型人脸提取单元 还被配置为确定在所述图像帧中检测出的每个人脸图像的笑容程度，计算 每个人脸图像的笑容分数，并且将笑容分数较高的检测出的人脸图像选作 所述索引用人脸图像，所述笑容分数的值随所述人脸图像的所述笑容程度 增大而增大。8. 如权利要求1所述的图像处理装置，其中，所述典型人脸提取单元 还被配置为确定在所述图像帧中检测出的每个人脸图像的儿童人脸程度， 计算每个人脸图像的儿童人脸分数，并且将儿童人脸分数较高的检测出的 人脸图像选作所述索引用人脸图像，所述儿童人脸分数的值随所述人脸图 像的所述儿童人脸程度增大而增大。9. 如权利要求1所述的图像处理装置，其中，所述典型人脸提取单元还被配置为基于在所述图像帧中检测出的每个人脸图像的不同特征计算所 述人脸图像的多种类型的分数，基于所述多种类型的分数计算每个人脸图 像的合计分数，并且将合计分数较高的检测出的人脸图像选作所述索引用 人脸图像。10. 如权利要求1所述的图像处理装置，其中，所述典型人脸提取单元还被配置为生成被选作所述索引用人脸图像的人脸图像的元数据，并且 将所述元数据记录在记录介质中。11. 如权利要求IO所述的图像处理装置，其中，所述元数据包括与被 选作所述索引用人脸图像的人脸图像相对应的帧号、人脸位置信息和人脸 大小信息。12. 如权利要求10或11所述的图像处理装置，其中，所述元数据包 括与被选作所述索引用人脸图像的人脸图像相对应的分数信息。13. —种成像装置，包括-成像部件；以及典型人脸提取单元，其被配置为接受通过所述成像部件拍摄获得的视 频图像数据，在构成所接受的视频图像数据的一部分的图像帧中检测人脸3图像，并且从检测出的人脸图像中选择将被用作索引信息的人脸图像，其中，所述典型人脸提取单元被配置为基于在所述图像帧中检测出的 每个人脸图像的特征计算所述人脸图像的分数，并且将分数较高的检测出 的人脸图像选作索引用人脸图像。14. 一种在包括典型人脸提取单元的图像处理装置中采用的图像处理 方法，该方法包括以下步骤所述典型人脸提取单元在构成视频图像数据的一部分的图像帧中检测 人脸图像，并且从检测出的人脸图像中选择将被用作索引信息的人脸图 像，其中，所述检测和选择步骤包括以下步骤基于在所述图像帧中检测 出的每个人脸图像的特征计算所述人脸图像的分数，并且将分数较高的检 测出的人脸图像选作...

【专利技术属性】
技术研发人员：福岛正刚，柏木繁，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]