图像处理装置和安装了它的摄像装置、图像处理方法制造方法及图纸

本发明专利技术提供一种图像处理装置和安装了它的摄像装置、图像处理方法。想要将对象检测技术有效地用于各种各样的应用。编码部（２４）对动图像进行编码。对象检测部从动图像所包含的图像内检测出对象，并按图像单位生成至少包含同一图像内所检测出的对象的数量的对象检测信息。流生成部（２６）在基于编码部（２４）所生成的编码数据生成编码流时，将对象检测信息记述在编码流内的预定区域中。

【技术实现步骤摘要】

本专利技术涉及能够进行面部检测等特定的对象检测的图像处理装置及安装了它的 摄像装置、图像处理方法。
技术介绍
数码摄像机正广泛普及，目前， 一般用户已能很轻易地拍摄动图像。 一般用户以 孩子的运动会等人物为被拍摄物体的情况较多。专利文献1公开了一种以高分辨率仅记录最常拍摄人物的面部的图像的技术。 (专利文献l)日本特开2006 — 254308号公报
技术实现思路
(专利技术所要解决的课题) 如上述专利文献1所公开的那样，面部等特定对象的检测技术正被用于记录容量 的最优化或自动对焦控制。本专利技术人开发出这些用途以外的利用对象检测技术的有效 用途。本专利技术是鉴于这样的情况而设计的，其总体目的在于提供一种能利用对象检测技 术实现有效的应用的图像处理装置及安装了它的摄像装置、图像处理方法。 (用于解决课题的手段)本专利技术一个方案的图像处理装置包括编码部，对动图像进行编码；流生成部， 基于编码部所生成的编码数据生成编码流；对象检测部，从动图像所包含的图像内检测出特定的对象，按图像单位生成至少包含同一图像内所检测出的对象的数量的对象 检测信息。流生成部将对象检测信息记述在编码流内的预定的区域中。 〔专利技术效果)通过本专利技术，能够利用对象检测技术实现有效的应用。附图说明图1是实施方式1的摄像装置的结构图。图2的(a)是检索满足预定的检索条件的帧的位置的例子；图2的(b)是单纯 显示图像内的面部的数量的例子；图2的(c)是将图像内的面部的数量分类成正面 面部和侧面面部来显示的例子。图3是表示实施方式1中的摄像装置的显示例1的图。图4是表示实施方式1中的摄像装置的显示例2的图。图5是表示实施方式1中的摄像装置的显示例3的图。图6是实施方式2的摄像装置的结构图。图7是实施方式3的图像再现装置的结构图。图8表示基于实施方式1、 2的摄像装置所拍摄到的图像，用各种参数生成面部 检测信息的情况的一例。图9表示实施方式1、 2的摄像装置的显示部或实施方式3的图像再现装置的显 示部所显示的操作画面的一例。图10表示实施方式1、 2的摄像装置的显示部或实施方式3的图像再现装置的显 示部所显示的摘要(digest)设定画面的一例。具体实施例方式首先，在详细说明本专利技术之前，先说明代表性的实施方式。 本专利技术一个方案的图像处理装置包括编码部，对动图像进行编码；流生成部， 基于编码部所生成的编码数据生成编码流；对象检测部，从动图像所包含的图像内检 测出特定的对象，按图像单位生成至少包含同一图像内所检测出的对象的数量的对象 检测信息。流生成部将对象检测信息记述在编码流内的预定的区域中。图像(picture) 是编码的单位，该概念中也可以包含帧、场、VOP (Video Object Plane:视频对象面) 等。特定的对象可以是人类的面部，也可以是人类以外的动物的面部，还可以是 汽车等物体。根据该方案，通过将对象检测信息记述在编码流内，能够利用该对象检测信息实 现检索处理等有效的应用。除对象的数量外，对象检测部还可以将对象的大小、对象的位置、对象的超分辨处理用的冗余数据的有无、是否检测到用户所登录的对象、以及所检测出的对象的准 确度中的至少一者包含在对象检测信息中。作为用户所登录的对象，例如是特定人物 的面部或宠物的面部等。当上述特定的对象是面部时，对象检测部可以将作为对象而检测出的面部的数量 分成正面面部的数量和侧面面部的数量地包含在对象检测信息中。这里，在将面部设 定为人的面部时，不论是谁的面部，只要是人的面部就计数一个。在上述特定的对象是面部时，除作为对象而检测出的面部的数量外，对象检测部 还可以将作为对象而检测出的面部的笑脸度包含在对象检测信息中。流生成部可以将对象检测信息记述在编码流内的对应的图像的头区域或者用户 允许写入的区域中。流生成部可以在对象检测信息所包含的对象的数量发生变化时， 将该对象检测信息记述在对应的图像的头区域或用户允许写入的区域内，在对象检测 信息所包含的对象的数量没有变化时，跳过该对象检测信息的记述处理。由此，能够 减少对象检测信息的附加所需要的容量。本专利技术的另一方案也是一种图像处理装置。该装置包括编码部，对动图像进行 编码；对象检测部，从动图像所包含的图像内检测出特定的对象，按图像单位生成至 少包含同一图像内所检测出的对象的数量的对象检测信息；文件生成部，基于编码部 所生成的编码数据生成动图像文件，并与该动图像文件不同地，基于对象检测部所生 成的对象检测信息生成对象检测信息文件。根据该方案，通过生成对象检测信息文件，能够利用该文件实现检索处理等有效 的应用。本专利技术的再一个方案是一种摄像装置。该装置包括拍摄动图像的摄像元件；对 摄像元件所拍摄的动图像进行处理的上述任一方案的图像处理装置。 通过该方案，能够构建可实现检索处理等有效的应用的摄像装置。 可以还包括显示部，显示由上述图像处理装置处理后的动图像；控制部，使动 图像所包含的图像与对应于该图像的对象检测信息相关联地显示在显示部中。控制部 可以使所要显示的图像与对应于该图像的对象检测数相关联地显示。由此，能够辅助 用户的检索作业。可以还包括参照对象检索信息，检索满足所指定的条件的图像的控制部。由此， 能够提高检索效率。本专利技术的另一方案也是一种图像处理装置。该装置是对被编码了的动图像进行解 码并显示的图像处理装置，包括控制部，取得按图像单位所生成的、与在动图像所 包含的图像内检测出的特定的对象相关的对象检测信息，并基于该对象检测信息，在 动图像的时间轴上生成可识别包含对象的图像的标识；显示部，在画面内显示控制部 所生成的标识。对象检测信息可以在动图像被编码或解码时生成。对象检测信息中包括在同一图像内检测出的对象的数量、对象的大小、对象的位 置、对象的超分辨处理用的冗余数据的有无、对象(被设定为面部时)的笑脸度、是 否检测到用户所登录的对象、以及所检测出的对象的准确度中的至少一者。当对象检测信息中包括在同一图像内所检测出的对象的数量时，控制部可以在动 图像的时间轴上生成可识别对象的数量发生变化的位置的标识。例如，可以用条来显 示动图像的全部再现时间，并在对象的数量发生变化的位置显示指示标(index)。另 外，也可以在指示标的附近显示对象的数量。当对象是人物，相区分地记录了正面面 部和侧面面部的数量时，可以针对各个正面面部和侧面面部分别显示该指示标和面部 的数量。当对象检测信息中包括在图像内所检测出的对象的大小时，控制部可以在动图像 的时间轴上生成可识别对象的大小大于预定的设定值的图像的位置的标识。例如，可 以用条来显示动图像的全部再现时间，并在对象的大小大于预定的设定值的图像的位 置显示指示标。预定的设定值可由用户调整。例如，可以用条来显示动图像的全部再 现时间，并在检测到对象的位置显示指示标。当对象检测信息中包括在图像内所检测出的对象的超分辨处理用的冗余数据的 有无时，控制部可以在动图像的时间轴上生成可识别能进行使用了该冗余数据的超分 辨处理的图像的位置的标识。例如，可以用条来显示动图像的全部再现时间，并在能 进行使用了上述冗余数据的超分辨处理的图像的位置显示指示标。另外，当能进行使 用了该冗余数据的超分辨处理的图像连续时，可以在该条上用不同于其他部分的颜色 或本文档来自技高网...

【技术保护点】
一种图像处理装置，其特征在于，包括：　　　　编码部，对动图像进行编码；　　　　流生成部，基于上述编码部所生成的编码数据生成编码流；以及　　　　对象检测部，从上述动图像所包含的图像内检测出特定的对象，按图像单位生成至少包含同一图像内所检测出的上述对象的数量的对象检测信息；　　　　上述流生成部将上述对象检测信息记述在上述编码流内的预定区域中。

【技术特征摘要】
JP 2007-3-30 2007-093405;JP 2008-2-27 2008-046561;1.一种图像处理装置，其特征在于，包括编码部，对动图像进行编码；流生成部，基于上述编码部所生成的编码数据生成编码流；以及对象检测部，从上述动图像所包含的图像内检测出特定的对象，按图像单位生成至少包含同一图像内所检测出的上述对象的数量的对象检测信息；上述流生成部将上述对象检测信息记述在上述编码流内的预定区域中。2. 根据权利要求1所述的图像处理装置，其特征在于除上述对象的数量外，上述对象检测部还将上述对象的大小、上述对象的位置、 上述对象有无超分辨处理用的冗余数据、是否检测到用户所登录的对象、以及所检测 出的对象的准确度中的至少一者包含在上述对象检测信息中。3. 根据权利要求1或2所述的图像处理装置，其特征在于 上述特定的对象是面部，上述对象检测部将作为上述对象而检测出的面部的数量分成正面面部的数量和 侧面面部的数量地包含在上述对象检测信息中。4. 根据权利要求1或2所述的图像处理装置，其特征在于 上述特定的对象是面部，除作为上述对象而检测出的面部的数量外，上述对象检测部还将作为上述对象而 检测出的面部的笑脸度包含在上述对象检测信息中。5. 根据权利要求1所述的图像处理装置，其特征在于上述流生成部将上述对象检测信息记述在上述编码流内的对应的图像的头区域、 或者用户允许写入的区域中。6. 根据权利要求5所述的图像处理装置，其特征在于上述流生成部在上述对象检测信息所包含的上述对象的数量发生变化时，将该对 象检测信息记述在对应的图像的头区域或用户允许写入的区域内，在上述对象检测信 息所包含的上述对象的数量没有变化时，跳过该对象检测信息的记述处理。7. —种图像处理装置，其特征在于，包括 编码部，对动图像进行编码；对象检测部，从上述动图像所包含的图像内检测出特定的对象，按图像单位生成至少包含同一图像内所检测出的上述对象的数量的对象检测信息；以及文件生成部，基于上述编码部所生成的编码数据生成动图像文件，并与该动图像 文件不同地、另行基于上述对象检测部所生成的对象检测信息生成对象检测信息文 件。8. —种摄像...

【专利技术属性】
技术研发人员：冈田茂之，森次男，藤田日出人，山田晶彦，
申请(专利权)人：三洋电机株式会社，
类型：发明
国别省市：JP[日本]