图像处理设备和图像处理方法技术

本发明专利技术提供了：稳定成像状态推断单元，其进行推断状态是否为稳定成像状态的稳定成像状态推断处理；和主要被摄对象评估单元，其进行主要被摄对象评估处理。如果利用稳定成像状态推断处理，推断所述状态为稳定成像状态，则主要被摄对象评估单元输出主要被摄对象评估处理的结果。

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备和图像处理方法
本公开涉及进行关于图像中的主要被摄对象的处理的图像处理设备，图像处理方法和程序。引文列表专利文献PTL1：未经审查的日本专利申请公开No.2011-166305PTL2：未经审查的日本专利申请公开No.2011-146826PTL3：未经审查的日本专利申请公开No.2011-146827PTL4：未经审查的日本专利申请公开No.2011-160379
技术介绍
近年的数字静态照相机和数字摄像机通常具有脸部检测功能，并且具有最佳地调整诸如相机的焦点和亮度之类的参数，以便匹配脸部的位置或区域的功能。同时，PTL1公开一种其中通过用户的指定，在拍摄图像中选择作为被摄对象跟踪目标的“主要被摄对象”的方法。另外，例如，如果使用在PTL2、3和4中公开的技术，那么能够实现被摄对象跟踪，以便围住任何被摄对象的全身轮廓。此外，还存在一种其中利用自动聚焦/自动曝光等检测/跟踪拍摄图像中的期望区域，并控制光学系统等，以致所述区域变得最适宜的功能。如上所述，已知其中跟踪被用户指定为主要被摄对象的图像，比如诸如脸部之类的图像区域，或者聚焦脸部区域的技术。
技术实现思路
同时，在当前状态下，作为拍摄图像中的跟踪或聚焦目标的期望区域，即，“主要被摄对象”是由摄影者用任何方法，从获得自各种检测器的“多个候选区域”中选择一个候选者来确定的。例如，利用其中通过利用触摸面板，从反映在显示成画面的预览图像(在非快门操作时间之时显示的被摄对象监视图像)中的多个脸部中，选择任意脸部的操作，选择主要被摄对象。另一方面，在用户指定的定时，例如快门半按下等时候，位于预定区域的被摄对象被选为主要被摄对象。然而，在实际使用情况下，当考虑这种用户界面时，诸如“摄影者进行的主要被摄对象的选择”之类的操作本身通常困难。例如，用户期望使用该功能，以便一直聚焦于来回移动的被摄对象，不过，用户难以一边拿着照相机，对准该被摄对象，一边选择该被摄对象。例如，归因于用户对被摄对象的变化或移动的反应速度，上述指定是困难的。例如，在预览图像的画面上，不能很好地指定来回移动的被摄对象的情况就是如此。另外，在用户把照相机拿在他/她的手中，并对着被摄对象地选择被摄对象的状况下，用户用手指选择主要被摄对象的动作本身就困难。此外，归因于配置触摸面板的显示屏幕的分辨率，用户可能难以选择被摄对象。此外，归因于配置触摸面板的显示屏幕上的被摄对象大小，或者用户的手指的大小或粗细，可能不能适当地指定期望的被摄对象。此外，归因于照相机系统上的时滞，例如，实际景象和拍摄图像的预览图像之间的时滞，用户可能难以适当地指定被摄对象。另外，当在拍摄或记录运动图像的过程中，进行这种操作时，由选择主要被摄对象的动作引起的图像模糊被原样记录，或者在主要被摄对象离开屏幕，或主要被摄对象因临时遮蔽而消失时，即，在跟踪失败时，被迫进行重新选择的动作。如上所述，在小型照相机中，选择主要被摄对象的动作本身在需要该动作的许多应用情况下都较为困难，从而会给摄影者压力。于是，本公开的目的是实现一种即使诸如摄影者之类的用户不进行选择被摄对象的动作，也可在适当的时候，把用户期望的目标被摄对象确定为主要被摄对象的技术。本公开的图像处理设备包括稳定成像状态估计部件，所述稳定成像状态估计部件进行估计是否出现稳定成像状态的稳定成像状态估计处理；和主要被摄对象判定部件，所述主要被摄对象判定部件进行主要被摄对象判定处理，当由于稳定成像状态估计处理，估计出现稳定成像状态时，还输出主要被摄对象判定处理的结果。本公开的图像处理方法包括稳定成像状态估计步骤，所述稳定成像状态估计步骤进行估计是否出现稳定成像状态的稳定成像状态估计处理；进行主要被摄对象判定处理的主要被摄对象判定步骤；和当由于稳定成像状态估计处理，估计出现稳定成像状态时，输出主要被摄对象判定处理的结果的输出步骤。本公开的程序使算术处理设备执行所述各个步骤。按照本公开的技术，进行对于图像数据，自动判定主要被摄对象的主要被摄对象判定处理。作为主要被摄对象判定处理的预先步骤的处理，进行估计是否出现稳定成像状态的稳定成像状态估计处理。另外，在估计出现稳定成像状态的情况下，进行主要被摄对象判定处理，以便输出判定结果，或者输出当估计出现稳定成像状态时获得的主要被摄对象判定结果。稳定成像状态是由于被摄对象图像稳定，因此适合于进行主要被摄对象判定处理的状态。按照本公开，当出现稳定成像状态时，输出拍摄图像中的主要被摄对象的判定结果。因而，不需要诸如摄影者之类的用户进行选择主要被摄对象的动作，并且主要被摄对象信息可在适当的时机被使用。附图说明图1是图解说明按照本公开的实施例的图像处理设备的结构例子的方框图。图2是图解说明按照实施例的图像处理设备中的主要被摄对象判定处理的流程图。图3是图解说明按照实施例的成像设备的方框图。图4是图解说明按照实施例的详细主要被摄对象判定处理的流程图。图5是图解说明按照实施例的候选图像边框和判定基准点的示图。图6是图解说明按照实施例的候选图像边框和判定基准点之间的距离的示图。图7是图解说明按照实施例的基于位置状态的稳定存在度的判定的示图。图8是图解说明按照实施例的具体主要被摄对象判定处理的流程图。图9是图解说明按照实施例的稳定成像状态估计处理的执行定时的示图。图10是图解说明按照实施例的稳定成像状态估计处理的执行定时的示图。图11是图解说明按照实施例的处理例子1的流程图。图12是图解说明按照实施例的处理例子2的流程图。图13是图解说明按照实施例的处理例子2中的操作的示图。图14是图解说明按照实施例的处理例子3的流程图。图15是图解说明按照实施例的处理例子3中的操作的示图。图16是图解说明按照实施例的处理例子4的流程图。图17是图解说明按照实施例的处理例子4中的操作的示图。图18是图解说明按照实施例的处理例子5的流程图。图19是图解说明按照实施例的处理例子5中的全局向量的示图。图20是图解说明按照实施例的处理例子5中的操作的示图。图21是图解说明按照实施例的预定时间的变更的示图。图22是图解说明按照实施例的预定时间变更处理的流程图。图23是图解说明按照实施例的图像处理设备中的另一种主要被摄对象判定处理的流程图。图24是图解说明其中把本公开应用于按照实施例的计算机设备的情况的方框图。具体实施方式下面，按照以下顺序说明实施例。<1.图像处理设备的结构><2.成像设备的结构><3.主要被摄对象判定处理><4.稳定成像状态估计处理>[4-1：稳定成像状态估计处理的执行时机][4-2：处理例子1][4-3：处理例子2][4-4：处理例子3][4-5：处理例子4][4-6：处理例子5][4-7：估计处理中使用的预定时间变更处理]<5.图像处理设备中的另一种处理例子><6.对程序和计算机设备的应用><7.变形例>另外，下面将提及在说明中使用的用语“稳定成像状态”，“稳定存在度”和“成像视野”的含义。“稳定存在度”是充当自动主要被摄对象判定的指标的值。换句话说，稳定存在本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：稳定成像状态估计部件，所述稳定成像状态估计部件进行估计是否出现稳定成像状态的稳定成像状态估计处理；和主要被摄对象判定部件，所述主要被摄对象判定部件进行主要被摄对象判定处理，并且在由于稳定成像状态估计处理估计出现稳定成像状态时，还输出主要被摄对象判定处理的结果。

【技术特征摘要】
【国外来华专利技术】2012.03.09 JP 2012-0524531.一种图像处理设备，包括：稳定成像状态估计部件，所述稳定成像状态估计部件进行估计是否出现稳定成像状态的稳定成像状态的估计处理；和主要被摄对象判定部件，所述主要被摄对象判定部件在由于稳定成像状态估计处理估计出现稳定成像状态时，开始进行主要被摄对象判定处理，并输出主要被摄对象判定处理的结果，以及其中主要被摄对象判定部件从出现稳定成像状态之后的多个输入图像帧中检测充当主要被摄对象的候选者的候选图像，根据所述候选图像在所述多个输入图像帧中的位置状态计算每个候选图像在所述多个输入图像帧中的稳定存在度，并利用各个候选图像的稳定存在度从候选图像中判定主要被摄对象。2.按照权利要求1所述的图像处理设备，其中在稳定成像状态估计处理中，稳定成像状态估计部件基于成像视野变动的检测结果进行稳定成像状态的估计处理。3.按照权利要求2所述的图像处理设备，其中稳定成像状态估计部件利用检测生成拍摄图像的成像设备的运动的传感器的输出来检测所述成像视野变动。4.按照权利要求2所述的图像处理设备，其中稳定成像状态估计部件利用检测生成拍摄图像的成像设备的成像光学系统的运动的传感器的输出，检测所述成像视野变动。5.按照权利要求2所述的图像处理设备，其中稳定成像状态估计部件利用用于控制生成拍摄图像的成像设备的操作的指令值，检测所述成像视野变动。6.按照权利要求2所述的图像处理设备，其中稳定成像状态估计部件利用关于拍摄图像数据的分析处理的结果，检测所述成像视野变动。7.按照权利要求6所述的图像处理设备，其中作为针对拍摄图像数据的分析处理，稳定成像状态估计部件检测拍摄图像的运动。8.按照权利要求1所述的图像处理设备，其中在所...

【专利技术属性】
技术研发人员：木下雅也，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP