图像处理设备、摄像设备和控制方法技术

本发明专利技术涉及一种图像处理设备、摄像设备和控制方法。在本发明专利技术的图像处理设备中，在图像信号中选择多个被摄体，并且指定用于聚焦于所选择的各被摄体的被摄体距离。然后设置由所指定的被摄体距离所定义的被摄体距离范围。然后，基于该图像信号，图像处理设备生成聚焦于在所设置的被摄体距离范围中要聚焦的各被摄体的重建图像。

【技术实现步骤摘要】

本专利技术涉及一种，尤其涉及用于在拍摄之后基于输出数据来生成在任意被摄体距离处聚焦的图像的技术。
技术介绍
近年来，提出了如下技术:在诸如数字照相机等的摄像设备中，在拍摄期间将光的强度分布和行进方向记录作为输出数据，从而使得可以在记录之后基于该输出数据来生成焦点位置位于任意像面上的图像。Ren.Ng 等人，“Light Field Photography with a Hand-held PlenopticCamera”，Stanford University Computer Science Tech Report CTSR, 2005-02 公开了如下方法(光场摄影):通过使穿过摄像镜头的不同分割光瞳区域的光束经由微透镜阵列在图像传感器的像素(光电转换元件)上成像，来单独记录从各方向入射的光。在这样所获得的输出数据(光场数据、以下称为“LF数据”)中，相邻像素记录从不同方向入射的光束。通过从与各微透镜相关联的像素中提取来自同一方向的光束，可以基于LF数据来生成从该方向拍摄到的图像。此外，通过设置焦点位置、并且将记录了穿过包括该焦点位置的焦平面中的一个点的光束的像素的输出相加，可以在拍摄之后虚拟地生成(重建)在所指定的焦点位置(像面)处聚焦的图像的像素。此外，通过仅使用LF数据中的、接收到穿过有限范围的分割光瞳区域的光束的像素，可以获得与在摄像光学系统中应用光圈的情况等同的效果。具体地，通过仅使用同对应于出射光瞳的中央的分割光瞳区域相对应的像素来生成重建图像，还可以生成景深深的且在宽范围的被摄体距离处聚焦的图像。然而，在如上所述生成深景深的重建图像的情况下，存在除期望被摄体以外的被摄体也聚焦的情况。例如，正通过作为期望被摄体的人物的前方或后方的行人等也有可能聚焦。特别地，在重建图像中，与期望被摄体相比、拍摄期间位于离摄像设备更近的位置处的被摄体的存在感较高。
技术实现思路
本专利技术是考虑到传统技术的这些问题而作出的。本专利技术提供用于生成良好地聚焦于多个期望被摄体的图像的。本专利技术的第一方面提供一种图像处理设备，包括:获得部件，用于获得如下数据，根据该数据能够生成聚焦于任意像面的重建图像；显示部件，用于将图像显示到显示介质；选择部件，用于选择所述显示部件所显示的图像上的多个被摄体；设置部件，用于指定与所述选择部件所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成部件，用于基于所述数据来生成聚焦于与所述设置部件所设置的聚焦范围相对应的各被摄体的重建图像。本专利技术的第二方面提供一种摄像设备，包括:摄像部件，用于输出如下数据，根据该数据能够生成聚焦于任意像面的重建图像；显示部件，用于将图像显示到显示介质；选择部件，用于选择所述显示部件所显示的图像上的多个被摄体；设置部件，用于指定与所述选择部件所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成部件，用于基于所述数据来生成聚焦于与所述设置部件所设置的聚焦范围相对应的各被摄体的重建图像。本专利技术的第三方面提供一种图像处理设备的控制方法，包括以下步骤:获得步骤，在该步骤中，所述图像处理设备的获得部件获得如下数据，根据该数据能够生成聚焦于任意像面的重建图像；显示步骤，在该步骤中，所述图像处理设备的显示部件将图像显示到显示介质；选择步骤，在该步骤中，所述图像处理设备的选择部件选择所述显示步骤中所显示的图像上的多个被摄体；设置步骤，在该步骤中，所述图像处理设备的设置部件指定与所述选择步骤中所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成步骤，在该步骤中，所述图像处理设备的生成部件基于所述数据来生成聚焦于与所述设置步骤中所设置的聚焦范围相对应的各被摄体的重建图像。本专利技术的第四方面提供一种摄像设备的控制方法，包括以下步骤:摄像步骤，在该步骤中，所述摄像设备的摄像部件输出如下数据，根据该数据能够生成聚焦于任意像面的重建图像；显示步骤，在该步骤中，所述摄像设备的显示部件将图像显示到显示介质；选择步骤，在该步骤中，所述摄像设备的选择部件选择所述显示步骤中所显示的图像上的多个被摄体；设置步骤，在该步骤中，所述摄像设备的设置部件指定与所述选择步骤中所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成步骤，在该步骤中，所述摄像设备的生成部件基于所述数据来生成聚焦于与所述设置步骤中所设置的聚焦范围相对应的各被摄体的重建图像。通过以下参考附图对典型实施例的说明，本专利技术的其它特征将变得明显。【附图说明】图1是示出根据本专利技术实施例的数字照相机100的功能结构的框图。图2是用于说明根据本专利技术实施例的微透镜阵列105和摄像单元106之间的关系的图。图3是用于说明根据本专利技术实施例的、穿过出射光瞳301的各区域的光束和用于对这些光束进行光电转换的光电转换元件之间的关系的图。图4A和4B是示出根据本专利技术实施例的、出射光瞳301的各区域和与各微透镜相对应的光电转换元件之间的对应关系的图。图5是用于说明根据本专利技术实施例的、穿过重建面中的指定位置的光束所具有与摄像面中的穿过位置的关系的图。图6是示出根据本专利技术实施例的数字照相机100中所执行的重建图像生成处理的流程图。图7是示出根据本专利技术实施例的数字照相机100中所执行的被摄体选择处理的流程图。图8A和SB是用于说明根据本专利技术实施例的对象LF数据的图。图9是示出根据本专利技术实施例的D区域的分布的直方图。图10A、10B、10C和IOD是用于说明根据本专利技术实施例的输出图像的生成的图。【具体实施方式】以下将参考附图来详细说明本专利技术的例示实施例。注意，以将本专利技术应用于作为图像处理设备的一个示例的如下数字照相机为例来说明以下实施例，其中该数字照相机可以在拍摄之后基于LF数据来生成聚焦于位于任意被摄体距离处的被摄体的图像。然而，本专利技术可应用于可以基于LF数据来生成聚焦于位于任意被摄体距离处的被摄体的图像的任何装置。此外，如下定义本说明书中所使用的以下术语。.“光场(LF)数据”LF数据是指从本实施例的数字照相机100的摄像单元106输出的图像信号。该图像信号的各像素表示与所穿过的摄像光学系统104的光瞳区域和入射方向的组合不同的光束相对应的信号强度。LF数据有时还被称为“光线空间信息”。.“重律图像”重建图像是根据LF数据所生成的并且聚焦于位于任意被摄体距离处的被摄体的图像。具体地，通过根据与要生成图像的被摄体距离相对应的焦平面(即，重建面)中的像素配置而对与穿过各像素的光束相对应的LF数据中的像素的像素值进行合成，来获得该焦平面中的像素的像素值。重建面中的像素配置是基于在图像传感器位于重建面的情况下要入射的光束的入射方向所确定的。可以通过获得像素配置中的与一个微透镜相对应的像素的像素值的总和来生成重建图像的一个像素。数字照相机100的结构图1是示出根据本专利技术的本实施例的数字照相机100的功能结构的框图。控制单元101例如是CPU，并且控制数字照相机100的各块的操作。具体地，控制单元101通过读出存储在R0M102中的后面所述的拍摄处理或再聚焦运动图像生成处理所用的操作程序、将该操作程序展开至RAM103并执行本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：获得部件，用于获得如下数据，根据该数据能够生成聚焦于任意像面的重建图像；显示部件，用于将图像显示到显示介质；选择部件，用于选择所述显示部件所显示的图像上的多个被摄体；设置部件，用于指定与所述选择部件所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成部件，用于基于所述数据来生成聚焦于与所述设置部件所设置的聚焦范围相对应的各被摄体的重建图像。

【技术特征摘要】
2013.02.07 JP 2013-0226431.一种图像处理设备，包括: 获得部件，用于获得如下数据，根据该数据能够生成聚焦于任意像面的重建图像； 显示部件，用于将图像显示到显示介质； 选择部件，用于选择所述显示部件所显示的图像上的多个被摄体； 设置部件，用于指定与所述选择部件所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及 生成部件，用于基于所述数据来生成聚焦于与所述设置部件所设置的聚焦范围相对应的各被摄体的重建图像。2.根据权利要求1所述的图像处理设备，其中，所述生成部件针对所述重建图像中包括的与所述聚焦范围相对应的各被摄体的区域，通过对为了使该区域的被摄体聚焦而选择的所述数据的像素值进行相加来生成各像素。3.根据权利要求1所述的图像处理设备，其中，所述生成部件生成由所述设置部件所设置的聚焦范围来定义景深的重建图像。4.根据权利要求1所述的图像处理设备，其中， 所述数据是摄像设备所获得的图像信号，其中在所述图像信号中，各像素与所述摄像设备的摄像光学系统中的光束所穿过的分割光瞳区域和入射方向的组合不同的光束相对应， 所述图像处理设备还包括分析部件，所述分析部件用于针对两个不同的分割光瞳区域中的各分割光瞳区域，使用所述图像信号中的与穿过同一分割光瞳区域的光束相对应的像素来生成图像，并且基于所生成的两种类型的图像之间的差来分析所述图像信号中包括的各被摄体的距离，以及 其中，所述设置部件参考所述分析部件所进行的分析的结果，来指定用于聚焦于所述多个被摄体中的各被摄体的聚焦范围。5.根据权利要求2所述的图像处理设备，其中，所述生成部件针对所述重建图像中包括的不与所述聚焦范围相对应的各被摄体的区域，通过对为了不使该区域的被摄体聚焦而选择的所述数据的像素值进行相加来生成各像素。6.根据权利要求1所述的图像处理设备，其中， 所述生成部件生成聚焦于预定焦点位置处的被摄体的选择重建图像，以及所述选择部件接收在所述生成部件所生成的所述选择重建图像中对所述多个被摄体中的各被摄体的...

【专利技术属性】
技术研发人员：山田惠司，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP