图像处理装置，控制图像处理装置的方法和程序制造方法及图纸

本公开涉及图像处理装置，控制图像处理装置的方法和程序。所述图像处理装置包括焦点区域设定部分，深度获取部分和模糊处理部分。焦点区域设定部分把多个区域中的每个区域设定成焦点区域，所述多个区域中的每个区域意图在被摄物体的拍摄图像中要保持焦点对准状态。深度获取部分获取与图像中的每个像素相关的被摄物体的深度。模糊处理部分把图像中的每个像素设定为对象像素，并按照对应于对象像素的深度和对应于每个焦点区域的深度之间的各个深度差分绝对值的最小值，对对象像素进行模糊处理。

【技术实现步骤摘要】
图像处理装置，控制图像处理装置的方法
本公开涉及图像处理装置，控制图像处理装置的方法，和使计算机能够执行所述方法的程序。更具体地说，本公开涉及能够进行模糊处理的图像处理装置，控制图像处理装置的方法，和使计算机能够执行所述方法的程序。
技术介绍
近年来，已广泛使用能够测量待拍摄对象的深度的摄像设备。测量深度的方法的例子包括离焦深度(DFD)法，立体匹配法等等。在DFD法中，分析图像中的被摄物体的模糊度，并根据模糊度和深度之间的关系，测量从摄像设备到被摄物体的深度。在立体匹配法中，从基准图像和参考图像中检测视差，根据视差和深度之间的关系，测量从摄像设备到被摄物体的深度。已提出一种利用上述方法，测量从摄像设备到被摄物体的深度，并且在使主被摄物体保持焦点对准的状态下，按照深度对主被摄物体的背景进行模糊处理的摄像设备(例如，参见日本特开2003-37767号公报)。通过按照深度进行模糊处理，生成透视感增强的图像。这种模糊处理通常用于以肖像照片中的背景为衬托，清楚地表现人物。在装有受光面积小的摄像元件的摄像设备中，由于摄像元件的特性的缘故，拍摄模糊较小的图像，从而这种模糊处理通常用于增强图像的透视感。
技术实现思路
但是，在上述现有技术中，当两个以上的区域被设定成在模糊处理中保持焦点对准状态时(下面把所述区域称为“焦点区域”)，可能不能表现自然的透视感。例如，假定较近被摄物体和较远被摄物体的两个区域被设定成焦点区域，并且使背景模糊。当按照沿着深度方向离较近被摄物体的距离来模糊背景时，未被模糊的较远被摄物体和模糊的背景之间的边界变得不自然。另一方面，当按照离较远被摄物体的距离来模糊背景时，未被模糊的较近被摄物体和模糊的背景之间的边界变得不自然。结果，当设定多个焦点区域时，存在不能表现自然的透视感的问题。鉴于上述情况，做出了本公开。理想的是提供一种即使当设定多个焦点区域时，也能够生成表现更自然透视感的图像的技术。按照本公开的一个实施例，提供一种图像处理装置，控制所述图像处理装置的方法，和使计算机能够执行所述方法的程序。图像处理装置包括焦点区域设定部分，用于把被摄物体的拍摄图像中要保持焦点对准（infocus）的多个区域中的每个区域设定成焦点区域，深度获取部分，用于与图像中的每个像素相关地获取被摄物体的深度，和模糊处理部分，用于把图像中的每个像素设定为对象像素（targetpixel），并按照对应于对象像素的深度和对应于每个焦点区域的深度之间的各个深度差分绝对值的最小值，对对象像素进行模糊处理。因此，能够按照对应于对象像素的深度和对应于多个焦点区域中的每一个的深度之间的各个深度差分绝对值的最小值，对对象像素进行模糊处理。在本公开的实施例中，焦点区域设定部分包括候选区域提取部分，用于提取将成为图像中的候选焦点区域的多个区域中的每一个，作为候选区域，和候选区域选择部分，用于选择提取的候选区域当中的多个候选区域，并把所述多个候选区域中的每一个设定为焦点区域。从而，在提取的候选区域中选择的多个候选区域中的每一个可被设定为焦点区域。在本公开的实施例中，候选区域提取部分识别图像中的给定物体的拍摄区域，并提取该区域作为候选区域。于是，物体的拍摄区域可被提取成候选区域。在本公开的实施例中，候选区域提取部分识别图像中的面部的拍摄区域，并提取该区域作为候选区域。结果，面部的拍摄区域可被提取成候选区域。在本公开的实施例中，候选区域提取部分包括构图决定部分，用于决定定义被摄物体在图像中的布置的构图，和候选区域提取处理部分，用于根据决定的构图，提取多个区域作为候选区域。从而，可根据决定的构图，提取候选区域。在本公开的实施例中，焦点区域设定部分还包括优先级设定部分，用于对提取的候选区域设定候选区域的选择优先级，候选区域选择部分根据设定的优先级，选择候选区域。从而，能够根据设定的优先级，选择候选区域。在本公开的实施例中，优先级设定部分登记给定被摄物体的拍摄图像，并根据登记的图像和候选区域之间的相似性，对候选区域设定优先级。从而，可根据登记的图像和候选区域之间的相似性，设定优先级。在本公开的实施例中，优先级设定部分根据候选区域的面积设定优先级。因而，可根据候选区域的面积，设定优先级。在本公开的实施例中，优先级设定部分根据与候选区域中的任意一个像素对应的深度设定优先级。从而，可根据与候选区域中的任意一个像素对应的深度，设定优先级。在本公开的实施例中，当与候选区域中的任何一个像素对应的深度更接近获得的深度的最大值或最小值时，优先级设定部分把候选区域的优先级设定成更高。于是，当候选区域的深度更接近获得的深度的最大值或最小值时，候选区域的优先可级被设定成更高。在本公开的实施例中，图像包括供获取深度之用的基准图像和参考图像。深度获取部分包括视差检测部分，用于检测基准图像中的任何一个像素，和参考图像中与基准图像中的所述像素对应的像素之间的距离，并把所述距离设定为视差，和深度生成部分，用于根据检测的视差与基准图像中的所述像素相关地生成深度。模糊处理部分将基准图像中的各个像素作为对象像素进行模糊处理。结果，能够根据检测的视差，生成深度。在本公开的实施例中，模糊处理部分对对象像素进行模糊处理，所述模糊处理是利用以下的表达式计算的：δj＝D×Δdj_min×R/dj其中δj是模糊度，D是拍摄图像的摄像设备的有效孔径，dj是对应于对象像素的深度，Δdj_min是最小值，R是图像的成像放大倍率。因而，能够根据上述表达式计算模糊度。在本公开的实施例中，焦点区域设定部分按照指定焦点区域的操作信号，设定焦点区域。从而，可按照操作信号设定焦点区域。在本公开的实施例中，焦点区域设定部分通过把待设定的焦点区域的数目限制成小于或等于阈值的值，设定焦点区域。于是，待设定的焦点区域的数目可被限制为小于或等于阈值的值。按照上面说明的本公开的实施例，即使当设定多个焦点区域时，也能够生成能够表现更自然的透视感的图像。附图说明图1是图解说明按照第一实施例的摄像设备的结构例子的方框图；图2是图解说明按照第一实施例的图像数据和深度信息的例子的示图；图3是解释按照第一实施例的设定焦点区域的方法的示图；图4是图解说明按照第一实施例的深度信息，测量的深度和深度差分绝对值的例子的示图；图5是图解说明按照第一实施例的图像处理装置的结构例子的方框图；图6是图解说明按照第一实施例的深度差分绝对值的例子的示图；图7是图解说明按照第一实施例的滤波器阶数的例子的示图；图8是图解说明按照第一实施例的模糊后的图像数据的例子的示图；图9是图解说明按照第一实施例的图像处理装置的操作例子的流程图；图10是图解说明按照第一实施例的焦点区域的设定处理的流程图；图11是图解说明按照第一实施例的模糊处理的例子的流程图；图12是图解说明按照第二实施例的摄像设备的结构例子的方框图；图13是图解说明按照第二实施例的图像处理装置的结构例子的方框图；图14是图解说明按照第二实施例的深度信息获取部分的结构例子的方框图；图15是图解说明按照第二实施例的视差和深度之间的关系的示图；图16是图解说明按照第二实施例的图像处理装置的操作例子的流程图；图17是图解说明按照第三实施例的焦点区域设定部分的结构例子的方框图；图18是图解说明按照第三实施例的焦点本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：焦点区域设定部分，用于把被摄物体的拍摄图像中要保持焦点对准的多个区域中的每个区域设定成焦点区域；深度获取部分，用于与图像中的每个像素相关地获取被摄物体的深度；和模糊处理部分，用于把图像中的每个像素设定为对象像素，并按照对应于对象像素的深度和对应于每个焦点区域的深度之间的各个深度差分绝对值的最小值，对对象像素进行模糊处理。

【技术特征摘要】
2011.06.28 JP 2011-1428071.一种图像处理装置，包括：焦点区域设定部分，用于把被摄物体的拍摄图像中要保持焦点对准的多个区域中的每个区域设定成焦点区域；深度获取部分，用于与图像中的每个像素相关地获取被摄物体的深度；和模糊处理部分，用于把图像中的每个像素设定为对象像素，并按照对应于对象像素的深度和对应于每个焦点区域的深度之间的各个深度差分绝对值的最小值，对对象像素进行模糊处理。2.按照权利要求1所述的的图像处理装置，其中焦点区域设定部分包括候选区域提取部分，用于提取将成为图像中的候选焦点区域的多个区域中的每一个，作为候选区域，和候选区域选择部分，用于选择提取的候选区域当中的多个候选区域，并把所述多个候选区域中的每一个设定为焦点区域。3.按照权利要求2所述的图像处理装置，其中候选区域提取部分识别图像中的给定物体的拍摄区域，并提取该区域作为候选区域。4.按照权利要求2所述的图像处理装置，其中候选区域提取部分识别图像中的面部的拍摄区域，并提取该区域作为候选区域。5.按照权利要求2所述的图像处理装置，其中候选区域提取部分包括构图决定部分，用于决定定义被摄物体在图像中的布置的构图，和候选区域提取处理部分，用于根据决定的构图提取多个区域作为候选区域。6.按照权利要求2所述的图像处理装置，其中焦点区域设定部分还包括优先级设定部分，用于对提取的候选区域设定候选区域的选择优先级，其中候选区域选择部分根据设定的优先级，选择候选区域。7.按照权利要求6所述的图像处理装置，其中优先级设定部分登记给定被摄物体的拍摄图像，并根据登记的图像和候选区域之间的相似性，对候选区域设定优先级。8.按照权利要求6所述的图像处理装置，其中优先级设定部分根据候选区域...

【专利技术属性】
技术研发人员：加纳夏纪，平泽康孝，
申请(专利权)人：索尼公司，
类型：发明
国别省市：