图像处理设备及方法以及具有图像处理设备的摄像设备技术

本发明专利技术涉及一种图像处理设备及方法以及具有图像处理设备的摄像设备。该图像处理设备用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的所述拍摄图像的微透镜阵列，所述图像处理设备具有：再聚焦处理部件，用于基于所述光线方向信息对获取到的拍摄图像执行再聚焦处理，并产生重构图像；以及缺陷像素检测部件，用于从获取到的拍摄图像中检测缺陷像素。在获取了所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测。在指示了所述再聚焦处理的情况下，对进行了缺陷像素检测的拍摄图像进行再聚焦处理。

【技术实现步骤摘要】
图像处理设备及方法以及具有图像处理设备的摄像设备
本专利技术涉及一种图像处理设备，更特别地涉及一种用于对在前侧具有微透镜阵列的摄像元件所获取的拍摄图像进行处理的图像处理设备。
技术介绍
在现有技术中，存在许多诸如电子照相机等摄像设备，用于将由诸如CCD、CMOS等的摄像元件所拍摄的静止图像或运动图像记录到作为具有存储元件的存储卡的记录介质中，或者从该记录介质中再现由诸如CCD、CMOS等的摄像元件拍摄所拍摄的静止图像或运动图像。日本特开昭61-261974已经提出了关于这种摄像设备的技术的例子。这种摄像设备以如下方式构造：以一个微透镜对应预定数量的多个像素的比率来配置微透镜的微透镜阵列(以下简称MLA)设置在摄像元件的前侧，从而还能够获取入射到摄像元件的光线的入射方向信息(光线方向信息)。尽管在Ren.Ng.和另外7人,“LightFieldPhotographywithaHand-HeldPlenopticCamera”,StanfordTechReportCTSR2005-02中，这种摄像设备被称为手持式全光照相机，通常还称为“光场照相机”。作为这种摄像设备的一个应用，基于各个像素的输出信号来生成普通的拍摄图像。作为另一个应用，对拍摄图像执行基于光线方向信息的预定图像处理，以重构聚焦于任意焦距的图像(这种处理称为再聚焦处理)，等等。另一方面，在近年来的电子照相机中，存在很多配备有具有成百上千万像素的摄像元件的照相机。然而，实际上，全部像素都适当地转换为与入射光量相对应的电信号的摄像元件的制造是非常困难的。因此，若干不能正常运行的“缺陷像素”混合地存在于摄像元件的“像素”中。在现有技术的摄像设备中，使用缺陷像素的周边像素的图像信号来进行插值处理等，以校正最终生成的图像。存在若干检测作为校正对象的缺陷像素的方法。例如，在日本特开昭61-261974和日本特开2005-026794中，已经提出了如下方法：在摄像设备或摄像元件的制造步骤中，基于拍摄图像将缺陷像素的地址记录并存储至摄像设备的存储器中。存在作为另一种检测方法的如下实时缺陷像素检测方法：每次在摄像设备进行拍摄时，基于与拍摄图像的周边像素的图像信号的电平差等，来识别缺陷像素。日本特开2005-286825等提出了这一方法。然而，在具有上述MLA的摄像设备的拍摄中，为了实现缺陷像素的实时检测，出现了以下问题。即，在缺陷像素的实时检测方法中，基于检测对象像素与其周边像素之间的电平差，来判断出检测对象像素是否是缺陷像素。然而，在具有上述MLA的摄像设备中，以用于执行诸如再聚焦处理等的预定图像处理的重构为前提的摄像设备具有如下问题。即，在从摄像元件进行读取时或者在存储图像数据时的像素信号并非总是与被摄体图像的位置关系相对应地进行排列，因而，该图像数据可能不适合于直接显示以进行观察。因此，如果原样使用这种排列方式，难以如日本特开2005-286825所示根据缺陷像素的周边像素的信号来判断检测对象像素是否是缺陷。但是，为了检测缺陷像素，如果为了获取适合于直接显示以对检测用图像进行观察的图像数据而执行某一重构处理，在重构后获取到的图像的一个像素信号成为通过对多个摄像元件的像素信号进行相加所生成的信号。因此，根据重构图像的像素信号，很难检测摄像元件的哪个像素是缺陷像素。
技术实现思路
因此，本专利技术的一个方面提供了一种用于对由具有MLA的摄像元件获取的拍摄图像进行适当的缺陷像素检测的图像处理设备、图像处理方法以及程序。为解决上述问题，根据本专利技术的第一方面，提供了一种图像处理设备，其用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列，所述图像处理设备包括：获取部件，用于获取从所述摄像元件输出的拍摄图像；再聚焦处理部件，用于基于所述光线方向信息对获取到的拍摄图像进行再聚焦处理，并生成重构图像；缺陷像素检测部件，用于从获取到的拍摄图像中检测缺陷像素；以及控制部件，用于控制所述再聚焦处理部件和所述缺陷像素检测部件，以使得在所述获取部件获取到所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测，并在指示了所述再聚焦处理的情况下，对进行了缺陷像素的检测的拍摄图像进行再聚焦处理。根据本专利技术的第二方面，提供了一种图像处理方法，用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列，所述图像处理方法包括：获取步骤，用于获取从所述摄像元件输出的拍摄图像；再聚焦处理步骤，用于利用再聚焦处理单元、基于所述光线方向信息对获取到的拍摄图像进行再聚焦处理，并生成重构图像；缺陷像素检测步骤，用于利用缺陷像素检测单元从获取到的拍摄图像中检测缺陷像素；以及控制步骤，用于控制所述再聚焦处理单元和所述缺陷像素检测单元，以使得在所述获取步骤获取到所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测，并在指示了所述再聚焦处理的情况下，对进行了缺陷像素的检测的拍摄图像进行再聚焦处理。根据本专利技术的第三方面，提供了一种摄像设备，包括：摄像光学系统；摄像元件，其中，配置有用于获取包含由所述摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列；根据如上所述的图像处理设备；以及输出部件，用于输出所述拍摄图像和所述重构图像至少之一。通过以下参考附图对典型实施例的说明，本专利技术的其它特征将变得明显。附图说明包含在说明书中并构成说明书的一部分的附图示出本专利技术的典型实施例、特征和方面，并和说明书一起用来解释本专利技术的原理。图1是根据本专利技术第一实施例的摄像设备的框图。图2是根据图1所示的摄像设备的摄像光学系统的构造的框图。图3是示意性地示出图1中的摄像设备的摄像元件的像素阵列的图。图4是构成图3中的像素阵列的单元像素的结构图。图5是从被摄体方向观察图2的摄像光学系统中的摄像镜头的孔径的情况下的图。图6是示出在图2的摄像光学系统中来自被摄体的光线轨迹的图。图7A和7B是描述由图2的摄像光学系统所执行的被摄体距离检测操作的图。图8是示出根据本专利技术第一实施例的摄像设备的拍摄操作的流程的图。图9是示出根据本专利技术第一实施例的缺陷像素检测操作的流程的图。图10A和10B是描述根据本专利技术第一实施例的缺陷像素的检测方法的图。图11是示出根据本专利技术第二实施例的摄像设备的拍摄操作的流程的图。具体实施方式下面将根据附图详细说明本专利技术的各个典型实施例、特征和方面。第一实施例图1是根据本专利技术第一实施例的摄像设备的框图。在图1中，设置有诸如透镜等用于进行拍摄的光学系统101、机械快门102、以及用于将入射光转换为电信号的摄像元件103。摄像元件103具有：用于将入射光转换为电信号的光电转换单元104和用于放大电信号的信号放大单元105。模拟信号处理单元106获取从摄像元件103输出的图像信号，并对该图像信号进行模拟信号处理。模拟信号处理单元106具有：用于放大模拟信号的信号放大器107、用于进行水平OB箝位的箝位单元108和用于将模拟信号转换成数字信号的A/D转换器109。定时信号生成单元110生成用于使摄像元件103和模拟信号处理单元10本文档来自技高网...

【技术保护点】
一种图像处理设备，用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列，所述图像处理设备包括：获取部件，用于获取从所述摄像元件输出的拍摄图像；再聚焦处理部件，用于基于所述光线方向信息对获取到的拍摄图像进行再聚焦处理，并生成重构图像；缺陷像素检测部件，用于从获取到的拍摄图像中检测缺陷像素；以及控制部件，用于控制所述再聚焦处理部件和所述缺陷像素检测部件，以使得在所述获取部件获取到所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测，并在指示了所述再聚焦处理的情况下，对进行了缺陷像素的检测的拍摄图像进行再聚焦处理。

【技术特征摘要】
2012.09.11 JP 2012-1994491.一种图像处理设备，用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，微透镜阵列的各个微透镜与所述摄像元件的预定数量的光电转换元件相对应，其特征在于，所述图像处理设备包括：获取部件，用于获取从所述摄像元件输出的拍摄图像；再聚焦处理部件，用于进行再聚焦处理，所述再聚焦处理重构所获取的拍摄图像的图像信号并生成再聚焦平面处的重构图像；缺陷像素检测部件，用于从获取到的拍摄图像中检测缺陷像素；以及控制部件，用于控制所述再聚焦处理部件和所述缺陷像素检测部件，以使得在所述获取部件获取到所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测，并在指示了所述再聚焦处理的情况下，对进行了缺陷像素的检测的拍摄图像进行再聚焦处理，其中，所述缺陷像素检测部件基于与微透镜相对应的所述预定数量的光电转换元件的信号的统计来检测所述预定数量的光电转换元件中的缺陷像素。2.根据权利要求1所述的图像处理设备，其中，所述缺陷像素检测部件计算所述预定数量的光电转换元件的输出值的标准偏差，并基于计算出的标准偏差的值，决定是否根据所述预定数量的光电转换元件的输出进行缺陷像素的检测。3.根据权利要求2所述的图像处理设备，其中，所述缺陷像素检测部件将与所述预定数量的光电转换元件的输出中的、相对于所述预定数量的光电转换元件的输出的平均值的差值不在预定范围内的输出相对应的光电转换元件检测为缺陷像素。4.根据权利要求2所述的图像处理设备，其中，如果与各个微透镜相对应的所述预定数量的光电转换元件的各个光电转换元件的输出和多个周边光电转换元件各自的输出之间的差值不等于预定范围内的值，则所述缺陷像素检测部件将所述各个光电转换元件检测为缺陷像素。5.根据权利要求3或4所述的图像处理设备，其中，如果基于计算出的标准偏差的值决定进行缺陷像素的检测，则所述缺陷像素检测部件根据计算出的标准偏差的值来改变所述预定范围的大小。6.根据权利要求5所述的图像处理设备，其中，在所述预定数量的光电转换元件的输出的标准偏差的值小的情况下，所述缺陷像素检测部件减小所述预定范围的大小。7.根据权利要求3所述的图像处理设备，其中，如果基于计算出的标准偏差的值决定进行缺陷像素的检测，则所述缺陷像素检测部件根据所述预定数量的光电转换元件的周边拍摄图像的离焦...

【专利技术属性】
技术研发人员：铃木聪史，小林宽和，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：