图像处理装置及其控制方法制造方法及图纸

本发明专利技术公开一种图像处理装置及其控制方法。所述图像处理装置对包含从被摄体行进的光束的角度信息的拍摄图像进行处理，该图像处理装置包括：生成单元，其被配置为通过重构所拍摄图像来生成重构图像；以及提取单元，其被配置为基于对应于不同成像距离的多个重构图像，提取拍摄所述拍摄图像的光电转换元件中包括的缺陷光电转换元件的地址。

【技术实现步骤摘要】

本专利技术涉及一种图像处理装置，更具体地，涉及一种检测并校正缺陷的图像处理装置及其控制方法。
技术介绍
在近来的数字图像处理技术中，被称为光场(light field)摄影的研究领域的进展显著。在光场摄影中，首先拍摄图像，以使得从包括摄像光学系统(诸如透镜)和固态摄像传感器(诸如CCD或CMOS传感器)的摄像装置获得的所拍摄图像不仅包括被摄体场景(object field)的二维光强度信息，而且包括光束角度信息。包括光束角度信息的拍摄图像相当于在所谓的相位差自动对焦检测(AF)中超过一对光瞳的划分的、相当大数量的光瞳的划分。当直接观察该拍摄图像时，该图像是并不总是具有重要信息的列表和顺序的数据。为了解决该问题，已提出了一种摄像装置和图像处理装置，其能够通过执行与获得拍摄图像的摄像处理密切相关的重构图像处理而在摄像后对被摄体场景中的任意物体执行再次聚焦(下文中称为“重聚焦”)。这种摄像装置和图像处理装置的示例是文献1“Ren.Ng，et al.，‘利用手持式全光相机的光场摄影’，斯坦福技术报告CTSR 2005-02(Ren.Ng，et al.，′Light Field Photography with a Hand-Held Plenoptic Camera′，Stanford Tech Report CTSR 2005-02)”中描述的手持式全光相机(下文中也称为“光场相机”)。该光场相机的构件如下：作为众所周知的摄像装置中的摄像光学系统的“主透镜”主要在具有预定间距的“微透镜”阵列上形成被摄体图像。包含间距小于预定间距的光电转换元件的“固态摄像传感器”被布置在微透镜阵列的后面。换句话说，通过特殊的摄像处理和以此为前提的图像处理，文献1中描述的光场相机获得了具有众所周知的摄像装置所不能获得的新信息的图像。相反地，在通常众所周知的摄像装置中执行的大多数图像处理都是基于下述假设来执行的，即：构成拍摄图像的光电转换元件的信号在某种程度上具有连续性。一个示例是实时缺陷像素检测方法，该方法在摄像装置的每次摄像中，根据与周围光电转换元件的信号的水平差确定缺陷像素。例如，日本特开第2005-286825号公报公开了一种缺陷像素校正装置，其特征在于包括：第一缺陷像素检测单元，其被配置为通过将从多个像素输出的各个信号与预定值比较来检测缺陷像素；第一校正单元，其被配置为校正来自所述第一缺陷像素检测单元检测到的缺陷像素的信号；第二缺陷像素检测单元，其被配置为通过将从已对所述第一缺陷像素检测单元检测到的缺陷像素执行了校正的多个像素输出的各个信号与预定值比较，来检测缺陷像素；以及设置控制单元，其被配置为将所述第一缺陷像素检测单元中的预定值和所述第二缺陷像素检测单元中的预定值设置为彼此不同。日本特开第2005-286825号公报还公开了第一缺陷像素检测单元检测到的缺陷像素的信息被记录，并且第二缺陷像素检测单元甚至参照第一缺陷像素检测单元中的缺陷像素信息。此外，日本特开第2005-286825号公报描述了：确定检测到的像素实际上是缺陷像素还是被摄体边缘，以及如果检测到的像素被认为是被摄体边缘，则不执行校正以防止图像质量劣化。实时缺陷像素检测在抑制伴随着未被记录在摄像装置的存储器等中的后续缺陷像素、或者在每次摄像中输出水平都会变化的闪烁缺陷像素而产生的图像质量劣化方面尤其有效。然而，实时缺陷像素检测方法中最重要的任务是在应作为校正目标的缺陷像素和被摄体边缘间进行区分。在众所周知的摄像装置中，构成拍摄图像的单位要素通常被称为“像素”。没有必要明确地区分用作构成固态摄像传感器的单位要素的“光电转换元件的信号”和用作构成经过信号处理的最终图像的单位要素的“像素”。然而，在光场相机中，它们是应该被明确区分的概念。如上文所述，为了获得例如重聚焦重构处理的显著特征，如上文所述的特殊摄像处理在光场相机中占据重要位置。特殊摄像处理是指同时获取光强度信息和光束角度信息。光束角度信息出现在与一个微透镜对应的数个光电转换元件的强度分布中。此时，出现图像偏移(image shift)，在该图像偏移中，多个光电转换元件的信号的强度分布根据离被摄体的距离和摄像光学系统的聚焦而偏移。图像偏移是一种在由属于微透镜的相同象限的光电转换元件的信号构成的图像中出现坐标偏移的现象。在相位差检测AF中，图像偏移被认为是一对图像间的偏移到多个图像间的偏移的扩展。更具体地，通过将数个光电转换元件的信号按照固态摄像传感器的输出顺序排布而并不执行任何重聚焦重构处理所获得的拍摄图像是不适合直接观察的数据。因此，仅通过将上述假定光电转换元件的信号在某种程度上具有连续性的实时缺陷像素检测方法应用于包括光束角度信息的拍摄图像上，很难完成区分被摄体边缘和缺陷像素的任务。在光场相机中，可能受缺陷光电转换元件(下文中也称为“缺陷元件”)的信号影响的重构图像中的像素的地址在重聚焦重构处理中的每次重聚焦时都会改变。由于上述原因，为了抑制光场相机中伴随缺陷元件的图像质量劣化，需要在每次重聚焦重构处理时对重构图像执行实时缺陷像素检测，并进一步校正检测到的缺陷像素。然而，实时缺陷像素检测要花费处理时间以扫描重构图像。这意味着在再次对拍摄图像的被摄体场景中的任意物体聚焦的操作之后，直至显示重构图像为止要花费很多时间。对此用户可能会感到不舒服。
技术实现思路
为解决上述问题而做出本专利技术，并且本专利技术提供一种能够有效获得抑制了伴随缺陷元件的图像质量劣化的重聚焦/重构图像的图像处理装置。根据本专利技术的第一方面，提供了一种图像处理装置，其对包含从被摄体行进的光束的角度信息的拍摄图像进行处理，所述图像处理装置包括：生成单元，其被配置为通过重构所述拍摄图像来生成重构图像；以及提取单元，其被配置为基于对应于不同成像距离的多个重构图像，提取拍摄所述拍摄图像的光电转换元件中包括的缺陷光电转换元件的地址。根据本专利技术的第二方面，提供了一种图像处理装置的控制方法，所述图像处理装置对包含从被摄体行进的光束的角度信息的拍摄图像进行处理，所述控制方法包括：生成步骤，通过重构所述拍摄图像来生成重构图像；以及提取步骤，基于对应于不同成像距离的多个重构图像，提取拍摄所述拍摄图像的光电转换元件中包括的缺陷光电转换元件的地址。根据以下参照附图对示例性实施例的详细描述，本专利技术的其本文档来自技高网...

【技术保护点】
一种图像处理装置，其对包含从被摄体行进的光束的角度信息的拍摄图像进行处理，所述图像处理装置包括：生成单元，其被配置为通过重构所述拍摄图像来生成重构图像；以及提取单元，其被配置为基于对应于不同成像距离的多个重构图像，提取拍摄所述拍摄图像的光电转换元件中包括的缺陷光电转换元件的地址。

【技术特征摘要】
2013.09.12 JP 2013-1898481.一种图像处理装置，其对包含从被摄体行进的光束的角度信息的
拍摄图像进行处理，所述图像处理装置包括：
生成单元，其被配置为通过重构所述拍摄图像来生成重构图像；以
及
提取单元，其被配置为基于对应于不同成像距离的多个重构图像，
提取拍摄所述拍摄图像的光电转换元件中包括的缺陷光电转换元件的地
址。
2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
检测单元，其被配置为检测所述多个重构图像中的缺陷像素，其中，
所述提取单元基于所述缺陷像素提取所述缺陷光电转换元件的地址。
3.根据权利要求2所述的图像处理装置，其中，所述检测单元通过
将所述重构图像中的目标像素的信号与所述目标像素附近的多个像素的
信号进行比较，来检测所述缺陷像素。
4.根据权利要求2所述的图像处理装置，其中，所述提取单元基于
所述缺陷像素在所述重构图像中的地址和对所述重构图像应用的重构处
理，来提取所述缺陷光电转换元件的...

【专利技术属性】
技术研发人员：佐佐木显，铃木聪史，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP