图像处理装置和图像拾取装置制造方法及图纸

本发明专利技术提供图像处理装置和图像拾取装置。一种图像处理装置包括：存储器，配置为存储光学系统关于至少一种捕获条件的OTF或PSF的信息；以及图像处理器，配置为在点扩散函数的微分均方根值最小或者重心位置或最大强度位置彼此一致时，通过基于存储器中的至少两个OTF或PSF进行插值来产生与所捕获的图像的捕获条件对应的OTF的相的二次和更高次成分或者PSF的形状成分，并利用所生成的OTF或从所生成的PSF得到的OTF来恢复图像。

【技术实现步骤摘要】

本专利技术涉及将因图像拾取系统的像差而劣化的(劣化)图像恢复成(原始)图像或 劣化前的图像的图像处理装置和图像拾取装置。
技术介绍
一种常规已知的技术是恢复由于光学系统的像差而劣化的图像(下文称为“图像 恢复处理”)。一种图像恢复处理是使用光学系统的光学传递函数(“0TF”)或者与OTF具有 傅里叶变换关系的点扩散函数(“PSF”)的信息的方法。OTF具有实部和虚部，通常作为二维数据存储在存贮器(诸如存储器)中。以下将 将该二维数据称为“0TF数据”。在一般的图像恢复处理中，为每个RGB准备OTF数据，并且 用于一个图像高度的OTF数据是X方向上的抽头数量Xy方向上的抽头数量X2(实部、虚 部)X3 (色度成分)。OTF和PSF根据捕获条件(诸如通过光学系统捕获的图像的图像高度 以及光学系统的焦距、F值和物距)而不同。日本专利特开No. (“JP”)2005_308490提出了一种用于对具有任意物距的玻璃的 光学特性进行插值的方法，JP 2003-132351采取椭圆PSF和通过根据图像高度位置进行插 值来产生PSF的方法。以上存储关于每种色度成分和至少一种捕获条件的OTF数据的方法使得数据量 庞大。因此，本专利技术人尝试存储与图像处理装置(或图像拾取装置)中的代表性捕获条件对 应的离散OTF数据并且通过利用所存储的OTF数据进行插值来产生与其余捕获条件对应的 OTF数据。此时，在OTF数据的减少数据量与插值精度(图像恢复精度)之间存在权衡关系。然而，当在用于插值的PSF的重心位置彼此不一致(或者OTF的相的一次成分彼此 不一致)时对PSF或OTF数据进行插值时，插值不可能是高精度的。现有技术未提及该问题 的解决方案。
技术实现思路
本专利技术提供一种能抑制要存储的OTF数据容量并执行高精度图像恢复的图像处 理装置和图像拾取装置。虽然以上常规问题论述了 0TF，但是PSF与OTF具有傅里叶变换关系，因此当PSF 数据被存储且用于图像恢复处理时，发生相同问题。根据本专利技术的图像处理装置或图像拾取装置包括存储器，配置为存储图像拾取 光学系统关于至少一种捕获条件的光学传递函数或点扩散函数的信息；以及图像处理器， 配置为在重心位置或最大强度位置彼此一致或者点扩散函数的微分均方根值最小时，通过 基于与不同捕获条件对应并且从存储在所述存储器中的信息得到的至少两个光学传递函 数或点扩散函数进行插值，来产生与通过所述图像拾取光学系统捕获的图像的捕获条件对 应的光学传递函数的相的二次和更高次成分或者点扩散函数的形状成分，并且利用从通过 所述插值产生的光学传递函数得到的光学传递函数或者从通过所述插值产生的点扩散函数得到的光学传递函数来恢复所述图像。从以下参照附图对示例性实施例的描述，本专利技术的进一步特征将会变得显然。附图说明图1A是图像处理装置的框图，图1B是根据第一实施例的图像恢复处理的流程图。图2A和图2B是用于说明根据第一实施例的存储在图1A所示的存储器中的数据的生成例子的视图。图3A和图3B是用于说明根据第一实施例的图1B所示的S16的视图。图4是根据第二实施例的数字摄像机的框图。具体实施方式在图像恢复中，建立以下表达式，其中(x，y)是实空间，f(x，y)是被光学系统劣化之前的原始图像，h(x, y)是PSF, g(x，y)是劣化图像。g (X，y) = / / f (X，Y) · h (x-X, y-Y) dXdY (I)通过下述方式建立以下表达式，S卩，对表达式(I)进行傅里叶变换以将实空间 (X，y)转换为频率空间(U，V),其中，F(U，V)是f(x，y)的傅里叶变换，G(u, V)是g(x，y)的傅里叶变换，H(u，v)是h(x，y)的傅里叶变换和光学传递函数(“0TF”)G (U，V) =F (U，V) · H(u, v) (2)从表达式(I)和⑵建立以下表达式F (U，V) =G (U，V)/H (U，V) (3)因此，F(u, v)可通过在频率空间中将傅里叶变换G(u，v)除以H(u，v)而获得，原始图像f(x，y)可通过对F(u，v)进行逆傅里叶变换而获得。因为以上处理实际上放大了噪声，所以已知的是可将以下维纳滤波器用于表达式 3中的1/H(u，v)，其中Γ是用于减小噪声放大量的常数1/H (u，v) E 1/H (U，ν) · | H (U，v) |2/ (| H (u, v) |2+ Γ ) (4)将具有光学系统的频率和相信息的OTF乘以表达式(4)可用使由光学系统的衍射和像差引起的PSF的相为零，放大振幅的频率特性，并且提供高精度的、良好恢复的图像。虽然因此需要获得图像拾取光学系统的精确OTF信息，但是用于摄像机的图像拾取光学系统的光学性能(诸如F值和像差)通常在图像高度之间显著地波动。为了校正物体图像的劣化，表达式(4)不能照原样用于频率空间中的批量计算，对于每个图像高度，表达式(4)转换为实空间中的(图像恢复)滤波器。在利用图像恢复滤波器的图像恢复中，需要在装置中存储图像恢复滤波器或者用于生成图像恢复滤波器的OTF信息。当图像恢复滤波器的信息存储在图像拾取装置中时， 用于校正图像劣化的计算仅是滤波处理，处理变得更快。然而，图像恢复滤波器的改变变得不可能，并且难以控制劣化校正的水平。另一方面，如果用于生成图像恢复滤波器的OTF信息被存储，则可以根据物体图像的劣化程度来自由地控制劣化校正的水平。图像恢复滤波器可通过对OTF信息进行傅里叶变换来产生。OTF是具有实部和虚部的二维数据。在一般的图像恢复中，波长用RGB三种色度成分的变量来表达，因此一个图像高度的OTF数据用X方向上的抽头数量Xy方向上的抽头 数量X2 (实部、虚部)X3 (色度成分)来表达。另外，OTF根据捕获条件(诸如图像高度、焦 距、F值和物距)而不同。因此，存储关于每种色度成分和至少一种捕获条件的OTF数据使 数据量不切实际地庞大。因此，将与代表性捕获条件对应的离散OTF数据存储在图像处理装置(或图像拾 取装置)中，并且通过利用所存储的OTF数据进行插值来产生与其余的捕获条件对应的OTF 数据。此时，在OTF数据的减少数据量与插值精度(图像恢复精度)之间存在权衡关系。关于一般图像拾取光学系统中的像差的绝对量，由波长之间的横向色差引起的对 于每个波长的像点位置偏移量大于PSF的扩散，并且在离轴物点处变得特别显著。这对应 于OTF的相的一次成分。OTF的相成分是atan (Im(OTF) /Re (OTF))，一次成分将被称为一次 相。然而，即使对于相同波长，PSF (点图像)的重心位置也根据捕获条件而不同。例 如，当通过利用具有第一位置(诸如(0，a))处的重心位置的PSF和具有第二位置(诸如(0， b))处的重心位置的PSF执行线性插值来产生位于XY坐标系中的该第一位置与该第二位置 之间的目标位置处的PSF时，插值了的PSF的形状崩坏。因此，在对PSF的形状进行高精度插值时，本实施例使两个重心位置一致(对准或 匹配)(例如，通过将它们移到原点)，并且通过根据这两个重心位置进行加权来对形状进行 插值。换句话说，在频率空间中消除代表PSF的重心位置的OTF的相的一次成分，并且使用 二次和更高次成分用于插值。第一实施例图1A是根据本文档来自技高网...

【技术保护点】
一种图像处理装置，包括存储器，所述存储器配置为存储图像拾取光学系统关于捕获条件中的至少一种的光学传递函数或点扩散函数的信息，其特征在于所述图像处理装置还包括图像处理器，所述图像处理器配置为：在所述点扩散函数的微分均方根值最小或者重心位置或最大强度位置彼此一致时，通过基于与不同的捕获条件对应且从存储在所述存储器中的所述信息得到的至少两个光学传递函数或点扩散函数进行插值来产生与通过所述图像拾取光学系统捕获的图像的捕获条件对应的光学传递函数的相的二次成分和更高次成分或者点扩散函数的形状成分，并且利用从通过所述插值已经产生的光学传递函数得到的光学传递函数或者从通过所述插值已经产生的点扩散函数得到的光学传递函数来恢复所述图像。

【技术特征摘要】
2011.07.04 JP 2011-1481641.一种图像处理装置，包括存储器，所述存储器配置为存储图像拾取光学系统关于捕获条件中的至少一种的光学传递函数或点扩散函数的信息，其特征在于 所述图像处理装置还包括图像处理器，所述图像处理器配置为 在所述点扩散函数的微分均方根值最小或者重心位置或最大强度位置彼此一致时，通过基于与不同的捕获条件对应且从存储在所述存储器中的所述信息得到的至少两个光学传递函数或点扩散函数进行插值来产生与通过所述图像拾取光学系统捕获的图像的捕获条件对应的光学传递函数的相的二次成分和更高次成分或者点扩散函数的形状成分，并且 利用从通过所述插值已经产生的光学传递函数得到的光学传递函数或者从通过所述插值已经产生的点扩散函数得到的光学传递函数来恢复所述图像。2.根据权利要求1所述的图像处理装置，其中，存储在所述存储器中的所述信息是所述光学传递函数的相中从其消除了一次成分的二次成分和更高次成分、或者从其消除了重心位置成分的点扩散函数的形状成分的信息。3.根据权利要求1所述的图像处理装置，其中，存储在所述存储器中的所述信息包含所述光学传递函数的相的一次成分或所述点扩散函数的重心位置成分，并且 其中，所述图像处理器利用存储在所述存储器中的所述信息来产生所述光学传递函数的相中从其消除了所述一次成分的二次成分和更高次成分的插值前信息、或者从其消除了所述点扩散函数的重心成分的形状成分的插值前信息，并且利用所述插值前信息来执行所述插值。4.根据权利要求1所述的图像处理装置，其中，所述图像处理器通过将所述光学传递函数的相的一次成分加到通过所述插值产生的光学传递函数或者加到通过对通过所述插值产生的点扩散函数进行傅里叶变换得到的光学传递函数来恢复所述图像。5.根据权利要求1所述的图像处理装置，其中，所述图像处理器利用通过所述插值产生的光学传递函数或者通过对通过所述插值产生的点扩散函数进行傅里叶变换得到的光学传递函数来恢复所述图像，并且对所恢复的图像执行用于减小横向色差或失真的处理。6.根据权利要求1所述的图像处理装置，其中，所述图像处理器在与不同捕获条件对应的两个点扩散函数的重心位置彼此一致时对所述两个点扩散函数进行傅里叶变换，并且通过对通过傅里叶变换产生的两个光学传递函数的相的二次成分和更高次成分进行插值来产生与所述图像的捕获条件对应的光学传递函数的相的二次成分和更高次成分。7.根据权利要求1所述的图像处理装置，其中，所述图像处理器在与不同捕获条件对应的两个点扩散函数的重心位置彼此一致时通过所述插值获得与所述图像的捕获条件对应的点扩散函数的形状成分，然后通过傅里叶变换产生与所述图像的捕获条件对应的光学传递函数的相的二次成分和更高次成分。8.根据权利要求1所述的图像处理装置，其中，所述图像处理器对于RGB中的每种色度成分通过所述插值产生所述光学传递函数或所述点扩散函数。9.根据权利要求1所述的图像处理装置，其中，在具有关系hl〈h2〈h3的图像高度，所述不同捕获条件包括图像高度hi和h3，并且所述图像的捕获条件具有图像高度h2。10.根据权利要求1所述的图像处理装置，其中，当变焦时的焦距具有关系f I ^ f2 ^ f3时，所述不同捕获条件包括焦距f I和f3，并且所述图像的捕获条件具有焦距f2...

【专利技术属性】
技术研发人员：渡边武史，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：