图像处理方法、图像处理装置和图像拾取装置制造方法及图纸

本发明专利技术涉及图像处理方法、图像处理装置和图像拾取装置。图像处理方法获取输入图像和与图像捕获条件有关的信息（S11，S12），获取与图像捕获条件对应的光学传递函数（S13），在每个方位角方向上计算通过使用光学传递函数获得的指标值变为预定值的特定频率（S14），以及产生窗函数以将输入图像的频带划分为相比于每个方位角方向上的特定频率的低频侧频带和高频侧频带（S15）。然后，该方法通过使用窗函数和光学传递函数产生图像恢复滤波器，以在输入图像的低频侧频带上执行图像恢复处理并在输入图像的高频侧频带上限制图像恢复处理（S15），并使用图像恢复滤波器执行图像恢复处理（S16）。

【技术实现步骤摘要】

本专利技术涉及用于执行图像恢复处理以校正（减小）由图像拾取装置产生的图像的劣化的图像处理技术。
技术介绍
由诸如数字照相机之类的图像拾取装置产生的捕获图像包括模糊分量，所述模糊分量是由图像捕获光学系统（在下文中被简称为“光学系统”）的诸如球面像差、慧形像差、像场弯曲和散光之类的各种像差引起的图像劣化分量。这样的模糊分量被生成是因为从对象的一个点发射的光通量在图像传感器的图像拾取表面上形成具有一些发散度的图像，而在没有像差或衍射的情况下所述光通量通常汇聚到一个点。这里的模糊分量在光学上被表达为点分布函数（PSF），并与由散焦引起的模糊不同。此外，由于光学系统的纵向色差、色球差（chromatic spherical aberration）或色慧差（chromatic comatic aberration）生成的彩色图像中的颜色模糊可以被认为是各颜色波长的模糊程度之间的差。此外，由光学系统的倍率色差引起的横向颜色偏移可以被认为是由于对各光波长的图像捕获倍率的差异而引起的位置偏移或相位偏移。点分布函数（PSF）的傅里叶变换提供了示出关于像差的频率分量信息并通过复数来表达的光学传递函数（OTF）。该光学传递函数（OTF）的绝对值（即幅值分量）被称为调制传递函数（MTF），而相位分量被称为相位传递函数（PTF）。MTF和PTF分别表示由于像差引起的图像劣化的幅值分量和相位分量的频率特性。在以下的描述中，相位分量通过以下表达式被表达为相位角度，其中Re(OTF)和Im(OTF)分别表示OTF的实部和虚部。PTF=tan-1[Im(OTF)/Re(OTF)]如上所述，光学系统的光学传递函数（OTF）对图像的幅值分量和相位分量产生了劣化，使得在对象的各点处劣化图像包括类似慧形像差的非对称模糊。作为用于在劣化图像（输入图像）中校正这样的幅值分量（MTF）的劣化和相位分量（PTF）的劣化的方法，已知使用与光学系统的光学传递函数（OTF）有关的信息的方法。该方法被称为“图像恢复”或“图像复原”，并且在下文中，通过使用与光学系统的光学传递函数（OTF）有关的信息来校正劣化图像的处理被称为“图像恢复处理”。作为图像恢复处理中的一种，已知一种卷积方法，该卷积方法执行具有光学传递函数的逆特性的图像恢复滤波器对真实空间（real space）中的输入图像的卷积。为了有效地执行图像恢复处理，需要获取更准确的光学系统的OTF。例如，与光学系统的设计值有关的信息使得能够计算OTF。此外，对点光源的捕获图像中的强度分布执行傅里叶变换使得能够计算OTF。除了设计并制造成具有极其高性能的光学系统的OTF之外的普通光学系统的OTF取决于图像高度（输入图像中的位置）而明显变化。因此，为了对输入图像高度精确地执行图像恢复处理，需要使用基于OTF取决于图像高度的变化而产生的图像恢复滤波器。为了根据图像高度来改变图像恢复特性，希望随着真实空间中图像恢复滤波器的变化来执行图像恢复处理。日本专利特开No.2007-183842公开了一种图像处理方法，该方法使用控制参数来控制图像恢复的程度，从而连续地改变图像恢复的程度。然而，取决于光学系统中的透镜的特性或图像捕获条件，可能出现在图像传感器的奈奎斯特频带中MTF落到零或接近零的情况。在下文中，MTF落到零或接近零被称为“零落入”，零落入发生的频率在下文中被称为“零落入频率”。零落入由像差或衍射而导致。此外，零落入还由使用图像拾取装置的用户的手抖动而导致。图12A示出了零落入的例子，其中横轴表示空间频率，纵轴表示MTF。在图中由向下的箭头指示的频率处发生零落入，该频率是零落入频率。通常用于图像恢复处理的维纳（Wiener）滤波器提供了图12B所示的图像恢复滤波器的频率特性（恢复增益特性）的绝对值，其中横轴表示空间频率，纵轴表示恢复增益。将在之后对维纳滤波器进行详细描述。在图12B中，在相比于由向下的箭头指示的频率的低频率侧频带中获得放大，而在相比于该频率的高频侧频带中获得低通滤波器效果。该恢复增益特性提供了具有图12C所示的真实空间中轮廓（滤波器中各位置（抽头）的系数）的图像恢复滤波器。使用这种图像恢复滤波器的图像恢复处理在输入图像中的高频细节中产生模糊。此外，图13A至13C示出了另一例子。图13A中的横轴表示直到奈奎斯特频率两倍的采样频率的频率。图13B示出了图像恢复滤波器的恢复增益特性，而图13C示出了真实空间中图像恢复滤波器的轮廓。在图13C中，图像恢复滤波器的系数值在窄的位置范围中的多个位置处剧烈改变。存在如下情况，即，当由于光学系统的制造误差或输入图像中的亮度饱和等而使输入图像的PSF与光学系统的PSF不同时，在图像恢复处理的结果图像（恢复图像）中生成诸如瞬时扰动（ringing）之类的伪像。在这种情况下，图13C所示的图像恢复滤波器对于PSF的差异变得敏感，而容易生成伪像。从而，为了获取高清晰度恢复图像，防止零落入的措施非常重要。虽然在日本专利特开No.2007-183842中公开的图像处理方法能够控制图像恢复的程度，该方法允许用户改变图像恢复的程度，但不能根据零落入频率来改变图像恢复滤波器的特性。因此，在日本专利特开No.2007-183842中公开的方法可以减小图像恢复的程度以抑制由于零落入而引起的伪像，但不能够提供高清晰度恢复图像。
技术实现思路
本专利技术提供了即使当MTF的零落入存在时仍提供高清晰度恢复图像的图像处理技术。作为本专利技术的一个方面，本专利技术提供了一种用于对由图像拾取装置产生的输入图像执行图像恢复处理的图像处理方法。该方法包括：获取输入图像和与在图像拾取装置中产生输入图像时的图像捕获条件有关的信息的步骤，获取与和图像捕获条件有关的信息对应的图像拾取装置的光学传递函数的步骤，在每一个方位角方向上计算通过使用光学传递函数获得的指标值变为预定值的特定频率的步骤，产生窗函数以将输入图像的频带划分为相比于在每一个方位角方向上计算的特定频率的低频侧频带和高频侧频带的步骤，通过使用窗函数和光学传递函数产生图像恢复滤波器、以在输入图像的所述低频侧频带上执行图像恢复处理以及在输入图像的所述高频侧频带上限制图像恢复处理的步骤，以及使用图像恢复滤波器执行图像恢复处理的步骤。作为本专利技术的另一方面，本专利技术提供了一种被本文档来自技高网...

【技术保护点】
一种图像处理方法，用于对由图像拾取装置产生的输入图像执行图像恢复处理，其特征在于，所述方法包括以下步骤：获取输入图像和与在所述图像拾取装置中产生所述输入图像时的图像捕获条件有关的信息（S11，S12）；获取与和所述图像捕获条件有关的信息对应的所述图像拾取装置的光学传递函数（S13）；在每一个方位角方向上计算通过使用所述光学传递函数获得的指标值变为预定值的特定频率（S14）；产生窗函数以将所述输入图像的频带划分为相比于在每一个方位角方向上计算的所述特定频率的低频侧频带和高频侧频带（S15）；通过使用所述窗函数和所述光学传递函数，产生图像恢复滤波器，以在所述输入图像的所述低频侧频带上执行图像恢复处理并在所述输入图像的所述高频侧频带上限制图像恢复处理（S15）；以及使用所述图像恢复滤波器执行图像恢复处理（S16）。

【技术特征摘要】
2011.08.26 JP 2011-1847941.一种图像处理方法，用于对由图像拾取装置产生的输入图像
执行图像恢复处理，其特征在于，所述方法包括以下步骤：
获取输入图像和与在所述图像拾取装置中产生所述输入图像时
的图像捕获条件有关的信息（S11，S12）；
获取与和所述图像捕获条件有关的信息对应的所述图像拾取装
置的光学传递函数（S13）；
在每一个方位角方向上计算通过使用所述光学传递函数获得的
指标值变为预定值的特定频率（S14）；
产生窗函数以将所述输入图像的频带划分为相比于在每一个方
位角方向上计算的所述特定频率的低频侧频带和高频侧频带（S15）；
通过使用所述窗函数和所述光学传递函数，产生图像恢复滤波
器，以在所述输入图像的所述低频侧频带上执行图像恢复处理并在所
述输入图像的所述高频侧频带上限制图像恢复处理（S15）；以及
使用所述图像恢复滤波器执行图像恢复处理（S16）。
2.根据权利要求1所述的图像处理方法，其中，所述特定频率
是所述指标值变为预定值的频率中的最低的一个。
3.根据权利要求1所述的图像处理方法，其中，所述窗函数是
与根据所述方位角方向改变的所述特定频率对应的非旋转对称的函
数。
4.根据权利要求1所述的图像处理方法，其中，产生所述窗函
数的步骤通过使用所述光学传递函数的绝对值来产生所述窗函数。
5.根据权利要求1所述的图像处理方法，其中，计算所述特定
频率的步骤在所述输入图像中的每个位置处计算所述特定频率，并且
其中，产生所述图像恢复滤波器的步骤在所述输入图像中的每个
位置处改变所述图像恢复滤波器的特性。
6.一种图像处理装置，被配置为对由图像拾取装置产生的输入
图像执行图像恢复处理，其特征在于，所述图像处理装置包括：
输入部分（204），被配置为获取输入图像和与在所述图像拾取
装置中产生输入图像时的图像捕获条件有关的信息；
计算部分（204），被配置为获取与和所述图...

【专利技术属性】
技术研发人员：畠山弘至，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：