图像处理设备及图像处理方法技术

本发明专利技术提供一种图像处理设备及图像处理方法。所述图像处理设备用于对通过使用图像传感器感测通过光学成像系统入射的被摄体图像而获得的图像数据进行校正由于所述光学成像系统的像差而导致的图像劣化的恢复处理，所述图像处理设备包括：选择单元，被构造成根据所述图像感测时的图像感测条件来选择要用于恢复处理的滤波器；图像处理单元，被构造成通过使用由所述选择单元选择的滤波器来针对所述图像数据进行恢复处理；以及校正单元，被构造成基于所述图像处理单元的恢复处理之前与之后的像素的值之间的差异来确定校正值，并使用所确定的校正值来校正所述图像处理单元的恢复处理之前的像素值。

【技术实现步骤摘要】

本专利技术涉及，更具体地说，涉及一种使用图像恢复处理来校正劣化图像的图像处理设备及方法。
技术介绍
由于信息的数字化使得能够将图像作为信号值来处理，因此提出了针对所感测到的图像的各种校正处理方法。具体地说，当被摄体被数字摄像机感测并成像时，所获得的图像或多或少会由于光学成像系统的像差(aberration)而劣化。图像的模糊成分的原因包括光学系统的球面像差、彗形像差、像场弯曲及像散。由于这些像差而导致的图像的模糊成分中的各模糊成分指示从被摄体的一点发出的光束有扩散地形成到图像中，而该光束应当在没有任何像差或者任何衍射影响的情况下会聚到成像平面上的一点中。在光学术语中，这种状态称作PSF(点扩散函数)，但是在图像术语中，将被称作模糊成分。图像的模糊可以指示散焦图像，但在这里指示即使图像对焦，也由于光学系统的以上像差的影响而模糊的图像。另外，由于光学系统的轴上色差、彩色的球面像差、及彩色的彗形像差而导致的彩色图像上的彩色镶边可以被视为在不同波长处模糊的不同方式。此外，由光学系统的倍率色差引起的横向上的彩色镶边可以被视为由于针对各个光波长的图像感测倍率差异而导致的位移或相移。通过PSF的傅里叶变换而获得的0TF(光学传递函数)是通过复数来表达的像差的频率成分信息。OTF的绝对值，即，振幅分量称作MTF (调制传递函数)，而相位分量称作PTF(相位传递函数)。也就是说，MTF和PTF分别是由于像差而导致的图像劣化的振幅分量和相位分量的频率特性。在这种情况下，通过式(I)将相位分量表示为相位角:PTF = tarT1 (Im (OTF) /Re (OTF) )...(I)其中，Re (OTF)和Im(OTF)分别表示OTF的实部和虚部。如上所述，光学成像系统的OTF引起图像的振幅分量和相位分量的劣化。由于该原因，劣化图像如同彗形像差地在被摄体的各点处非对称地模糊。作为校正振幅(MTF)和相位(PTF)的劣化的方法，已知一种通过使用光学成像系统的OTF的信息来校正这些劣化的方法。该方法由术语“图像恢复”和“图像复原”来称谓。通过使用光学成像系统的OTF的信息来校正图像中的劣化的处理将被称作图像恢复处理或恢复处理。以下是图像恢复处理的概要。假定g(x，y)为劣化图像，f(x，y)为原始图像，h(x，y)为通过光学传递函数的傅里叶逆变换而获得的PSF，下面给出的式(2)成立:g(x，y) = h(x，y)*f(x，y)...(2)其中，*表示卷积，(X，y)表示图像上的坐标。在通过傅里叶变换将该式转换成频率面上的表示形式时，其变成如由式(3)所表示的各频率的乘积的形式:G(u, V) = H(u, V).F(u, V)...(3)其中，H为通过PSF的傅里叶变换而获得的函数，因此表示0TF，(U，V)表示二维频率面上的坐标，即，频率。也就是说，为了根据所感测到的劣化图像来获得原始图像，式(3)的两侧可以除以H，如由下面给出的式(4)所表示的。G(u, v)/H(u, V) = F(u, V)...(4)通过傅里叶逆变换将F(u，v)返回到实平面可以获得作为恢复图像的原始图像f (X，y) ο假定R是通过式(4)中的1/H的傅里叶逆变换而获得的值，还可以通过对实平面上的图像进行卷积处理来获得原始图像，如由式(5)所表示的:g(x, y) *R(x, y) = f (x, y)...(5)其中，R(x，y)称作图像恢复滤波器。然而，实际图像包括噪声成分。由于该原因，使用通过按以上方式对OTF求完全倒数而生成的图像恢复滤波器，将会将噪声成分与劣化图像一起放大。因此，通常不能获得合适的图像。对此，例如，已知一种根据图像信号与噪声信号之间的强度比来抑制图像的高频侧的恢复率的方法，诸如使用维纳滤波器的方法。作为校正图像的彩色镶边成分的劣化的方法，例如，通过校正以上模糊成分来校正劣化，以使得使模糊量对于图像的各个颜色成分一致。在这种情况下，由于OTF根据诸如变焦位置和光圈直径的图像感测条件而变化，因此必须相应地改变用于图像恢复处理的图像恢复滤波器。例如，日本专利第03532368号公开了一种通过使用要关于图像感测设备的对焦范围外部的范围使用的荧光波长所对应的PSF来消除用于观察活体内部的内窥镜中的图像模糊的技术。由于荧光很微弱，因此需要具有小f数的对物光学系统。这导致聚焦深度的减小。因此，该技术被设计成通过针对其中光学系统失焦的范围进行图像恢复处理来获得对焦图像。如上所述，针对所感测到的输入图像进行图像恢复处理可以通过校正像差来提高图像质量。在实际的图像感测操作中，输入图像的感测状态有时候不与用于校正感测状态的图像恢复滤波器的状态相匹配。例如，考虑所感测到的图像具有饱和像素。该饱和像素已丢失本身的被摄体信息，因此输入图像的状态不与要经图像恢复滤波器处理的劣化图像的状态相匹配。在将用于补偿频率特性的滤波器应用于图像恢复处理中的图像时，图像与滤波器之间的频率特性的差异会在图像中生成振铃。由于饱和而导致的被摄体信息的丢失使得所感测到的图像的饱和区域具有与被摄体的本身的频率特性大大不同的频率特性。具体地说，饱和像素与非饱和像素之间的边界附近的部分在频率特性方面与图像恢复滤波器的对象大大不同，因此该部分是趋向于出现振铃的区域。在描述在饱和区域周围生成的振铃之前，首先将参照示意性地示出图像恢复滤波器的图15A和图15B来描述图像恢复滤波器的示例。可以根据光学成像系统的像差特性及所需的恢复精度来确定图像恢复滤波器的抽头(tap)的数量。在图15A中所示的情况下，使用具有11X11个抽头的二维滤波器。图15A省略了各抽头中的值(系数)。图15B示出了该图像恢复滤波器的一个剖面。图像恢复滤波器的各抽头的值(系数值)的分布用于将由于像差而导致空间上扩散的PSF返回到理想的一个原始点。在使用图像恢复滤波器时，滤波器的各抽头根据图像的各像素而经受卷积处理(卷积积分或乘积和)。在卷积处理中，为了提高给定像素的信号值，使像素与图像恢复滤波器的中心相一致。然后，该技术针对图像及图像恢复滤波器的各个对应像素来计算图像的信号值与滤波器的系数值的乘积，并用中心像素的信号值来替代乘积的总和。图16A至图16D是示出在应用图像恢复滤波器时在饱和部分附近生成的振铃的示例的图。图16A至图16D示出了所感测到的图像中的给定边缘附近的像素值。各横坐标表示像素位置，并且各纵坐标表示给定颜色成分的像素值。图16A示出了当不存在饱和像素时在应用图像恢复滤波器之前的状态。将图像恢复滤波器应用于该图像将生成其边缘模糊已被校正的恢复图像，如图16B中所示。图16C示出了当在边缘的高亮度侧出现饱和时应用图像恢复滤波器之前的状态。即使在该状态中将图像恢复滤波器应用于图像，由于被摄体信息由于饱和而丢失，因此也不能合适地校正边缘模糊。结果，有时候出现如图16D中所示的振铃。然而，日本专利第03532368中所公开的常规技术未公开减少由像素饱和生成的振铃的技术。
技术实现思路
本专利技术是考虑以上情况而做出的，并通过进行图像恢复处理来减少由于像素饱和而在饱和区域及其周围区域中生成的振铃。本专利技术在第一方面中提供了 一种图像处理设备，其用于对通过使用图像传感器感测通过光学成像系统入射的被摄体图像而本文档来自技高网...

【技术保护点】
一种图像处理设备，其用于对通过使用图像传感器感测通过光学成像系统入射的被摄体图像而获得的图像数据进行校正由于所述光学成像系统的像差而导致的图像劣化的恢复处理，所述图像处理设备包括：选择单元，被构造成根据所述图像感测时的图像感测条件来选择要用于恢复处理的滤波器；图像处理单元，被构造成通过使用由所述选择单元选择的所述滤波器来针对所述图像数据进行恢复处理；以及校正单元，被构造成基于所述图像处理单元的恢复处理之前与之后的像素的值之间的差分来确定校正值，并使用所确定的校正值来校正所述图像处理单元的恢复处理之前的像素值。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：加纳明，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：