图像处理装置、摄像设备和图像处理方法制造方法及图纸

本发明专利技术涉及一种图像处理装置、摄像设备和图像处理方法。该图像处理装置包括：频率分量分解部，用于将从具有遮光像素区域和非遮光像素区域的图像传感器获得的图像分解成两个以上的频率分量；噪声量计算部，用于基于遮光像素区域中的频率分量计算该频率分量的噪声量；噪声抑制部，用于根据已由噪声量计算部计算出的噪声量抑制非遮光像素区域中的频率分量的噪声成分；以及频率分量合成部，用于将已由频率分量分解部分解出的频率分量进行合成，以形成图像。

【技术实现步骤摘要】

本专利技术涉及用于对已从CCD(Charge Coupled Device，电荷耦合器件)图像传感器或CMOS(Compl ementary Metal OxideSemiconductor，互补金属氧化物半导体)图像传感器等图像传感器获得的图像执行图像处理的。特别地，本专利技术涉及提高拍摄到的图像的图像质量。
技术介绍
CCD图像传感器或CMOS图像传感器等的图像传感器用于数字照相机或摄像机等的摄像设备。近年来，伴随着各像素的大小的减小，图像传感器上的像素数量已经增加。使用具有增加的像素数量的图像传感器仍要求高速处理，以使得不损失连续拍摄速度等的可用性。高速处理的典型方法包括为图像传感器提供多个输出路径以便同时读出多个像素的多通道方法。然而，出现了以下情况由于光学信号因像素大小的减小而变小，因而像素易于受噪声影响。另外，在多通道效应的影响下，噪声量根据输出路径而不同。 例如，在具有多个输出放大器的多通道CMOS图像传感器中，如果这些输出放大器的特性中存在波动，则在各列中出现电平差。将该电平差称为“垂直方向的图案噪声”。另外，由于各像素共用电源和GND(接地)，因此如果各像素的电源和GND在读出所选择的行期间波动，则在全体的选择行中出现电平差。将该电平差称为“水平方向的图案噪声”。 根据电源和GND设置在图像传感器内的位置，水平方向的图案噪声可能引起左右方向的强度差。由于各像素的电源和GND的布线长度不同，因此对于不同像素，布线的阻抗也不同。因此，像素离电源和GND越远，布线的阻抗增加，由此电源和GND的波动的影响变得越强烈。结果，图案噪声强度可能在离电源和GND更远的位置处增加。这种图案噪声可能导致图像质量劣化，这就需要减少噪声量。 由于垂直方向的图案噪声由输出放大器的特性唯一确定，因此可以通过对各输出放大器的波动校正来校正。另一方面，如果电源和GND的波动是随机的，则水平方向的图案噪声可能变为随机的。用于校正这种图案噪声的典型方法包括以下要说明的偏移(offset)校正。 图像传感器设置有称为光学黑体(下文中称为“OB”)的区域，该区域被遮光以不允许从被摄体反射来的光到达图像传感器。图案噪声也出现在OB部中。因此，在偏移校正时，通过对OB部中以条带状设置在像素区域中水平方向的一端处的水平光学黑体(下文中称为“HOB”)的各行计算平均值，来计算水平方向的图案噪声量。通过从作为非遮光正常区域的有效部的各行减去该值来校正图案噪声。 此外，作为去除噪声的方法，已经提出了利用频率分解的噪声去除方法。日本特开2006-309749号公报公开了以下方法在该方法中，利用多重分辨率变换将图像分解成多个频带中的低频分量和高频分量，并对各个分解出的低频分量和高频分量进行噪声去除处理。在该方法中，将边缘保持平滑化滤波器用于噪声去除处理，并且对噪声去除后的频率分量进行合成以获得校正后的图像。 另外，日本特开2008-15741号公报公开了以下方法重复用于将由图像传感器所获得的图像分解成高频分量和低频分量的操作，将由此得到的分量分解成多个频带，从各频带中的高频分量去除噪声成分，从而通过频率合成获得校正后的图像。对于从高频分量的噪声去除，为了避免误去除被摄体边缘成分，对同一频带中的低频分量进行边缘检测滤波，由此生成边缘保持信息。利用该信息去除来自除边缘部以外的场所的噪声。 不利地，针对各行或各列所生成的图案噪声和针对各像素随机生成的随机噪声均包括在拍摄到的图像中。当存在大量随机噪声时，由于随机噪声的影响因而从有效部减去HOB区域的各行的平均值的偏移校正不能够从HOB区域精确地检测到图案噪声。另外，当出现具有左右方向的强度差的图案噪声时，仅由HOB区域不能够检测到左右方向的强度差。结果，不但不能获得充分的校正效果，图像质量还可能劣化。 由于在日本特开2006-309749号公报中公开的噪声去除方法使用边缘保持平滑化滤波器，因此不管在除边缘部以外的场所是否存在噪声都对任意噪声进行校正。同样，在日本特开2008-15741号公报中公开的噪声去除方法也不管在除已由边缘检测滤波器检测到边缘的位置以外的位置处是否存在噪声都进行噪声校正。因此，传统的噪声去除方法甚至在原来不存在噪声因而无需进行校正的位置处进行噪声校正，结果可能导致图像分辨率的下降。
技术实现思路
期望提供一种可以从拍摄到的图像中精确地检测到具有左右方向或上下方向的强度差的图案噪声并且可以通过校正这种图案噪声来提高图像质量的。 本专利技术提供了一种图像处理装置，包括频率分量分解部，用于将从具有遮光像素区域和非遮光像素区域的图像传感器获得的图像分解成两个以上频率分量；噪声量计算部，用于基于所述遮光像素区域中的频率分量，计算该频率分量的噪声量；噪声抑制部，用于根据已由所述噪声量计算部计算出的所述噪声量，抑制所述非遮光像素区域中的频率分量的噪声成分；以及频率分量合成部，用于将已由所述频率分量分解部分解出的频率分量合成，以形成图像。 本专利技术还提供一种摄像设备，包括图像传感器，其具有遮光像素区域和非遮光像素区域；频率分量分解部，用于将从所述图像传感器获得的图像分解成两个以上的频率分量；噪声量计算部，用于基于所述遮光像素区域中的频率分量，计算该频率分量的噪声量；噪声抑制部，用于根据已由所述噪声量计算部计算出的所述噪声量，抑制所述非遮光像素区域中的频率分量的噪声成分；以及频率分量合成部，用于将已由所述频率分量分解部分解出的频率分量进行合成，以形成图像。 本专利技术提供还一种图像处理方法，包括以下步骤将从具有遮光像素区域和非遮光像素区域的图像传感器获得的图像分解成两个以上的频率分量；根据所述遮光像素区域中的频率分量，计算该频率分量的噪声量；根据所计算出的噪声量，抑制所述非遮光像素区域中的频率分量的噪声成分；以及将分解出的频率分量进行合成，以形成图像。 期望可以从拍摄到的图像精确地检测到具有左右方向或上下方向的强度差的图案噪声，并且可以通过校正这种图案噪声来提高图像质量。 通过以下参考附图对典型实施例的说明，本专利技术的其它特征将变得明显。 附图说明 图1是示出本专利技术的图像处理装置中的摄像设备的第一实施例的框图。 图2是示出使用CMOS图像传感器的第一实施例的图像传感器60的示意结构的图。 图3是示出CMOS图像传感器的单位像素(1个像素)600的电路的示例的图。 图4是示出由第一实施例的图像传感器60所采用的多通道结构中的CMOS图像传感器的整体布局的图。 图5是示出图像处理部100的电路结构的示例的框图。 图6是示出频率分量分解部110的电路结构的示例的功能框图。 图7是示出如何将输入图像分解成多个频率分量的图。 图8是示出频率分量合成部120的电路结构的示例的功能框图。 图9是示出校正部123的结构的框图。 图10A和10B是示出校正处理的图。 图11A和11B分别是示出LH图像中存在图案噪声的行的小波展开系数的绝对值的图和示出LH图像中未出现图案噪声的行的小波展开系数的绝对值的图。 图12A～12D是示出在噪声抑制部与小波展开系数相乘的校正系数的图。 图13是示出由校正部对LH图像的各行执行的处理的流程的流程图。 图14是示出图像处理部100中的噪声抑制处理的典型流程图。 图本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：　频率分量分解部，用于将从具有遮光像素区域和非遮光像素区域的图像传感器获得的图像分解成两个以上的频率分量；　噪声量计算部，用于基于所述遮光像素区域中的频率分量，计算该频率分量的噪声量；　噪声抑制部， 用于根据已由所述噪声量计算部计算出的所述噪声量，抑制所述非遮光像素区域中的频率分量的噪声成分；以及　频率分量合成部，用于将已由所述频率分量分解部分解出的频率分量进行合成，以形成图像。

【技术特征摘要】
JP 2008-8-12 2008-207787;JP 2009-4-7 2009-0929871.一种图像处理装置，包括频率分量分解部，用于将从具有遮光像素区域和非遮光像素区域的图像传感器获得的图像分解成两个以上的频率分量；噪声量计算部，用于基于所述遮光像素区域中的频率分量，计算该频率分量的噪声量；噪声抑制部，用于根据已由所述噪声量计算部计算出的所述噪声量，抑制所述非遮光像素区域中的频率分量的噪声成分；以及频率分量合成部，用于将已由所述频率分量分解部分解出的频率分量进行合成，以形成图像。2.根据权利要求1所述的图像处理装置，其特征在于，还包括噪声分离部，用于根据已由所述噪声量计算部计算出的所述噪声量，将所述非遮光像素区域中的频率分量的噪声成分与被摄体成分分离开，其中，所述噪声抑制部抑制已由所述噪声分离部分离出的所述噪声成分。3.根据权利要求2所述的图像处理装置，其特征在于，所述噪声分离部通过将由所述噪声量计算部计算出的列噪声量或行噪声量与噪声判断基准值进行比较来判断各列或各行是否有噪声产生，并且在已判断为产生了噪声的列或行中将所述噪声成分和所述被摄体成分分离开。4.根据权利要求3所述的图像处理装置，其特征在于，所述噪声判断基准值是基于已由所述噪声量计算部从所述遮光像素区域中由所述频率分量分解部分解出的对角方向高频分量计算出的噪声量而确定的。5.根据权利要求2所述的图像处理装置，其特征在于，还包括阈值确定部，用于基于已由所述噪声量计算部计算出的所述噪声量确定阈值，其中，所述噪声分离部使用由所述阈值确定部确定出的所述阈值，将所述噪声成分和所述被摄体成分分离开。6.根据权利要求5所述的图像处理装置，其特征在于，所述遮光像素区域至少由在两个相对侧处被遮光的第一遮光像素区域和第二遮光像素区域构成，并且所述阈值确定部通过对所述第一遮光像素区域和所述第二遮光像素区域的噪声量进行线性插值来确定所述...

【专利技术属性】
技术研发人员：池户秀树，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP[]