图像处理装置和图像处理方法制造方法及图纸

一种图像处理装置，具有：区域提取部（１０８），其提取当前帧内的包含对象像素在内的第１预定区域和前一帧的包含空间位置与对象像素相同的像素在内的第２预定区域；运动矢量计算部（１０３），其根据第１预定区域内的一部分或全部像素、以及第２预定区域内的一部分像素，计算第１预定区域相对于前一帧的运动矢量；滤波器系数决定部（１０４），其根据运动矢量，决定针对第２预定区域的多个像素的滤波器系数；以及降噪处理部（１０５），其根据第２预定区域的多个像素和滤波器系数，降低对象像素的噪声。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及对按时间序列方式所输入的图像进行降噪处理的图像处理装置和图 像处理方法。
技术介绍
动态图像信号是收集多个按指定时间间隔所拍摄的帧(场)图像而构成的信号。 该动态图像信号一般可假定为各帧(场)图像具有针对帧内(场内)的局部空间的相关， 并且邻接帧(场)具有针对帧间(场间)的局部时间的相关。这样的动态图像信号主要是通过利用具有CXD和CMOS等摄像元件的摄像机拍摄 任意的被摄体而获得的。例如，数字摄像机中的数字动态图像信号按以下获得。首先，利用 构成摄像机的摄像部的镜头，使光学被摄体像在摄像元件上成像。所成像的光学被摄体像 按排列在摄像元件上的各像素进行光电转换而成为电信号。该电信号按预定顺序从摄像元 件被输出。从该摄像元件输出的信号是模拟图像信号。该模拟图像信号以预定的增益量进 行放大，之后由A/D转换部转换成数字图像信号。这样获得的数字图像信号通常在此后由 数字信号处理电路进行预定的图像处理。在这样的由摄像机所拍摄的图像中一般重叠有噪声。噪声的产生有各种要因，其 中之一是由摄像元件的特性引起。作为起因于该摄像元件的特性的噪声中的代表性噪声， 可列举起因于光电转换时的统计性质的散粒噪声。该散粒噪声具有与图像信号值的平方根 成正比的平均振幅，一般针对时间方向和空间方向在统计上成为随机噪声。随机噪声照字义是“随机”，相对于此，动态图像信号如上所述被认为在局部空间 上和局部时间上有相关性，因而作为针对重叠有这样的随机噪声的动态图像信号进行的降 噪处理，能利用以下的降噪处理利用了空间相关的帧内(场内)降噪处理，以及利用了时 间相关的帧间(场间)降噪处理。于是，以往提出了各种针对动态图像信号能利用的这些 降噪处理技术。另外，以下，只要不作特别区别，就将1个摄像图像记载为帧，然而即使将帧置换 为场，也能同样应用专利技术。首先，在上述的2种降噪处理中的利用时间相关的降噪处理中，有将降噪后的帧 用作以前帧的巡回型降噪处理，对于该巡回型降噪处理，公知其是在有数的降噪处理技术 中可获得较大的降噪效果的技术。不过，该技术是以处理对象帧和该处理对象帧的以前的 帧之间的相关作为前提的技术，因而当应用于具有运动的场景时，具有以前的帧重叠在当 前的帧上而产生残像的问题。为了应对该问题，还开发出控制成减少残像的技术，然而新产 生这样的问题当减少了残像时，下次不能期待充分的降噪效果。作为用于解决该问题的技术，例如在日本特开平2-184176号公报中记载了这样 的技术检测影像的各画面部分的变化量，进一步计算与该变化量成正比的动态信号，根据 该动态信号分别切换前一帧的影像信号的权重和当前帧的前一行的影像信号的权重，将这 些加权后的影像信号相加后的信号与当前的影像信号以预定比率进行混合，从而进行降噪处理。在该技术中，由于根据影像的变化量计算动态信号，因而当在影像的边缘部有变动 时，导致当前影像信号相对于前一帧或前一行的影像信号的混合比率增大，具有降噪效果 下降的问题。对此，例如在日本特开平6-62283号公报中记载了这样的降噪处理技术将帧内相关和帧间相关一起利用，即使对于有运动的场景，也能提高降噪能力。该公报记载的降噪 系统具有用于延迟1个帧或者1个场的图像存储器，通过对以下的像素数据进行非线性滤 波器处理，输出进行了降噪后的像素数据，这些像素数据是新输入的中心像素数据；该中 心像素数据的附近的像素数据；以及记录在该图像存储器内的已进行了降噪的前一帧或者 前一场的图像数据中的所述中心像素数据的附近的像素数据。所述非线性滤波器是这样的 非线性滤波器对与所述中心像素数据值相关高的附近像素的数据分配大的权重系数，反 之对相关低的像素分配小的权重系数，进行加权平均。这样，可进行利用了帧内相关和帧间 相关这两者的降噪。在该技术中，特别是在摄像图像在静止状态的情况下，由于在加权平 均中使用的前一帧或前一场的像素和当前场的像素中权重系数大的像素增加，因而有助于 平均化的像素数增加，能有效地进行降噪。并且，在摄像图像有运动的情况下，与前一帧或 前一场的像素相比，对当前场的像素赋予大的权重系数，进行使用了大致当前场的像素的 加权平均，因而降噪量与在静止状态的情况下相比减小，然而与使用当前帧和以前帧的相 同位置的像素的简单的巡回型降噪处理相比，降噪效果可以说很大。不过，在该处理中，由 于存在这样的情况，即，不仅针对与处理对象像素本来有相关的像素设定大的权重，而且即 使是与处理对象像素没有时间方向的相关的像素，也由于噪声影响而判定为外观上的相关 高，设定大的权重，因而当使用这些像素来进行滤波器处理时，有可能消除了本来应再现的 图像的细微结构。并且，在日本特开平6-350879号公报中记载了这样的技术在进行帧间的降噪处 理时，进行当前帧的预定块与前一帧的图像信号的块匹配来计算相关，提取判定为相关最 高的前一帧的块，对该提取块和当前帧的预定块进行降噪处理。在该技术中，即使在有运动 的情况下，也能有效利用帧间相关来进行降噪。不过，在该技术中，当图像信号内包含噪声 时，块匹配的精度下降，具有这样的可能性在摄影图像中的不包含结构上显著的特征(边 缘)等的处于静止的细微结构区域中，作为来自前一帧的图像信号的提取块，(在噪声是随 机噪声的情况下例如任意地)提取了本来不应提取的块。由于这与将时间上运动的图像进 行累计是等效的，因而有可能消除了静止区域的细微结构并招致分辨率下降。这样，对于使用时间相关的现有的降噪处理，特别是针对动态区域，是实质切换到 主要使用帧内相关的降噪处理的技术，或者是计算运动矢量、提取帧间相关高的区域、更积 极地利用帧间相关来进行降噪处理的技术。然而，对于上述的现有技术，如上所述，可以说都不能利用帧间相关来提高降噪能 力，而且不能充分保持细微结构。
技术实现思路
本专利技术是鉴于上述情况而完成的，本专利技术的目的是提供一种可在良好保持细微结 构的同时、充分降低动态图像的噪声的。为了达到上述目的，本专利技术的图像处理装置对按时间序列输入的图像进行降噪处理，所述图像处理装置具有像素提取单元，其提取处理对象图像内的包含对象像素在内的 第1预定区域的多个像素、以及该处理对象图像之前的过去图像的包含空间位置与所述对 象像素相同的像素在内的第2预定区域的多个像素；运动矢量计算单元，其根据所述第1预 定区域内的一部分或全部像素、以及所述第2预定区域内的一部分像素，计算所述第1预定 区域相对于所述过去图像的运动矢量；滤波器系数决定单元，其根据所述运动矢量，决定针 对所述第2预定区域的多个像素的滤波器系数；以及降噪单元，其根据所述第2预定区域的 多个像素和所述滤波器系数，降低所述对象像素的噪声。并且，根据本专利技术的图像处理方法对按时间序列输入的图像进行降噪处理，所述 图像处理方法具有像素提取步骤，提取处理对象图像内的包含对象像素在内的第1预定 区域的多个像素、以及该处理对象图像之前的过去图像的包含空间位置与所述对象像素相 同的像素在内的第2预定区域的多个像素；运动矢量计算步骤，根据所述第1预定区域内的 一部分或全部像素、以及所述第2预定区域内的一部分像素，计算所述第1预定区域相对于 所述过去图像的运动矢量；滤波器系数决定步骤，根据所述运动矢量，决定针对所述第2预 定区本文档来自技高网...

【技术保护点】
一种图像处理装置，该图像处理装置对按时间序列输入的图像进行降噪处理，其特征在于，所述图像处理装置具有：像素提取单元，其提取处理对象图像内的包含对象像素在内的第１预定区域的多个像素、以及该处理对象图像之前的过去图像的包含空间位置与所述对象像素相同的像素在内的第２预定区域的多个像素；运动矢量计算单元，其根据所述第１预定区域内的一部分或全部像素、以及所述第２预定区域内的一部分像素，计算所述第１预定区域相对于所述过去图像的运动矢量；滤波器系数决定单元，其根据所述运动矢量，决定针对所述第２预定区域的多个像素的滤波器系数；以及降噪单元，其根据所述第２预定区域的多个像素和所述滤波器系数，降低所述对象像素的噪声。

【技术特征摘要】
【国外来华专利技术】JP 2007-11-21 2007-302099一种图像处理装置，该图像处理装置对按时间序列输入的图像进行降噪处理，其特征在于，所述图像处理装置具有像素提取单元，其提取处理对象图像内的包含对象像素在内的第1预定区域的多个像素、以及该处理对象图像之前的过去图像的包含空间位置与所述对象像素相同的像素在内的第2预定区域的多个像素；运动矢量计算单元，其根据所述第1预定区域内的一部分或全部像素、以及所述第2预定区域内的一部分像素，计算所述第1预定区域相对于所述过去图像的运动矢量；滤波器系数决定单元，其根据所述运动矢量，决定针对所述第2预定区域的多个像素的滤波器系数；以及降噪单元，其根据所述第2预定区域的多个像素和所述滤波器系数，降低所述对象像素的噪声。2.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置还具有像素 值间差值计算单元，该像素值间差值计算单元计算由所述像素提取单元提取出的所述第1 预定区域内的像素的像素值以及所述第2预定区域内的像素的像素值与上述对象像素的 像素值之间的差值，所述运动矢量计算单元根据针对所述第1预定区域内的一部分或全部像素的所述差 值、以及针对所述第2预定区域内的一部分像素的所述差值，计算所述第1预定区域相对于 所述过去图像的运动矢量。3.根据权利要求2所述的图像处理装置，其特征在于，上述滤波器系数决定单元根据 所述像素值间的差值和所述运动矢量，决定针对所述第2预定区域的多个像素的滤波器系 数，并决定针对所述第1预定区域的多个像素的滤波器系数，上述降噪单元根据所述第1预定区域的多个像素、所述第2预定区域的多个像素以及 所述滤波器系数，降低所述对象像素的噪声。4.根据权利要求1至权利要求3中任一项所述的图像处理装置，其特征在于，上述运动 矢量计算单元构成为具有估计针对上述对象像素的噪声量的噪声量估计单元，并根据估计 出的所述噪声量决定运动矢量。5.根据权利要求1至权利要求4中任一项所述的图像处理装置，其特征在于，上述滤波 器系数决定单元构成为具有最大权重位置决定单元，其根据上述运动矢量决定最大权重位置；以及空间距离权重系数决定单元，其根据距所述最大权重位置的空间距离，决定针对所述 预定区域的像素的空间距离权重系数。6.根据权利要求3所述的图像处理装置，其特征在于，上述滤波器系数决定单元构成 为具有最大权重位置决定单元，其根据上述运动矢量决定最大权重位置；空间距离权重系数决定单元，其根据距所述最大权重位置的空间距离，决定针对所述 预定区域的像素的空间距离权重系数；像素值间距离权重系数决定单元，其根据上述像素值间的差值，决定针对所述预定区 域的像素的像素值间距离权重系数；以及滤波器系数计算单元，其根据所述空间距离权重系数和所述像素值间距离权重系数，计算针对所述预定区域的像素的滤波器系数。7.根据权利要求1至权利要求6中任一项所述的图像处理装置，其特征在于，所述过去 图像是由所述降噪单元...

【专利技术属性】
技术研发人员：佐佐木宽，
申请(专利权)人：奥林巴斯株式会社，
类型：发明
国别省市：JP[日本]