图像处理装置、图像处理方法以及程序制造方法及图纸

提供图像处理装置、图像处理方法以及程序，能够高精度地对在包含缺陷像素和闪烁缺陷像素在内的摄像元件中生成的图像数据校正缺陷像素和闪烁缺陷像素。图像处理装置(30)具有：第三外部接口部(31)，其获取包含产生缺陷像素噪声的读出电路的位置信息或多个像素各自的位置信息在内的缺陷像素信息、将读出电路的位置信息或多个像素各自的位置信息和与起因于读出电路的闪烁缺陷噪声相关的特征量对应起来而成的闪烁缺陷噪声信息、以及摄像元件所生成的所述图像数据；以及噪声降低部(32)，其根据第三外部接口部(31)所获取的缺陷像素信息和闪烁缺陷噪声信息对图像数据降低缺陷像素噪声和闪烁缺陷噪声中的任何一方的噪声，然后降低另一方的噪声。

Image processing device, image processing method and program

An image processing device, an image processing method and a program are provided, which can accurately correct defective pixels and blinking defective pixels in image data generated in camera elements including defective pixels and blinking defective pixels. The image processing device (30) has third external interface (31), the defective pixel noise contains defective pixel information, including location information readout circuit or a plurality of pixels of the respective location information will read out circuit or a plurality of pixels and their location information arises from the readout circuit flashing defect related features correspond to the amount of noise and flicker noise, and the image element defect information generated by the image data; and a noise reduction part (32), according to the third external interface unit (31) obtained by the defective pixel information and flicker noise information of the image data to reduce the defects of defective pixel noise noise and flicker noise in the defects of any party, and then reduce the noise of the other party.

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法以及程序
本专利技术涉及对闪烁缺陷噪声和缺陷像素噪声进行校正的的图像处理装置、图像处理方法以及程序，所述闪烁缺陷噪声和缺陷像素噪声是在摄像元件中产生的RTS噪声那样的像素值在一定范围内变动的噪声，所述摄像元件具有配置为二维状的多个像素。
技术介绍
近年来，在CMOS(ComplementaryMetalOxideSemiconductor：互补金属氧化物半导体)等摄像元件中，像素和从该像素读出信号的读出电路的微细化正在推进。在这样的被微细化的读出电路中，感光度的降低和各种噪声的增加成为问题。针对感光度的降低，通过采用使多个像素共享一个读出电路而读出信号的共享像素构造，减小了摄像元件中的电路所需的面积，通过使各像素的开口率(受光部的比例)提高而使感光度提高。另一方面，在摄像元件中产生的噪声中，除了暗电流所引起的暗电流散粒噪声和起因于读出电路中的热噪声等的随机噪声以外，还至少存在在某种条件下像素值始终表示异常值的缺陷像素噪声(缺陷像素)、以及像素值随机变动的闪烁缺陷噪声等。在这样的缺陷像素中，存在像素值比周边的像素的像素值高的白损伤和像素值比周边的像素的像素值低的黑损伤。这里，在白损伤中包含始终发白(比周围的像素明亮)的损伤、在特定条件例如温度、曝光量以及曝光时间等发白(比周围的像素明亮)的损伤。另外，在黑损伤中包含始终发黑(比周围的像素暗)的损伤、在特定条件例如温度、曝光量以及曝光时间等发黑(比周围的像素暗)的损伤。另外，在缺陷像素中也存在起因于读出电路的缺陷像素，因而在采用共享像素构造的情况下，有时在共享读出电路的所有的像素中产生同样的缺陷像素。作为对这样的缺陷像素进行校正的技术，公知有如下的技术：计算关注像素附近的像素的平均值，根据与该平均值的比较来判定是否是缺陷像素，在判定为是缺陷像素的情况下，将该缺陷像素置换为附近像素的平均值(参照专利文献1)。另外，在上述的闪烁缺陷噪声中存在起因于读出电路的RTS(RandomTelegraphSignal：随机电报信号)噪声。作为对该RTS噪声进行校正的技术，公知有如下的技术：根据所拍摄的图像中的关注像素的像素值、该关注像素的周边像素的像素值以及预先按摄像元件的每个像素检测出的RTS噪声的噪声电平(下面称作“RTS噪声电平”)，来判定对关注像素是否存在RTS噪声的影响，在判定为存在RTS噪声的影响的情况下，对该关注像素的像素值加上或减去RTS噪声电平(参照专利文献2)。现有技术文献专利文献专利文献1：日本特开2002-10274号公报专利文献2：日本特开2012-105063号公报
技术实现思路
专利技术要解决的课题可是，通常与RTS噪声相比白损伤或黑损伤给画质带来的影响更大，被视为真值的值的变动量较大。因此，优选对缺陷像素和闪烁缺陷像素使用彼此不同的校正方法。另外，随着缺陷像素和闪烁缺陷像素增加，在摄像元件内缺陷像素和闪烁缺陷像素接近的可能性增加。图27是示意性地示出现有的摄像元件的各像素的图。如图27所示，随着在摄像元件500内缺陷像素PW1和闪烁缺陷像素PR1增加，会发生缺陷像素PW1和闪烁缺陷像素PR1相邻的情况。因此，即使使用上述的专利文献1和专利文献2的技术来分别对缺陷像素和闪烁缺陷像素单独地进行校正，有时也会受到另一方的噪声的影响。并且，由于RTS噪声以摄像元件500的共享块G1单位产生，因此在全部看作缺陷像素而进行校正的情况下，有可能画质显著降低。这样，存在如下的问题点：即使使用上述的专利文献1和专利文献2的技术来对在包含缺陷像素和闪烁缺陷像素在内的摄像元件中生成的图像数据分别单独地校正缺陷像素和闪烁缺陷像素，也会发生过校正或校正残留而成为精度较低的校正。本专利技术就是鉴于上述问题而完成的，其目的在于提供能够高精度地对在包含缺陷像素和闪烁缺陷像素在内的摄像元件中生成的图像数据校正缺陷像素和闪烁缺陷像素的图像处理装置、图像处理方法以及程序。用于解决课题的手段为了解决上述课题并达成目的，本专利技术的图像处理装置对摄像元件所生成的图像数据中包含的闪烁缺陷噪声和缺陷像素噪声进行校正，所述摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，所述缺陷像素噪声与该闪烁缺陷噪声不同，是根据所述多个像素的位置而产生的，其特征在于，该图像处理装置具有：获取部，其获取包含产生所述缺陷像素噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的缺陷像素信息、包含产生所述闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的闪烁缺陷噪声信息、以及所述摄像元件所生成的所述图像数据；以及噪声降低部，其根据所述获取部所获取的所述缺陷像素信息和所述获取部所获取的所述闪烁缺陷噪声信息，对所述获取部所获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声。另外，本专利技术的图像处理装置的特征在于，在上述专利技术中，所述噪声降低部在根据所述获取部所获取的所述缺陷像素信息和所述获取部所获取的所述闪烁缺陷噪声信息对所述获取部所获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声后，至少根据所述获取部所获取的所述缺陷像素信息或所述获取部所获取的所述闪烁缺陷噪声信息中的任意信息而降低另一方的噪声。另外，本专利技术的图像处理装置的特征在于，在上述专利技术中，所述噪声降低部具有：缺陷像素校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述缺陷像素噪声；以及闪烁缺陷噪声校正部，其根据所述闪烁缺陷噪声信息对由所述缺陷像素校正部校正了所述缺陷像素噪声后的所述图像数据校正所述闪烁缺陷噪声。另外，本专利技术的图像处理装置的特征在于，在上述专利技术中，所述噪声降低部具有：闪烁缺陷噪声校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述闪烁缺陷噪声；以及缺陷像素校正部，其根据所述缺陷像素信息对由所述闪烁缺陷噪声校正部校正了所述闪烁缺陷噪声后的所述图像数据校正所述缺陷像素噪声。另外，本专利技术的图像处理装置的特征在于，在上述专利技术中，所述噪声降低部具有：缺陷像素校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述缺陷像素噪声；以及闪烁缺陷噪声校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述闪烁缺陷噪声，所述噪声降低部根据所述缺陷像素信息和所述闪烁缺陷噪声信息，在与所述图像数据对应的图像的关注像素中产生了所述缺陷像素噪声的情况下，输出由所述缺陷像素校正部校正了所述关注像素的像素值后的结果，另一方面，在所述关注像素中产生了所述闪烁缺陷噪声的情况下，输出由所述闪烁缺陷噪声校正部校正了所述关注像素的像素值后的结果。另外，本专利技术的图像处理装置的特征在于，在上述专利技术中，所述缺陷像素校正部使用除所述闪烁缺陷噪声信息中包含的可能产生所述闪烁缺陷噪声的像素以外的像素的像素值，来校正所述缺陷像素噪声。另外，本专利技术的图像处理装置的特征在于，在上述专利技术中，所述缺陷像素校正部将所述闪烁缺陷噪声信息中包含的可能产生所述闪烁缺陷噪声的像素的像素值与该像素的周围像素各自的像素值之间的差为规定的阈值以上的像素的像素值排除，本文档来自技高网...

【技术保护点】
一种图像处理装置，所述图像处理装置对摄像元件所生成的图像数据中包含的闪烁缺陷噪声和缺陷像素噪声进行校正，所述摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，所述缺陷像素噪声与该闪烁缺陷噪声不同，是根据所述多个像素的位置而产生的，其特征在于，该图像处理装置具有：获取部，其获取包含产生所述缺陷像素噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的缺陷像素信息、包含产生所述闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的闪烁缺陷噪声信息、以及所述摄像元件所生成的所述图像数据；以及噪声降低部，其根据所述获取部所获取的所述缺陷像素信息和所述获取部所获取的所述闪烁缺陷噪声信息，对所述获取部所获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声。

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，所述图像处理装置对摄像元件所生成的图像数据中包含的闪烁缺陷噪声和缺陷像素噪声进行校正，所述摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，所述缺陷像素噪声与该闪烁缺陷噪声不同，是根据所述多个像素的位置而产生的，其特征在于，该图像处理装置具有：获取部，其获取包含产生所述缺陷像素噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的缺陷像素信息、包含产生所述闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的闪烁缺陷噪声信息、以及所述摄像元件所生成的所述图像数据；以及噪声降低部，其根据所述获取部所获取的所述缺陷像素信息和所述获取部所获取的所述闪烁缺陷噪声信息，对所述获取部所获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声。2.根据权利要求1所述的图像处理装置，其特征在于，所述噪声降低部在根据所述获取部所获取的所述缺陷像素信息和所述获取部所获取的所述闪烁缺陷噪声信息对所述获取部所获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声后，至少根据所述获取部所获取的所述缺陷像素信息或所述获取部所获取的所述闪烁缺陷噪声信息中的任意信息而降低另一方的噪声。3.根据权利要求1或2所述的图像处理装置，其特征在于，所述噪声降低部具有：缺陷像素校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述缺陷像素噪声；以及闪烁缺陷噪声校正部，其根据所述闪烁缺陷噪声信息对由所述缺陷像素校正部校正了所述缺陷像素噪声后的所述图像数据校正所述闪烁缺陷噪声。4.根据权利要求1或2所述的图像处理装置，其特征在于，所述噪声降低部具有：闪烁缺陷噪声校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述闪烁缺陷噪声；以及缺陷像素校正部，其根据所述缺陷像素信息对由所述闪烁缺陷噪声校正部校正了所述闪烁缺陷噪声后的所述图像数据校正所述缺陷像素噪声。5.根据权利要求1所述的图像处理装置，其特征在于，所述噪声降低部具有：缺陷像素校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述缺陷像素噪声；以及闪烁缺陷噪声校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述闪烁缺陷噪声，所述噪声降低部根据所述缺陷像素信息和所述闪烁缺陷噪声信息，在与所述图像数据对应的图像的关注像素中产生了所述缺陷像素噪声的情况下，输出由所述缺陷像素校正部校正了所述关注像素的像素值后的结果，另一方面，在所述关注像素中产生了所述闪烁缺陷噪声的情况下，输出由所述闪烁缺陷噪声校正部校正了所述关注像素的像素值后的结果。6.根据权利要求3或5所述的图像处理装置，其特征在于，所述缺陷像素校正部使用除所述闪烁缺陷噪声信息中包含的可能产生所述闪烁缺陷噪声的像素以外的像素的像素值，来校正所述缺陷像素噪声。7.根据权利要求6所述的图像处理装置，其特征在于，所述缺陷像素校正部将所述闪烁缺陷噪声信息中包含的可能产生所述闪烁缺陷噪声的像素的像素值与该像素的周围像素各自的像素值之间的...

【专利技术属性】
技术研发人员：丸山裕辉，市川学，
申请(专利权)人：奥林巴斯株式会社，
类型：发明
国别省市：日本,JP