图像信号处理器偏置补偿噪声降低系统和方法技术方案

提供了在有效地降低噪声的同时降低由各种图像信号处理器(ISP)或ISP组件引入的偏置的系统和方法。ISP偏置包括来自空间噪声滤波、高动态范围(HDR)内插以及去马赛克等的偏置。具体地，本申请的方法和系统利用多个输入帧或像素块的凸组合，有效地降低来自空间噪声滤波器、反拜耳单元或其他ISP组件的偏置，从而提供改善的空时噪声降低方案。

Bias Compensation Noise Reduction System for Image Signal Processor

A system and method for effectively reducing noise while reducing bias introduced by various image signal processors (ISPs) or ISP components are provided. ISP bias includes bias from spatial noise filtering, high dynamic range (HDR) interpolation and de-mosaic. Specifically, the method and system of the present application utilizes convex combinations of multiple input frames or pixel blocks to effectively reduce bias from spatial noise filters, anti-Bayer units or other ISP components, thereby providing an improved space-time noise reduction scheme.

【技术实现步骤摘要】
【国外来华专利技术】图像信号处理器偏置补偿噪声降低系统和方法
本公开总体上涉及图像信号处理。具体地，本公开涉及在有效地降低噪声的同时补偿由图像信号处理器(ISP)或ISP组件引入的偏置的装置和方法。更具体地，提供了通过在有效地降低噪声的同时降低由包括空间噪声降低滤波器、HDR内插单元和去马赛克单元的各种ISP或者ISP组件所引入的偏置来产生高逼真度图像和视频的偏置补偿噪声降低系统和方法。
技术介绍
随着相机和具有像素尺寸的传感器继续缩小而数字处理能力的可用性继续改善，噪声降低已经成为图像和视频捕获系统的重要方面。一般地，视频噪声降低可以宽泛地分为空间噪声滤波器和时间噪声滤波器。已知空间滤波器使用每个视频帧中的相邻像素产生每个输出像素。已知时间滤波器使用帧之间的连续像素产生每个输出像素。可以同时使用空间噪声降低滤波器和时间噪声降低滤波器，以产生更好的结果。空间噪声降低对于静止图像是有效的，但是大多数现存的空间噪声降低滤波器导致在最终结果中的诸如平滑纹理和精细结构这样的某种形式的偏置或者诸如成环(ringing)或成块(blockiness)这样的伪像。在应用于视频时，空间噪声降低可能引起帧之间的可见的残差时间变化，其从单个帧是不可见的。时间噪声降低在其最通常的形式之一中包括对输入帧的固定部分中的像素进行平均或者以其他方式进行组合。在时间滤波器缓慢地收敛时，即，在很少的帧可用于对像素进行组合时，所得到的图像或视频将产生噪声拖尾。而且，在错误地将输入帧的改变部分分类为固定的情况下，可能出现重影伪像。在空间噪声滤波器与时间噪声滤波器一起使用时，它们往往被共同地称为3D噪声降低滤波器或空时噪声降低滤波器。然而，空时滤波器的现存形式呈现来自其组件空间噪声滤波器或其组件时间噪声滤波器的一些相似问题。例如，在先应用空间滤波的情况下，这样的空时滤波器导致某些偏置，包括纹理和细节的平滑。然而，在先应用时间滤波器的情况下，运动检测或估算由于噪声而没那么有效。递归时间滤波器的收敛也可能很慢。另一方面，在实现切换空间滤波和时间滤波的情况下，运动检测仍然由于噪声而没那么有效，并且递归时间滤波器的收敛仍然很慢。而且，在这样的切换空间滤波和时间滤波的系统中，在时间滤波无效的非固定区域中将继续存在来自空间滤波的偏置。因此，很清楚地，在现存的系统中，诸如空间噪声滤波器这样的经典ISP组件可能在所得到的图像和视频中引入偏置，从而削弱了由ISP赋予的相机或视频通信系统的总体逼真度。ISP在所得到的图像和视频中引入偏置的另一个示例是去马赛克单元或反拜耳(debayer)单元，其可能在输出帧中造成平滑化、拉链化伪像或者错误的色彩。另外的示例包括对交织的长曝光像素和短曝光像素的HDR(高动态范围)内插，这引入其自身的偏置。因此，需要改善的方法和系统，以便降低或补偿由相机和视频通信系统中的ISP引入的偏置并且产生高逼真度图像和视频。
技术实现思路
因此，本申请的目标是提供在有效降低噪声的同时降低由ISP引入的偏置、从而产生高逼真度图像和视频的方法和系统。具体地，根据本申请，在一个实施例中，提供了一种对来自原始视频信号的图像信号处理的偏置进行补偿的空时噪声降低系统。该系统包括：图像信号处理器，其包括空间噪声降低滤波器，该空间噪声降低滤波器被适配为基于每个原始视频帧中的相邻像素输出每个像素；信号变化检测器，其被适配为接收图像信号处理器的输出和先前输出帧，从而检测每个像素中的任何信号变化；以及信号组合器，其被适配为接收多于两个输入帧并由此产生组合输出帧。所述多于两个输入帧包括原始信号帧、来自图像信号处理器的输出和先前输出帧。在另一实施例中，信号组合器被适配为输出所述多于两个输入帧的线性组合。在又一实施例中，信号组合器被适配为输出所述多于两个输入帧的凸组合。在另一实施例中，该系统还包括：置信度更新器，其被适配为通过基于从信号变化检测器接收的任何信号变化的检出而更新先前输出帧的先前置信度指数，确定当前置信度指数。凸组合权重是基于当前置信度指数、针对凸组合的每个输入而计算的。在另一实施例中，对于来自原始视频信号的第一输出帧，先前置信度指数被赋值为零。根据又一实施例，该系统还包括：运动补偿器，其被适配为基于来自图像信号处理器的输出和先前输出帧来减少运动。信号组合器的多于两个输入帧包括原始信号帧、来自所述图像信号处理器的输出以及来自运动补偿器的输出。在另一实施例中，原始视频信号包括曝光马赛克，其具有空间交织的长曝光时间像素和短曝光时间像素。图像信号处理器还包括空间HDR内插单元和去马赛克单元。所述多于两个输入帧包括原始信号帧、来自空间HDR内插单元的输出、来自去马赛克单元的输出、和先前输出帧。在另一实施例中，原始视频信号包括彩色马赛克，其具有空间交织的不同的彩色像素。图像信号处理器还包括去马赛克单元。所述多于两个输入帧包括原始信号帧、来自去马赛克单元的输出、和先前输出帧。根据另一实施例，原始视频信号包括经去马赛克的帧。在又一实施例中，原始视频信号包括尚未被空间噪声降低滤波器处理且尚未被去马赛克的帧，并且图像信号处理器还包括去马赛克单元。所述多于两个输入帧包括原始信号帧、来自去马赛克单元的输出、和先前输出帧。在另一实施例中，信号组合器被适配为输出所述多于两个输入帧的线性组合。在另一实施例中，信号组合器被适配为输出所述多于两个输入帧的凸组合。在又一实施例中，该系统还包括：置信度更新器，其被适配为通过基于从所述信号变化检测器接收的任何信号变化的检出而更新先前输出帧的先前置信度指数，确定当前置信度指数。凸组合权重是基于当前置信度指数、针对凸组合的每个输入而计算的。在另一实施例中，该系统还包括：运动补偿器，其被适配为基于来自图像信号处理器的输出和先前输出帧来减少运动。信号组合器的多于两个输入帧包括原始信号帧、来自图像信号处理器的输出以及来自运动补偿器的输出。根据本申请，在一个实施例中，提供了一种对来自原始视频信号的图像信号处理的偏置进行补偿的方法。该方法包括：产生多于两个输入帧的线性组合；以及输出线性组合帧。所述多于两个输入帧包括原始信号帧、来自图像信号处理的输出、和先前输出帧。在另一实施例中，线性组合是多于两个输入帧的凸组合。在又一实施例中，该方法还包括：基于图像信号处理器的输出和先前输出帧，产生每块像素的信号变化检测分类符；基于信号变化检测分类符和先前输出帧的先前置信度指数，更新当前输出帧的置信度指数；以及基于当前输出帧的经更新的置信度指数，计算凸组合的每个输入帧的权重。在另一实施例中，计算凸组合的每个输入帧的权重还包括：基于当前输出帧的置信度指数，提供图像信号处理的输出的权重与未经滤波的原始输入帧的权重之间的比率的递减函数。根据另一实施例，递减函数是单调递减函数。在又一实施例中，计算凸组合的每个输入帧的权重还包括：基于当前输出帧的置信度指数，提供先前输出帧的权重的递增函数。在另一实施例中，置信度指数是具有零与一之间的范围的数值。根据另一实施例，该方法还包括：基于来自图像信号处理的输出和先前输出帧来减少运动，从而产生经运动补偿的输出。凸组合是原始信号帧、来自图像信号处理的输出、和经运动补偿的输出的凸组合。根据又一实施例，原始视频信号选自包括(i)空间交织的长曝光时间像素和短曝光时本文档来自技高网...

【技术保护点】
1.一种对来自原始视频信号的图像信号处理的偏置进行补偿的空时噪声降低系统，包括：图像信号处理器，包括空间噪声降低滤波器，其被适配为基于每个原始视频帧中的相邻像素来输出每个像素；信号变化检测器，被适配为接收所述图像信号处理器的输出和先前输出帧，从而检测每个像素中的任何信号变化；以及信号组合器，被适配为接收多于两个输入帧并由此产生组合输出帧，所述多于两个输入帧包括原始信号帧、来自所述图像信号处理器的输出、和先前输出帧。

【技术特征摘要】
【国外来华专利技术】2016.09.30 US 15/282,5811.一种对来自原始视频信号的图像信号处理的偏置进行补偿的空时噪声降低系统，包括：图像信号处理器，包括空间噪声降低滤波器，其被适配为基于每个原始视频帧中的相邻像素来输出每个像素；信号变化检测器，被适配为接收所述图像信号处理器的输出和先前输出帧，从而检测每个像素中的任何信号变化；以及信号组合器，被适配为接收多于两个输入帧并由此产生组合输出帧，所述多于两个输入帧包括原始信号帧、来自所述图像信号处理器的输出、和先前输出帧。2.根据权利要求1所述的系统，其中，所述信号组合器被适配为输出所述多于两个输入帧的线性组合。3.根据权利要求2所述的系统，其中，所述信号组合器被适配为输出所述多于两个输入帧的凸组合。4.根据权利要求3所述的系统，还包括：置信度更新器，被适配为通过基于从所述信号变化检测器接收的任何信号变化的检出而更新先前输出帧的先前置信度指数，确定当前置信度指数，其中，凸组合权重是基于所述当前置信度指数、针对所述凸组合的每个输入而计算的。5.根据权利要求4所述的系统，其中，对于来自所述原始视频信号的第一输出帧，所述先前置信度指数被赋值为零。6.根据权利要求4所述的系统，还包括：运动补偿器，被适配为基于来自图像信号处理器的输出和先前输出帧来减少运动，其中，所述信号组合器的多于两个输入帧包括原始信号帧、来自所述图像信号处理器的输出以及来自所述运动补偿器的输出。7.根据权利要求1所述的系统，其中，所述原始视频信号包括曝光马赛克，其具有空间交织的长曝光时间像素和短曝光时间像素，其中，所述图像信号处理器还包括空间HDR内插单元和去马赛克单元，并且其中，所述多于两个输入帧包括原始信号帧、来自所述空间HDR内插单元的输出、来自所述去马赛克单元的输出、和先前输出帧。8.根据权利要求7所述的系统，其中，所述信号组合器被适配为输出所述多于两个输入帧的线性组合。9.根据权利要求8所述的系统，其中，所述信号组合器被适配为输出所述多于两个输入帧的凸组合。10.根据权利要求9所述的系统，还包括：置信度更新器，被适配为通过基于从所述信号变化检测器接收的任何信号变化的检出而更新先前输出帧的先前置信度指数，确定当前置信度指数，其中，凸组合权重是基于所述当前置信度指数、针对所述凸组合的每个输入而计算的。11.根据权利要求10所述的系统，还包括：运动补偿器，被适配为基于来自图像信号处理器的输出和先前输出帧来减少运动，其中，所述信号组合器的多于两个输入帧包括原始信号帧、来自所述图像信号处理器的输出以及来自所述运动补偿器的输出。12.根据权利要求1所述的系统，其中，所述原始视频信号包括彩色马赛克，其具有空间交织的不同的彩色像素，其中，所述图像信号处理器还包括去马赛克单元，并且其中，所述多于两个输入帧包括原始信号帧、来自所述去马赛克单元的输出、和先前输出帧。13.根据权利要求12所述的系统，其中，所述信号组合器被适配为输出所述多于两个输入帧的线性组合。14.根据权利要求13所述的系统，其中，所述信号组合器被适配为输出所述多于两个输入帧的凸组合。15.根据权利要求14所述的系统，还包括：置信度更新器，被适配为通过基于从所述信号变化检测器接收的任何信号变化的检出而更新先前输出帧的先前置信度指数，确定当前置信度指数，其中，凸组合权重是基于所述当前置信...

【专利技术属性】
技术研发人员：J·T·科内利乌森，
申请(专利权)人：哈德利公司，
类型：发明
国别省市：美国,US