一种高效的CMOS图像传感器片上去噪算法制造技术

本发明专利技术公开了一种高效的CMOS图像传感器片上去噪算法，包括：对含噪图像分别沿行和列方向进行图像平移，然后分别沿行和列方向进行分解、预测和更新，对得到的图像进行阈值处理，对得到的图像分别沿列和行方向进行更新，预测和合成，得到合成后的去噪图像，最后对合成后的去噪图像分别沿行和列方向进行图像反平移，得到更新后的合成去噪图像，对不同平移尺度下更新后的合成去噪图像进行求平均计算，得到最终的去噪图像。本发明专利技术可兼顾算法复杂度和去噪效果，易于在CMOS图像传感器片上实现。

An efficient CMOS image sensor chip denoising algorithm

【技术实现步骤摘要】
一种高效的CMOS图像传感器片上去噪算法
本专利技术涉及数字图像处理
，更具体地，涉及一种高效的CMOS图像传感器片上去噪算法。
技术介绍
在过去的十年里，CMOS图像传感器(CIS)技术取得了令人瞩目的进展，图像传感器的性能也得到了极大的改善。自从在手机中引入相机以来，CIS技术取得了巨大的商业成功。CIS行业是由手机和汽车应用推动的，且智能手机摄像头的创新将会继续，同时竞争也非常激烈。为了保持竞争力，CIS制造商正被迫将越来越多的功能整合到移动摄像机中，越来越多的功能需求也对CIS输出的图像质量提出了更高的要求。在CIS图像质量中，噪声是影响图像质量的首要问题。CIS图像传感器的主要噪声来源有像素光敏单元的光电二极管，场效应管及图像传感器工作时产生的其他噪声。光电二极管产生的噪声包括热噪声，散粒噪声，复合噪声及电流噪声等，MOS场效应管噪声主要包含热噪声，诱生柵极噪声及电流噪声等。为了提高输出图像质量，图像去噪成为了CIS图像信号处理流程中基本且关键的一环，基于后端平台的图像去噪方法有很多，且能获得很高的去噪效果，但这类去噪方法并不能覆盖广泛应用场景。更一般的，在CIS输出图像数据给后端平台处理之前，往往需要对图像的raw数据进行去噪处理，其算法为硬件实现，为节省资源开销，算法通常较为简单，去噪效果一般。目前在图像去噪方面涌现的高质量去噪算法有三维块匹配，机器学习，非局域均值，导向滤波，小波滤波等技术，但由于算法的高复杂度，在硬件上实现需要庞大的资源开销，所以牺牲效果换取较低的硬件资源是目前业内普遍采用的方法。基于以上问题，需要提出一种高效的CIS片上去噪算法。
技术实现思路
本专利技术的目的在于克服现有技术存在的上述缺陷，提供一种高效的CMOS图像传感器片上去噪算法，其为可兼顾算法复杂度和去噪效果的硬件去噪算法，易于在CMOS图像传感器片上实现。为实现上述目的，本专利技术的技术方案如下：一种高效的CMOS图像传感器片上去噪算法，包括以下步骤：步骤S1：对含噪图像沿行方向进行分解、预测和更新，得到所述含噪图像更新后的近似图像和细节图像；步骤S2：对所述近似图像和细节图像沿列方向进行分解、预测和更新，得到所述近似图像和细节图像更新后的低频近似分量和高频细节分量；步骤S3：对所述高频细节分量进行阈值处理，得到阈值处理后新的高频细节分量；步骤S4：对所述低频近似分量和新的高频细节分量沿列方向进行更新，预测和合成，得到合成后的列方向近似图像和细节图像；步骤S5：对所述合成后的列方向近似图像和细节图像沿行方向进行更新，预测和合成，得到合成后的去噪图像；步骤S6：对所述去噪图像分别沿行和列方向进行多次图像平移，得到对应的多个平移图像，并对各所述平移图像执行步骤S1-步骤S5，得到各所述平移图像对应的合成后的去噪图像，并对其进行反平移，得到各更新后的合成去噪图像；步骤S7：对步骤S5中的所述合成后的去噪图像和步骤S6中的所述更新后的合成去噪图像进行求平均计算，得到最终的去噪图像。进一步地，步骤S1中，对含噪图像沿行方向进行分解、预测和更新分别满足以下算式一至算式三：D:L(n)＝F(:,2n-1)，H(n)＝F(:,2n)算式一P:H1(n)＝H(n)-L(n)算式二U:L1(n)＝L(n)+rshift(H1(n),1)算式三其中，D为分解，P为预测，U为更新，L(n)为含噪图像F的近似图像,H(n)为含噪图像F的细节图像,n＝1,2,3,……M/2,M为含噪图像F的列数；H1(n)为更新后的细节图像，L1(n)为更新后的近似图像；rshift(H1(n),1)为二进制右移函数，表示将H1(n)信号以二进制形式向右移动1位。进一步地，将所述分解D、预测P和更新U三个操作组合为一个基本变换步骤，记为DPU，则所述算式一至算式三合并为以下算式四：[L1(n),H1(n)]＝DPU(F(2n))算式四。进一步地，步骤S2中，对所述近似图像和细节图像沿列方向进行分解、预测和更新满足以下算式五和算式六：[L1L1，L1H1]＝DPU(L1(n))算式五[H1L1，H1H1]＝DPU(H1(n))算式六其中，L1L1为低频近似分量，L1H1和H1L1，H1H1为三个高频细节分量。进一步地，步骤S3中，对所述高频细节分量进行阈值处理满足以下算式七：[L1H11，H1L11，H1H11]＝thr_fun(L1H1，H1L1，H1H1，T)算式七其中，thr_fun(L1H1，H1L1，H1H1，T)为阈值函数，T为所选择的阈值，L1H11，H1L11，H1H11为经过阈值处理之后的三个新的高频细节分量。进一步地，步骤S4中，对所述低频近似分量和新的高频细节分量沿列方向进行更新，预测和合成，分别满足以下算式八至算式十：U1:L1L(m)＝L1L1(m)–rshift(L1H1(m),1)算式八P1:L1H(m)＝L1L(m)+L1H1(m)算式九R:以L1L(m)为奇行，L1H(m)为偶行，合成L1(2m)和H1(2m)算式十其中，U1为更新，P1为预测，R为合成，m为正整数，L1L(m)和L1L1(m)分别为更新后的列方向近似图像，L1H(m)和L1H1(m)分别为更新后的列方向细节图像，L1(2m)和H1(2m)分别为合成后的列方向近似图像和细节图像。进一步地，将所述更新U1，预测P1和合成R三个操作组合为一个基本变换步骤，记为U1P1R操作，则所述合成后的列方向近似图像和细节图像L1(2m)和H1(2m)满足以下算式十一和算式十二：L1(2m)＝U1P1R(L1L1(m)，L1H1(m))算式十一H1(2m)＝U1P1R(H1L1(m)，H1H1(m))算式十二。进一步地，步骤S5中，合成后的去噪图像S0满足以下算式十三：S0＝U1P1R(L1(n))，H1(n))算式十三。进一步地，步骤S6中，所述平移图像Fi的计算满足以下算式十四：Fi＝pshift(F1,i)算式十四其中，F1为合成后的去噪图像，pshift(F1，i)函数表示将合成后的去噪图像F1分别沿行和列进行整体平移i个像素；所述平移图像更新后的合成去噪图像Si的计算满足以下算式十五：Si＝pshift(Si1,-i)算式十五其中，Si1为所述平移图像对应的合成后的去噪图像。进一步地，步骤S7中，所述最终的去噪图像Sdenoise的计算满足以下算式十六：其中，N为图像平移次数，初始未平移的合成后的去噪图像记为S0。本专利技术具有以下有益效果：一方面，基于Haar小波基分解格式，将无理数小波基拆分为缩放系数和整数对角矩阵形式，利用整数对角矩阵分量将基于卷积运算的小波变换转变为图像行列的加减运算，运算过程具有原位操作，整数运算，且不涉及乘法器，只需加法和移位操作，适合硬件实现；另一方面，结合平移不变量技术，消除由于haar小波基的不连续性在图像的不连续点处引起的伪吉布斯效应，同时还能减小原始信号与估计信号之间的均方根误差，在提高图像去噪程度的同时有效的保护图像细节信息。附图说明图1是本专利技术一种高效的CMOS图像传感器片上去噪算法流程图。图2是一种低噪声图片与高噪声图片的对比示意图，包括分图a)、b)。图3～图5是图2中三个图片细节的去噪效果对比示意图，分别包括分本文档来自技高网...

【技术保护点】
1.一种高效的CMOS图像传感器片上去噪算法，其特征在于，包括以下步骤：步骤S1：对含噪图像沿行方向进行分解、预测和更新，得到所述含噪图像更新后的近似图像和细节图像；步骤S2：对所述近似图像和细节图像沿列方向进行分解、预测和更新，得到所述近似图像和细节图像更新后的低频近似分量和高频细节分量；步骤S3：对所述高频细节分量进行阈值处理，得到阈值处理后新的高频细节分量；步骤S4：对所述低频近似分量和新的高频细节分量沿列方向进行更新，预测和合成，得到合成后的列方向近似图像和细节图像；步骤S5：对所述合成后的列方向近似图像和细节图像沿行方向进行更新，预测和合成，得到合成后的去噪图像；步骤S6：对所述去噪图像分别沿行和列方向进行多次图像平移，得到对应的多个平移图像，并对各所述平移图像执行步骤S1‑步骤S5，得到各所述平移图像对应的合成后的去噪图像，并对其进行反平移，得到各更新后的合成去噪图像；步骤S7：对步骤S5中的所述合成后的去噪图像和步骤S6中的所述更新后的合成去噪图像进行求平均计算，得到最终的去噪图像。

【技术特征摘要】
1.一种高效的CMOS图像传感器片上去噪算法，其特征在于，包括以下步骤：步骤S1：对含噪图像沿行方向进行分解、预测和更新，得到所述含噪图像更新后的近似图像和细节图像；步骤S2：对所述近似图像和细节图像沿列方向进行分解、预测和更新，得到所述近似图像和细节图像更新后的低频近似分量和高频细节分量；步骤S3：对所述高频细节分量进行阈值处理，得到阈值处理后新的高频细节分量；步骤S4：对所述低频近似分量和新的高频细节分量沿列方向进行更新，预测和合成，得到合成后的列方向近似图像和细节图像；步骤S5：对所述合成后的列方向近似图像和细节图像沿行方向进行更新，预测和合成，得到合成后的去噪图像；步骤S6：对所述去噪图像分别沿行和列方向进行多次图像平移，得到对应的多个平移图像，并对各所述平移图像执行步骤S1-步骤S5，得到各所述平移图像对应的合成后的去噪图像，并对其进行反平移，得到各更新后的合成去噪图像；步骤S7：对步骤S5中的所述合成后的去噪图像和步骤S6中的所述更新后的合成去噪图像进行求平均计算，得到最终的去噪图像。2.根据权利要求1所述的高效的CMOS图像传感器片上去噪算法，其特征在于，步骤S1中，对含噪图像沿行方向进行分解、预测和更新分别满足以下算式一至算式三：D:L(n)＝F(:,2n-1)，H(n)＝F(:,2n)算式一P:H1(n)＝H(n)-L(n)算式二U:L1(n)＝L(n)+rshift(H1(n),1)算式三其中，D为分解，P为预测，U为更新，L(n)为含噪图像F的近似图像,H(n)为含噪图像F的细节图像,n＝1,2,3,……M/2,M为含噪图像F的列数；H1(n)为更新后的细节图像，L1(n)为更新后的近似图像；rshift(H1(n),1)为二进制右移函数，表示将H1(n)信号以二进制形式向右移动1位。3.根据权利要求2所述的高效的CMOS图像传感器片上去噪算法，其特征在于，将所述分解D、预测P和更新U三个操作组合为一个基本变换步骤，记为DPU，则所述算式一至算式三合并为以下算式四：[L1(n),H1(n)]＝DPU(F(2n))算式四。4.根据权利要求3所述的高效的CMOS图像传感器片上去噪算法，其特征在于，步骤S2中，对所述近似图像和细节图像沿列方向进行分解、预测和更新满足以下算式五和算式六：[L1L1，L1H1]＝DPU(L1(n))算式五[H1L1，H1H1]＝DPU(H1(n))算式六其中，L1L1为低频近似分量，L1H1和H1L1，H1H1为三个高频细节分量。5.根据权利要求4所述的高效的CMOS图像传感器片上去...

【专利技术属性】
技术研发人员：周涛，余学儒，李琛，王鹏飞，王修翠，段杰斌，方宇，傅豪，郭奥，
申请(专利权)人：上海集成电路研发中心有限公司，
类型：发明
国别省市：上海,31