本发明专利技术涉及数字图像处理领域。为在算法复杂度不高的基础上，对像素边缘和通道相关度的判断更为精确，能得到更好的图像插补效果。且在硬件实现阶段，将数据的输入和输出设计为流水线形式以实现插补的实时性。本发明专利技术采取的技术方案是,应用于CMOS图像传感器的新型实时插补算法，包括如下步骤：红色、蓝色像素中缺失的绿色像素值的恢复：像素中缺失红色、蓝色像素值的恢复：红色、蓝色像素中缺失的蓝色、红色像素值的恢复：此两个像素分量的恢复采用的双线性方法，即R、B中缺失的B、R像素值分别由其最相邻的四个对角线上的四个B、R像素的平均值得到；本发明专利技术主要应用于数字图像处理。
【技术实现步骤摘要】
本专利技术涉及数字图像处理领域，尤其涉及一种基于边界的双相关插值算法及其在硬件实现部分为满足实时性要求对数据的传输结构所采取的流水线设计方法。具体讲，涉及应用于CMOS图像传感器的新型实时插补算法。
技术介绍
近年，C⑶和CMOS图像传感器相继发展，数码相机、摄像机、PC摄像头等都采用CXD或CMOS作为图像传感器，相比而言，CMOS图像传感器具有更高的集成度、读出速度以及更低的功耗和价格，但是，其显著的缺点是图像质量较差。 其中最重要的影响图像质量的因素是目前的图像采集设备多采用单个的图像传感器和颜色滤波阵列来采集彩色图像，这种彩色滤波阵列把输入光信号分为RGB (红绿蓝)三基色，得到的图像的每一个像素点只采集一种颜色的光的亮度。因此，要满足输出图像的质量，在图像处理的后期就要对采集到的图像信息进行数字信号图像处理，一般来讲，就是根据周边的像素值得到每个像素所缺失的另外两个色彩值，实现对颜色的实时插补。要保证图像处理的实时性，又要保证具有良好的插补效果，以适应图像传感器在市场和生活应用中的迅速发展。由图像传感器最终所获取的全彩色图像中，每个像素值由R、G、B三个颜色值组成，理论上就需要三个不同的图像传感器来分别获取R、G、B中一种颜色的数据，如图I所示。但是在实际应用中，为了减小体积、降低成本、简化三个通道的同步和矫正步骤，通常都在一个图像传感器之前覆盖上一个颜色滤波阵列，如图2所示，这种彩色图像的成像方法目前被大多数产品所使用，最常用的颜色滤波阵列为Bayer模型，如图3所示。这样，每个像素点只能获得一种颜色的值，而缺少了另外两种颜色，因此，为了得到全彩色的图像，就需要根据当前像素的周围像素的相关程度来估计计算当前像素所缺失的另外两个颜色的值，这个过程就称为彩色插值。在Bayer模型的彩色滤波阵列中，R、G、B三个颜色的采样点比例为I : 2 1，绿色像素的信息占总像素点的一半，红色和蓝色像素则分别占1/4。这是因为对于一幅彩色图片，人眼对亮度信息最敏感，而绿色像素对亮度的贡献最大，而且缺失的绿色像素的插值不仅严重影响绿色通道自身的图像质量，还会影响到整幅图像插补后的质量效果。所以，对于缺失的绿色像素的插补方法和效果是整个彩色滤波阵列插值算法的关键，在整体算法复杂程度基本一致的情况下，对于缺失绿色像素的插补算法要占整个算法空间的大部分内容，以得到更好的插值效果
技术实现思路
本专利技术旨在解决克服现有技术的不足，在算法复杂度不高的基础上，对像素边缘和通道相关度的判断更为精确，能得到更好的图像插补效果。且在硬件实现阶段，将数据的输入和输出设计为流水线形式以实现插补的实时性。为达到上述目的，本专利技术采取的技术方案是，应用于CMOS图像传感器的新型实时插补算法，包括如下步骤红色、蓝色像素中缺失的绿色像素值的恢复 (I)对于位于偶数行奇数列的R43G43 = R43+Ke43(1-1)Ke43 — (KR33+KR53+KR42+KR44)/4(1_2)其中Kk33 = G33-R33 = G33-(R23+R43)/2(1-3)Ke53 = G53-R53 = G53- (R4S+Res) /2(1-4)Kr42 = G42-R42 = G42-(R41+R43)/2(1~5)Kr44 = G44-R44 = G44-(R43+R45)/2(1~6)根据以上公式，首先对像素所处位置进行边缘判定，设UP = I R43-R231DOWN = I R63-R43LEFT = I R41-R431RIGHT = | R45-R43I)若UP+DOWN > LEFT+RIGHT则该像素位置在水平方向存在边界，根据(1-1)，此时Kk43只取水平方向的两个Kk值Ke43 = (KR42+KR44)/2(1-7)2)若UP+DOWN < LEFT+RIGHT则该像素位置在垂直方向存在边界，根据(1_1)，此时Kk43只取垂直方向的两个Kk值Ke43 = (KE33+KE53)/2(1-8)3)若UP+DOWN = LEFT+RIGHT则该像素位置附近不存在边界，Ke43值即为(1_1)；(2)对于位于奇数行偶数列的B34G34 = B34+KB34(1-9)Kb34 — (KB33+KB35+KB24+KB44)/4(I-IO)其中Kb33 = G33-B33 = G33-(B32+B34)/2 (1-11)Kb35 = G35-B35 = G35-(B34+B36)/2(1-12)Kb24 = G24-B24 = G24-(B14+B34)/2(1~13)Kb44 = G44-B44 = G44-(B34+B54)/2(1~14)根据以上公式，首先对像素所处位置进行边缘判定，设UP = IB14-B341DOWN = | B54-B34LEFT = | B32-B341RIGHT = | B36-B34I)若UP+DOWN > LEFT+RIGHT则该像素位置在水平方向存在边界，根据(1_9)，此时Kk43只取水平方向的两个Kk值Kb34 = (Kb3S+Kb35) / 2(1-15)2)若UP+DOWN < LEFT+RIGHT则该像素位置在垂直方向存在边界，根据(1_9)，此时Kk43只取垂直方向的两个Kk值Kb34 = (KB24+KB44) /2(1-16)3)若UP+DOWN = LEFT+RIGHT则该像素位置附近不存在边界，Kb34值即为(1_9)；像素中缺失红色、蓝色像素值的恢复对于当前绿色像素的红色和蓝色分量值的恢复采用相同的方法，以G33为例(I)对于奇数行奇数列的绿色像素G33缺失的蓝色像素的恢复B33 = G33-Kb33(1-17)Kb33 = (KB32+KB34)/2(1-18)Kb32 = G32-B32(1-19)Kb34 = G34-B34(1_20)其中G32 = (G31+G33+G22+G24)/4 (1-21)G34 = (G33+G35+G24+G44) /4(1-22)(2)对于奇数行奇数列的绿色像素G33缺失的红色像素的恢复R33 = G33-Ke33(1-23)Ke33 = (KR23+KR43)/2(1~24)Ke23 = G23-R23(1-25)Ke43 = G43-R43(1-26)其中G23 = (G13+G22+G24+G33)/4 (1-27)G43= (633+642+644+653) / 4(1_28)红色、蓝色像素中缺失的蓝色、红色像素值的恢复此两个像素分量的恢复采用的双线性方法，即R、B中缺失的B、R像素值分别由其最相邻的四个对角线上的四个B、R像素的平均值得到；I)对于位于偶数行奇数列的R23B23= (B12+B14+B32+B34)/4(1_29)2)对于位于奇数行偶数列的B32R32 = (R21+R23+R41+R43)/4(1_30)其中R、G、B分别代表红、绿、蓝三个颜色的像素分量，Kb和Kk表示颜色通道间的相关性，角标代表其在Bayer图中对应的行和列。采用25个寄存器以及4个RAM来实时存储数据，25个寄存器组成第一级5X5寄存器窗口，窗口中间寄存器中对应的像素为当前像素；当从传感器模型传输过本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.ー种应用于CMOS图像传感器的新型实时插补算法，其特征是，包括如下步骤 红色、蓝色像素中缺失的緑色像素值的恢复 (1)对于位于偶数行奇数列的R43 G43 — ^43+ΚΕ43(1_1) Kr43 — (Kr33+Kr53+Kr42+Kr44)/4(1_2)其中 Ke33 = G33-R33 = G33- (R23+R43) /2(1-3) Ke53 = G53-R53 = G53- (R4S+Res) /2(1-4) Ke42 = G42-R42 = G42- (R41+R43)/2(1-5) Ke44 = G44-R44 = G44-(R43+R45)/2(1-6) 根据以上公式，首先对像素所处位置进行边缘判定，设 UP = R43-R23DOffN= R63-R43 LEFT = I R41-R431RIGHT = | R45-R43 1)若UP+DOWN> LEFT+RIGHT则该像素位置在水平方向存在边界，根据(1_1)，此时Kk43只取水平方向的两个Kk值 Ke43= (Ke42+Ke44)/2(1-7) 2)若UP+DOWN< LEFT+RIGHT则该像素位置在垂直方向存在边界，根据(1_1)，此时Kk43只取垂直方向的两个Kk值 Kr43= (KE33+KE53)/2(1-8) 3)若UP+DOWN= LEFT+RIGHT则该像素位置附近不存在边界，Ke43值即为(1_1)； (2)对于位于奇数行偶数列的B34 G34 = B34+KB34(1-9) Κβ34 — (Κβ33+Κβ35+Κβ24+Κβ44)/4(I-IO) 其中 Kb33 = G33-B33 = G33-(B3^B34)/2(1-11) Kb35 = G35-B35 = G35-(B34+B36)/2(1-12) ΚΒ24 = G24-B24 = G24- (B14+B34)/2(1-13) Kb44 = G44-B44 = G44- (B34+B54) / 2(1-14) 根据以上公式，首先对像素所处位置进行边缘判定，设 UP = B14-B34DOWN= B54-B34 LEFT= B32-B34RIGHT = | B36-B34 1)若UP+DOWN> LEFT+RIGHT则该像素位置在水平方向存在边界，根据(1_9)，此时Kk43只取水平方向的两个Kk值 Kb34= (KB33+KB35)/2(1-15) 2)若UP+DOWN< LEFT+RIGHT则该像素位置在垂直方向存在边界，根据(1_9)，此时Kk43只取垂直方向的两个Kk值 Kb34= (KB24+KB44)/...
【专利技术属性】
技术研发人员：高静，陈莞，史再峰，徐江涛，姚素英，王彬，高志远，
申请(专利权)人：天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。