图像去马赛克装置及方法制造方法及图纸

用于将原始图像去马赛克的方法包括：水平内插原始图像的由多个主像素值Bα(x,y)α中的主像素值Bg(x,y)g形成的绿色通道以产生包括主像素值Bg(x,y)g和非主像素值Igh(x,y)r,b的水平内插绿色通道；用多个水平相邻的非主像素值Igh(x,y)r,b修改每个非主像素值Igh(x,y)r,b来产生精致水平内插绿色通道；垂直内插绿色通道以产生包括像素值Igv(x,y)r,b的垂直内插绿色通道；用多个垂直相邻像素值修改每个Igv(x,y)r,b产生精致垂直内插绿色通道；根据精致内插绿色通道及其梯度生成全分辨率绿色通道；从相邻像素值的局部红色均值和全分辨率绿色通道确定红色像素值来生成全分辨率红色通道；从相邻像素值的局部蓝色均值和全分辨率绿色通道确定像素值生成全分辨率蓝色通道；以及组合全分辨率通道以产生去马赛克的原始图像。

Image de mosaic device and method

【技术实现步骤摘要】
图像去马赛克装置及方法
技术介绍
许多消费者电子产品包括至少一个相机。这些产品包括平板电脑、移动电话和智能手表。在这些产品中，在数字静物相机自身中，在低光环境中捕获的图像和视频会遭受低信噪比，这限制了图像和视频的质量。高动态范围图像也面对此问题，例如在图像的低亮度区域中。
技术实现思路
本文公开的实施方式改进了由相对低亮度导致的图像质量问题。在一个方面，公开了一种用于将由图像传感器捕获的原始图像去马赛克的方法。所述图像传感器包括像素阵列和具有分别覆盖所述像素阵列的多个像素子阵列中的对应像素子阵列的多个红色滤色器CFr、绿色滤色器CFg和蓝色滤色器CFb的Bayer模式滤色器阵列(CFA)。所述像素阵列包括位于多个坐标(x,y)α中的对应坐标处且位于滤色器CFα下方的多个像素p(x,y)α，每个像素p(x,y)α生成多个主像素值Bα(x,y)α中的对应主像素值，其中α是r、g和b中的一个。所述方法包括下面由1-8表示的步骤：(1)水平内插所述原始图像的由所述多个主像素值Bα(x,y)α中的主像素值Bg(x,y)g形成的绿色通道，以产生包括主像素值Bg(x,y)g和非主像素值Igh(x,y)r,b的水平内插绿色通道；(2)通过用多个水平相邻的非主像素值Igh(x,y)r,b修改每个非主像素值Igh(x,y)r,b来产生精致水平内插绿色通道；(3)垂直内插所述绿色通道以产生包括主像素值Bg(x,y)g和非主像素值Igv(x,y)r,b的垂直内插绿色通道；(4)通过用多个垂直相邻的非主像素值Igv(x,y)r,b修改每个非主像素值Igv(x,y)r,b来产生精致垂直内插绿色通道；(5)根据所述精致水平内插绿色通道、所述精致垂直内插绿色通道、所述水平内插绿色通道的水平梯度和所述垂直内插绿色通道的垂直梯度生成全分辨率绿色通道；(6)通过从相邻的红色主像素值Br(x,y)r的局部红色均值和所述全分辨率绿色通道确定多个非主红色像素值Ir(xt,yt)g,b生成全分辨率红色通道，其中每个非主红色像素值Ir(xt,yt)g,b对应于多个坐标(xt,yt)g,b中的对应坐标；(7)通过从相邻的蓝色主像素值Bb(x,y)b的局部蓝色均值和所述全分辨率绿色通道确定多个非主蓝色像素值Ib(xt,yt)g,r生成全分辨率蓝色通道，其中每个非主蓝色像素值Ib(xt,yt)g,r对应于多个坐标(xt,yt)g,r中的对应坐标；以及(8)组合所述全分辨率红色通道、所述全分辨率绿色通道和所述全分辨率蓝色通道以产生去马赛克的原始图像。在第二方面，用于对原始图像去马赛克的图像去马赛克装置包括存储器和微处理器。所述原始图像由前述方法所述的图像传感器捕获。所述存储器存储非暂时性计算机可读指令且适于存储所述原始图像。所述微处理器适于执行所述指令以执行前述方法的步骤1-8。附图说明图1描绘了由包括包含像素阵列的图像传感器的相机成像的场景。图2是实施方式中包括图1的像素阵列的图像传感器的一区域和其上的四单元Bayer型滤色器阵列(CFA)的示意性平面图。图3是与图2中所示的像素阵列的区域对应的原始图像区域的示意性平面图。图4、图5和图6分别示出了实施方式中从图3的原始图像生成的红色通道、绿色通道和蓝色通道的示意图。图7是被配置为从图3的原始图像生成去马赛克图像的图像去马赛克装置的示意性功能框图。图8和图9示出了实施方式中分别由图7的图像去马赛克装置生成的水平内插绿色通道和垂直内插绿色通道。图10和图11示出了实施方式中分别由7的图像去马赛克装置生成的图8和图9的内插绿色通道的精致版本。图12至图15用图表示出了实施方式中在计算用于产生图10和图11的精致绿色通道的水平补充和垂直补充时涉及的像素值。图16和图17分别示出了实施方式中的水平梯度图像和垂直梯度图像，其均为由图7的图像去马赛克装置生成的梯度图像的对应示例。图18示出了实施方式中全分辨率绿色通道，它是由图16和图17的梯度图像加权的图10和图11的精致内插绿色通道的平均。图19示出了实施方式中从图3的原始图像生成的分箱原始图像的区域。图20示出了实施方式中从图18的全分辨率通道生成的分箱绿色通道的区域。图21是实施方式中的去马赛克图像的区域的示意性图示，其为由图7的图像去马赛克装置生成的去马赛克图像的示例。图22是示出了实施方式中用于将原始图像去马赛克的方法的流程图。具体实施方式图1描绘了对具有高动态亮度范围的场景120成像的相机100。场景120包括窗口122前面的人121，通过窗口122可以看到晴天场景123。相机100包括成像镜头(未示出)、图像传感器130、存储器104和通信耦合至图像传感器130的微处理器102。图像传感器130包括像素阵列132A，像素阵列132A的上面可以有滤色器阵列(CFA)140。像素阵列132A包括多个像素132，为了清楚起见在图1中未示出。CFA140中的每个滤色器可以与像素阵列132A的对应像素132对齐或与像素阵列132A的对应像素子阵列的中心对齐。像素子阵列例如是一组m×n的像素132，其中m和n是整数，它们中的至少一个大于1。成像镜头将场景120成像到图像传感器130上。图像传感器130还包括电路138，电路138包括至少一个模数转换器。每个像素132具有与从场景120成像到像素阵列132A的对应光的光强所对应的像素电荷。电路138将每个像素电荷转换为原始图像190的第一多个像素值中的对应像素值，得到的像素值存储在存储器104中。相机100可以包括显示器139，显示器139被配置为显示原始图像190的去马赛克版本作为去马赛克的图像198。在场景120中，室内照明(未示出)照射面向相机的人121的前面而阳光照射晴天场景123。因而，人121和晴天场景123具有各自不同的亮度。由于直接阳光通常明显亮于室内照明，所以晴天场景123的亮度远远超过人121的亮度从而场景120具有高动态亮度范围。标准数字成像允许使用针对人121或晴天场景123(而非两者)的亮度优化的单个曝光时间来捕获场景120。即使当曝光时间是针对人121的亮度而优化时，曝光时间也可能会太长而不能捕获人121的清晰图像，例如在如果人121正在移动的情况下。图2是包括像素阵列132A的图像传感器200的区域和其上的四单元Bayer型CFA240(下文称为CFA240)的示意性平面图。图像传感器200和CFA240分别是图像传感器130和CFA140的示例。红色滤色器区域、绿色滤色器区域和蓝色滤色器区域的2×2分组使得图像传感器200的低光响应与具有更大像素的图像传感器的低光响应类似，因而需要较短曝光时间用于使人121充分曝光。然而，这种滤光器阵列的缺点是丢失的图像分辨率。本文所公开的实施方式修复了此丢失的图像分辨率。图像传感器200和CFA240关于x-y坐标系209被定位。坐标(x,y)表示每个滤色器和其下方的像素的位置，其中坐标系209的原点(x＝y＝0)可以对应于像素阵列132A内的任意像素。在本文中，所有坐标都被表示成(x,y)坐标，即首先列出x值。而且，在本文中符号α(i,j)指坐标(i,j)处的滤色器，其中α表示滤色器的透射谱，i和j是整数。例如，α是r、g、b、c、m、y和k中本文档来自技高网...

【技术保护点】
1.一种用于将由图像传感器捕获的原始图像去马赛克的方法，所述图像传感器包括像素阵列和具有多个红色滤色器CFr、绿色滤色器CFg和蓝色滤色器CFb的Bayer模式滤色器阵列(CFA)，所述多个红色滤色器CFr、绿色滤色器CFg和蓝色滤色器CFb分别覆盖所述像素阵列的多个像素子阵列中的对应像素子阵列，所述像素阵列包括位于多个坐标(x，y)α中的对应坐标处且位于滤色器CFα下方的多个像素p(x,y)α，每个像素p(x,y)α生成多个主像素值Bα(x,y)α中的对应主像素值，其中α是r、g和b中的一个，所述方法包括：水平内插所述原始图像的由所述多个主像素值Bα(x,y)α中的主像素值Bg(x,y)g形成的绿色通道，以产生包括主像素值Bg(x,y)g和非主像素值Igh(x,y)r,b的水平内插绿色通道；通过用多个水平相邻的非主像素值Igh(x,y)r,b修改每个非主像素值Igh(x,y)r,b来产生精致水平内插绿色通道；垂直内插所述绿色通道以产生包括主像素值Bg(x,y)g和非主像素值Igv(x,y)r,b的垂直内插绿色通道；通过用多个垂直相邻的非主像素值Igv(x,y)r,b修改每个非主像素值Igv(x,y)r,b来产生精致垂直内插绿色通道；根据所述精致水平内插绿色通道、所述精致垂直内插绿色通道、所述水平内插绿色通道的水平梯度和所述垂直内插绿色通道的垂直梯度生成全分辨率绿色通道；通过从相邻的红色主像素值Br(x,y)r的局部红色均值和所述全分辨率绿色通道确定多个非主红色像素值Ir(xt,yt)g,b来生成全分辨率红色通道，其中每个非主红色像素值Ir(xt,yt)g,b对应于多个坐标(xt,yt)g,b中的对应坐标；通过从相邻的蓝色主像素值Bb(x,y)b的局部蓝色均值和所述全分辨率绿色通道确定多个非主蓝色像素值Ib(xt,yt)g,r来生成全分辨率蓝色通道，其中每个非主蓝色像素值Ib(xt,yt)g,r对应于多个坐标(xt,yt)g,r中的对应坐标；以及组合所述全分辨率红色通道、所述全分辨率绿色通道和所述全分辨率蓝色通道以产生去马赛克的原始图像。...

【技术特征摘要】
2018.04.11 US 15/950,8451.一种用于将由图像传感器捕获的原始图像去马赛克的方法，所述图像传感器包括像素阵列和具有多个红色滤色器CFr、绿色滤色器CFg和蓝色滤色器CFb的Bayer模式滤色器阵列(CFA)，所述多个红色滤色器CFr、绿色滤色器CFg和蓝色滤色器CFb分别覆盖所述像素阵列的多个像素子阵列中的对应像素子阵列，所述像素阵列包括位于多个坐标(x，y)α中的对应坐标处且位于滤色器CFα下方的多个像素p(x,y)α，每个像素p(x,y)α生成多个主像素值Bα(x,y)α中的对应主像素值，其中α是r、g和b中的一个，所述方法包括：水平内插所述原始图像的由所述多个主像素值Bα(x,y)α中的主像素值Bg(x,y)g形成的绿色通道，以产生包括主像素值Bg(x,y)g和非主像素值Igh(x,y)r,b的水平内插绿色通道；通过用多个水平相邻的非主像素值Igh(x,y)r,b修改每个非主像素值Igh(x,y)r,b来产生精致水平内插绿色通道；垂直内插所述绿色通道以产生包括主像素值Bg(x,y)g和非主像素值Igv(x,y)r,b的垂直内插绿色通道；通过用多个垂直相邻的非主像素值Igv(x,y)r,b修改每个非主像素值Igv(x,y)r,b来产生精致垂直内插绿色通道；根据所述精致水平内插绿色通道、所述精致垂直内插绿色通道、所述水平内插绿色通道的水平梯度和所述垂直内插绿色通道的垂直梯度生成全分辨率绿色通道；通过从相邻的红色主像素值Br(x,y)r的局部红色均值和所述全分辨率绿色通道确定多个非主红色像素值Ir(xt,yt)g,b来生成全分辨率红色通道，其中每个非主红色像素值Ir(xt,yt)g,b对应于多个坐标(xt,yt)g,b中的对应坐标；通过从相邻的蓝色主像素值Bb(x,y)b的局部蓝色均值和所述全分辨率绿色通道确定多个非主蓝色像素值Ib(xt,yt)g,r来生成全分辨率蓝色通道，其中每个非主蓝色像素值Ib(xt,yt)g,r对应于多个坐标(xt,yt)g,r中的对应坐标；以及组合所述全分辨率红色通道、所述全分辨率绿色通道和所述全分辨率蓝色通道以产生去马赛克的原始图像。2.如权利要求1所述的方法，其中水平内插所述绿色通道和垂直内插所述绿色通道均包括对主像素值Bg(x,y)g的对数进行线性内插。3.如权利要求1所述的方法，其中所述多个像素子阵列中的每个具有维度m×n，修改每个非主像素值Igh(xt,yt)r,b的步骤包括：对于所述多个像素子阵列中的位于一对水平相邻源像素子阵列之间的目标像素子阵列的红色滤色器下方的每个像素p(x,y)，其中所述一对水平相邻源像素子阵列均位于所述CFA的对应红色滤色器下方且与所述目标像素子阵列水平共线，将红色水平补充Hr(x,y)确定为Br(x,y)r、所述目标像素子阵列下方的水平相邻像素p(x,y1)的主像素值Br(x,y1)r、以及所述一对水平相邻源像素子阵列的红色滤色器下方的水平共线像素p(x,y2)的主像素值Br(x,y2)r的线性组合，其中|y-y1|<n和|y-y2|≥n。4.如权利要求1所述的方法，其中所述多个像素子阵列中的每个具有维度m×n，修改每个非主像素值Igv(x,y)r,b的步骤包括：对于所述多个像素子阵列中的位于一对垂直相邻源像素子阵列之间的目标像素子阵列的红色滤色器下方的每个像素p(x,y)，其中所述一对垂直相邻源像素子阵列均位于所述CFA的对应红色滤色器下方且与所述目标像素子阵列垂直共线，将红色垂直补充Vr(x,y)确定为Br(x,y)r、所述目标像素子阵列下方的垂直相邻像素p(x1,y)的主像素值Br(x1,y)r、以所述及一对垂直相邻源像素子阵列的红色滤色器下方的垂直共线像素p(x2,y)的主像素值Br(x2,y)r的线性组合，其中|x-x1|<m和|x-x2|≥m。5.如权利要求1所述的方法，进一步包括通过下面的步骤确定所述水平梯度和所述垂直梯度：从所述精致水平内插绿色通道减去所述原始图像；以及从所述精致垂直内插绿色通道减去所述原始图像。6.如权利要求1所述的方法，其中(i)生成所述全分辨率红色通道和(ii)生成所述全分辨率蓝色通道中的至少一个包括：将所述全分辨率绿色通道分箱；以及将所述原始图像分箱。7.如权利要求6所述的方法，其中(i)生成所述全分辨率红色通道和(ii)生成所述全分辨率蓝色通道中的至少一个包括：计算分箱的全分辨率绿色通道的方差以及(a)分箱的全分辨率绿色通道和(b)分箱的原始图像的协方差。8.如权利要求6所述的方法，其中将所述全分辨率绿色通道分箱产生分箱的绿色通道，所述分箱的绿色通道包括多个分箱的绿色像素值；将所述原始图像分箱产生分箱的原始图像，所述分箱的原始图像包括基于多个主像素值Br的多个分箱的红色像素值和基于多个主像素值Bb的多个分箱的蓝色像素值，所述局部红色均值是分箱的红色像素值的平均，所述局部蓝色均值是分箱的蓝色像素值的平均。9.如权利要求8所述的方法，其中所述多个非主红色像素值Ir(xt,yt)g,b中的每个的量值响应于分箱的红色像素值的平均和分箱的绿色像素值的平均的协方差的增大而增大；以及所述多个非主蓝色像素值Ib(xt,yt)g,r中的每个的量值响应于分箱的蓝色像素值的平均和分箱的绿色像素值的平均的协方差的增大而增大。10.如权利要求8所述的方法，其中所述多个非主红色像素值Ir(xt,yt)g,b中的每个的量值响应于分箱的绿色像素值的平均的方差的增大而减小；以及所述多个非主蓝色像素值Ib(xt,yt)g,r中的每个的量值响应于分箱的绿色像素值的平均的方差的增大而减小。11.一种用于对由图像传感器捕获的原始图像去马赛克的图像去马赛克装置，所述图像传感器包括像素阵列和具有多个红色滤色器CFr、绿色滤色器CFg和蓝...

【专利技术属性】
技术研发人员：萨维什·斯瓦米，段宇波，刘成明，
申请(专利权)人：豪威科技股份有限公司，
类型：发明
国别省市：美国,US