用于图像去马赛克的装置和方法制造方法及图纸

提供一种用于图像去马赛克的方法和处理装置。所述处理装置包括存储器和处理器。所述处理器被配置成针对使用三个颜色分量对获取的图像滤色的拜耳图像的像素进行以下操作：确定水平方向和垂直方向上的方向色差权重；基于所述方向色差权重来确定第一颜色分量与第二颜色分量之间的色差和所述第二颜色分量与第三颜色分量之间的色差；根据一个颜色分量和所述色差来内插所述像素的色值；以及提供彩色图像以进行显示。像以进行显示。

【技术实现步骤摘要】
用于图像去马赛克的装置和方法

技术介绍

[0001]数字成像使用由单个光电传感器组成的图像传感器，这些图像传感器捕获在每个光电传感器接收到的光的强度(即，亮度信息)，但是不能捕获光的选定波长(即，颜色信息)。因此，图像传感器通常覆盖有由单个滤色器组成的滤色器阵列以呈现颜色信息。
[0002]每个光电传感器对应于图像的像素，所述像素具有用于表示在每个光电传感器接收到的光的亮度和颜色的亮度值和色值。滤色器阵列覆盖光电传感器以捕获在每个光电传感器接收到的光的颜色信息。根据多种不同的RAW格式，像素的色值被存储为原始数据(即，未经内插、编码或压缩的数据)。
附图说明
[0003]能够从结合附图以举例方式给出的以下描述中获得更详细的理解，在附图中：
[0004]图1是示例装置的框图，本公开的一个或多个特征能够在所述示例装置中实现；
[0005]图2是图1的装置的框图，图示出额外的细节；
[0006]图3图示处理装置的示例部件的框图，本公开的一个或多个特征能够在所述处理装置中实现；
[0007]图4是图示根据本公开的特征的经由ISP流水线来处理图像的示例流程的框图；
[0008]图5是图像传感器的拜耳滤色器阵列的示例部分的图解；
[0009]图6是图示根据本公开的特征的图像去马赛克的示例方法的流程图；
[0010]图7是图示根据本公开的特征的确定水平斜率和偏移以及垂直斜率和偏移的示例方法的流程图；
[0011]图8是用于实现本公开的特征的拜耳图像的示例部分的图解；r/>[0012]图9A图示拜耳图像的部分的像素位置处的水平色差；并且
[0013]图9B图示拜耳图像的部分的像素位置处的垂直色差。
具体实施方式
[0014]常规图像信号处理(ISP)流水线的输入数据是包括像素的滤色后图像数据的帧。ISP流水线的典型部件包括颜色插值(即，针对每个像素内插红色(R)、绿色(G)和蓝色(B)值)、颜色校正(即，校正色值)、伽马校正(即，从线性空间变到非线性空间)以及色空间转换(例如，从 RGB颜色格式变换成YUV格式)。更复杂的ISP流水线还包括降噪、镜头阴影补偿、使用3维查找表(3DLUT)用于映射色空间、图像锐化、图像裁剪以及图像缩放。然后能够视应用而对YUV像素数据进行压缩、传输、解码和显示。
[0015]图像传感器通常包括拜耳滤色器阵列。相应地，拜耳滤色器阵列的图像传感器的输出为滤色后数据。对于ISP流水线，然后通过特定的插值技术将原始图像滤色后数据转换为全彩色图像，所述插值技术是针对拜耳滤色器阵列的图案定制的。
[0016]拜耳图像(由拜耳滤色器阵列产生的滤色后图像)使用三个颜色分量(例如，R、G和B)来表示像素。帧的每个像素由三个颜色分量中的一种表示，而其他两个颜色分量从每个
对应的像素丢失。ISP流水线包括去马赛克过程，所述过程对丢失的颜色进行内插并且将拜耳图像转换为3色平面中的全分辨率彩色图像以进行显示。
[0017]用于内插拜耳图像(由拜耳滤色器阵列产生的图像)的像素的常规去马赛克算法和ISP处理装置通常导致遭受以下项的输出彩色图像或视频帧：丢失精细结构(例如，边缘模糊)、拉链作用(例如，交替的图案)和高频内容(在空间中快速变化的像素值)，这些在图像中引入伪影。
[0018]举例来说，常规去马赛克(即，插值)技术包括使用预先设计的滤波器，这些滤波器被应用于拜耳图像的滑动窗口。视滤色器阵列的输出而定，每个像素被分为几个类别，例如平坦区域、纹理区域和边缘区域。然后，根据分类结果，采用不同的去马赛克算法(即，插值算法) 来重建丢失的颜色分量。然而，这些技术效率低下，因为滤波器必须设计良好，分类器需要各种场景下的微调参数以正确区分不同区域，并且不同区域的插值方法需要仔细设计。
[0019]另外，因为对拜耳图像的一个颜色分量(通常是G分量)比其他两个颜色分量(例如，R分量和B分量)被采样得更多，并且提供比R分量和B分量更精确的梯度，所以常规去马赛克算法首先内插丢失的G 分量，然后使用全分辨率G分量以内插R分量和B分量，从而需要额外的时钟周期和更多的功耗才能完成。
[0020]本公开的特征包括使用单向线性模型和方向权重融合对拜耳图像去马赛克的处理装置和方法。
[0021]提供一种图像处理装置，所述图像处理装置包括存储器和处理器。所述处理器被配置成针对使用三个颜色分量对获取的图像进行滤波的拜耳图像的像素进行以下操作：确定水平方向和垂直方向上的方向色差权重；基于方向色差权重来确定第一颜色分量与第二颜色之间的色差和第二颜色分量与第三颜色分量之间的色差；根据一个颜色分量和所述色差来内插所述像素的色值；以及提供彩色图像以进行显示。
[0022]提供一种图像去马赛克的方法，所述方法包括针对拜耳图像的像素进行以下操作：确定水平方向和垂直方向上的方向色差权重；基于所述方向色差权重来确定第一颜色分量与第二颜色分量之间的色差和所述第二颜色分量与第三颜色分量之间的色差；根据一个颜色分量和所述色差来内插所述像素的色值；以及提供彩色图像以进行显示。
[0023]提供一种图像处理装置，所述图像处理装置包括：图像捕获装置，所述图像捕获装置被配置成捕获图像；以及图像传感器，所述图像传感器包括拜耳滤色器阵列，所述拜耳滤色器阵列被配置成根据第一颜色分量、第二颜色分量和第三颜色分量对所述图像进行滤波。所述图像处理装置还包括处理器，所述处理器被配置成针对所述拜耳图像的被表示为所述第一颜色分量、所述第二颜色分量和所述第三颜色分量中的一个的像素进行以下操作：确定水平方向和垂直方向上的方向色差权重；基于所述方向色差权重来确定所述第一颜色分量与所述第二颜色分量之间的色差和所述第二颜色分量与所述第三颜色分量之间的色差；以及根据一个颜色分量和所述色差来内插所述像素的色值
[0024]图1是示例装置100的框图，本公开的一个或多个特征能够在所述示例装置中实现。装置100能够包括例如计算机、游戏装置、手持式装置、机顶盒、电视机、移动电话或平板计算机。装置100包括处理器102、存储器104、存储装置106、一个或多个输入装置108以及一个或多个输出装置110。装置100还能够任选地包括输入驱动器112 和输出驱动器114。应当
理解，装置100能够包括图1未示出的额外部件。
[0025]在各种替代方案中，处理器102包括中央处理单元(CPU)、图形处理单元(GPU)、位于同一管芯上的CPU和GPU，或一个或多个处理器核，其中每个处理器核能够是CPU或GPU。在各种替代方案中，存储器104与处理器102位于同一管芯上，或与处理器102分开地定位。存储器104包括易失性或非易失性存储器，例如随机存取存储器 (RAM)、动态RAM或高速缓存。
[0026]存储装置106包括固定或可移动存储装置，例如硬盘驱动器、固态驱动器、光盘或快闪驱动器。输入装置108包括但不限于键盘、小键盘、触摸屏、触摸板、检测器、传声器、加速计、陀螺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置，所述图像处理装置包括：存储器；以及处理器，所述处理器被配置成针对拜耳图像的像素进行以下操作；确定水平方向和垂直方向上的方向色差权重，基于所述方向色差权重来确定第一颜色分量与第二颜色分量之间的色差和第二颜色分量与第三颜色分量之间的色差；根据一个颜色分量和所述色差来内插所述像素的色值；以及提供彩色图像以进行显示。2.如权利要求1所述的图像处理装置，其中所述处理器被配置成：确定水平方向上的线性斜率和像素位置偏移；以及确定垂直方向上的线性斜率和像素位置偏移。3.如权利要求1所述的图像处理装置，其中所述处理器被配置成：基于所述第一颜色分量和所述第二颜色分量的色差梯度来确定所述第一颜色分量与所述第二颜色分量之间的所述色差；以及基于所述第二颜色分量和第三颜色分量的色差梯度来确定所述第二颜色分量与所述第三颜色分量之间的所述色差。4.如权利要求3所述的图像处理装置，其中所述处理器被配置成：针对所述拜耳图像中的所述像素来确定所述水平方向和所述垂直方向方向上的像素色差；以及基于以下项来确定所述方向色差权重：所述水平方向和所述垂直方向上的所述像素色差；所述第一颜色分量和所述第二颜色分量的所述色差梯度；以及所述第二颜色分量和所述第三颜色分量的所述色差梯度。5.如权利要求3所述的图像处理装置，其中所述处理器被配置成确定两个水平方向和两个垂直方向上的色差梯度。基于所述色差梯度来确定所述方向色差权重。6.如权利要求1所述的图像处理装置，其中所述处理器被配置成：基于水平颜色协方差、水平颜色方差和水平平均色值来确定水平方向上的线性斜率和像素位置偏移；以及基于垂直颜色协方差、垂直颜色方差和垂直平均色值来确定垂直方向上的线性斜率和像素位置偏移。7.如权利要求1所述的图像处理装置，所述图像处理装置还包括显示装置，其中所述彩色图像显示在所述显示装置上。8.如权利要求1所述的图像处理装置，所述图像处理装置还包括图像捕获装置，其中所述拜耳图像是由所述图像捕获装置捕获的图像的滤色后图像。9.一种图像去马赛克的方法，所述方法包括：针对拜耳图像的像素进行以下操作，确定水平方向和垂直方向上的方向色差权重，基于所述方向色差权重来确定第一颜色分量与第二颜色分量之间的色差和所述第二
颜色分量与第三颜色分量之间的色差；根据一个颜色分量和所述色差来内插所述像素的色值；以及提供彩色图像以进行显示。10.如权利要求9所述的方法，所述方法还包括：确定水平方向上的线性斜率和像素位置偏移；以及确定垂直方向上的线性斜率和像素位置偏移。11.如权利要求9所述的方法，所述方法还包括：基于所述第一颜色分量和所述第二颜色分量的色差梯度来确定所述第一颜色分量与所述第二颜色分量之间的所述色差；以及基于所述...

【专利技术属性】
技术研发人员：余琳蔚，凌阳，叶姜莉，周汇，
申请(专利权)人：超威半导体上海有限公司，
类型：发明
国别省市：