图像处理设备和图像处理方法技术

本发明专利技术涉及一种图像处理设备和图像处理方法。去马赛克单元对各关注像素的马赛克图像数据进行插值，以通过使用相邻像素的插值来再现各像素处缺失的颜色。在去马赛克单元中，插值单元使用规定方向上的相邻像素，在多个规定方向上进行插值处理。评价单元评价插值单元插值后的各规定方向上的图像数据。伪分辨率区域判断单元基于从进行了为了保存边缘成分而进行的插值处理的图像数据所检测到的饱和度，来针对各像素判断该像素是否处于伪分辨率区域中。图像生成单元基于评价单元的评价结果和伪分辨率区域判断单元的判断结果，针对各像素选择要进行插值的图像数据，并且生成插值后的图像数据。

【技术实现步骤摘要】

本专利技术涉及至少一种图像处理设备、至少一种图像处理方法、至少一个程序和至 少一种用于存储所述至少一个程序的计算机可读存储介质，尤其涉及彩色图像信号的插值 技术。
技术介绍
在传统彩色图像传感器中，使用如图17所示等的拜耳（Bayer)图案颜色滤波器阵 列。该颜色滤波器阵列可以是包括红色（R)、绿色（G)和蓝色（B)这三种颜色的阵列元件 的三原色滤波器阵列或者包括青色、品红色和黄色这三种颜色的阵列元件的补色滤波器阵 列。 然而，在Bayer图案颜色滤波器阵列中，仅允许各像素获得三种颜色中的一种颜 色的信号，因此其它两种颜色的信号丢失。因此，为了再现各像素处丢失的其它两种颜色的 信号，进行去马赛克（插值）处理。用于去马赛克处理的已知技术的具体例子包括双线性 插值和双三次插值等。双线性插值或双三次插值对于低频成分占主导的图像实现良好的插 值。然而，对于包括高频成分的图像，存在下面的可能性：双线性插值或双三次插值生成实 际并不存在于被摄体中的被称为伪分辨率或伪色（颜色摩尔纹）的线或颜色。在使用与被 摄体图像的边缘延伸的方向不同的方向上的像素进行去马赛克时，可能发生这种伪分辨率 或伪色。 考虑以上所述，提出了使用沿被摄体图像的边缘的方向的像素来进行去马赛 克。使用沿边缘方向的像素的去马赛克方法大体被分成两种方法。例如，在日本特开 2008-35470中公开了第一种方法。在该方法中，使用相邻像素来检测边缘方向，并且并非跨 边缘而是沿边缘方向来进行插值。日本特开2008-35470还公开了第二种插值方法。在该 第二种方法中，首先，在多个方向上单独进行插值以获得多个插值结果。此后，评价这些插 值结果以选择要进行插值的最佳方向。提出了如下内容：评价插值方向的合适性，从而判断 表示包括关注像素的相邻像素之间的均匀性的评价值。将均匀性高的方向判断为是边缘方 向，并且选择该方向作为插值方向。 然而，在日本特开2008-35470所公开的方法中，存在下面的可能性：当图像具有 与被摄体的精细部分的间距近似为图像传感器的像素间距的分辨率界限接近的成分时，所 计算出的均匀性的评价值可能不正确，这可能导致插值错误，从而可能导致伪分辨率的发 生。
技术实现思路
本专利技术提供用于高精度地对图像信号进行去马赛克处理的至少一种技术。 根据本专利技术一个以上的实施例的一方面，至少一种图像处理设备，用于处理经由 图像传感器对被摄体图像的光学图像的光电转换所产生的马赛克图像数据，其中，所述图 像传感器包括具有多个颜色的颜色滤波器，所述马赛克图像数据具有各自与所述颜色滤波 器的所述多个颜色其中之一相对应的像素的图像数据，所述图像处理设备包括：第一插值 单元，用于在多个规定方向中的各规定方向上，使用位置靠近关注像素的像素的图像数据 来以像素为单位对所述关注像素进行插值处理，从而再现所述关注像素处缺失的颜色的图 像数据；评价单元，用于评价进行了所述第一插值单元的插值处理的各规定方向的图像数 据；第二插值单元，用于进行插值处理，以保存（例如图像数据、被摄体图像、被摄体图像的 光学图像等的）边缘成分；饱和度检测单元，用于从进行了所述第二插值单元的插值处理 的图像数据中检测饱和度；判断单元，用于基于所述饱和度检测单元所检测到的饱和度，以 像素为单位来判断像素是否处于可能发生伪分辨率的区域中；以及图像生成单元，用于基 于所述评价单元的评价结果和所述判断单元的判断结果来针对各像素选择要进行插值的 图像数据，并且生成具有所述多个颜色的插值后的图像数据。 根据本专利技术一个以上的实施例的另一方面，至少一种图像处理方法，用于处理经 由图像传感器对被摄体图像的光学图像的光电转换所产生的马赛克图像数据，其中，所述 图像传感器包括具有多个颜色的颜色滤波器，所述马赛克图像数据具有各自与所述颜色滤 波器的所述多个颜色其中之一相对应的像素的图像数据，所述图像处理方法包括以下步 骤：在多个规定方向中的各规定方向上，使用位置靠近关注像素的像素的图像数据来以像 素为单位对所述关注像素进行第一插值处理，从而再现所述关注像素处缺失的颜色的图像 数据；评价步骤，用于评价所述第一插值处理中进行了插值处理的各规定方向的图像数据； 进行包括进行插值处理以保存所述被摄体图像的边缘成分的第二插值处理；从所述第二插 值处理中进行了插值处理的图像数据中检测饱和度；判断步骤，用于基于所检测到的饱和 度，以像素为单位来判断像素是否处于发生伪分辨率的区域中；以及基于所述评价步骤的 结果和所述判断步骤的结果，通过针对各像素所选择的图像数据进行插值，来生成具有所 述多个颜色的插值后的图像数据。 根据本专利技术的其它方面，在此说明一种以上的图像处理设备、一种以上的图像处 理方法、一个以上的程序和一种以上的存储介质。通过以下参考附图对典型实施例的说明， 本专利技术的其它特征将显而易见。【附图说明】 图1是根据至少一个实施例的摄像设备的结构的例子的图。 图2是示出根据实施例的去马赛克单元的结构的例子的图。 图3是示出图2所示的水平插值单元的至少一个实施例的结构和垂直插值单元的 至少一个实施例的结构的例子的图。 图4是示出用于说明方向依赖插值处理所使用的Bayer图案的像素配置的图。 图5是示出Gr/Gb插值单元所进行的处理的图。 图6是示出图2所示的饱和度检测插值单元的至少一个实施例的结构和二维插值 单元的至少一个实施例的结构的例子的图。 图7是示出饱和度检测G插值单元所使用的一组滤波器系数的例子的图。 图8是示出二维插值单元所进行的处理的图。 图9是示出图2所示的伪分辨率区域判断单元的至少一个实施例的结构的例子的 图。 图10是示出伪分辨率区域阈值判断处理的例子的流程图。 图11是示出评价值计算处理的例子的流程图。 图12A是示出用于说明计算G信号的评价值的处理所使用的3X3像素区域的图， 图12B是示出用于说明计算R-G信号的评价值的处理所使用的3X3像素区域的图，并且图 12C是示出用于说明计算B-G信号的评价值的处理所使用的3X3像素区域的图。 图13A是示出计算评价值时所使用的三个像素的低通滤波器的一组滤波器系数 的例子的图，并且图13B是示出计算评价值时所使用的五个像素的低通滤波器的一组滤波 器系数的例子的图。 图14是示出图像生成处理的例子的流程图。 图15是示出根据第二实施例的饱和度检测插值单元的结构的例子的图。 图16A是示出饱和度检测GH插值单元所使用的一组滤波器系数的例子的图，并且 图16B是示出饱和度检测GV插值单元所使用的一组滤波器系数的例子的图。 图17是示出Bayer图案的像素配置的例子的图。【具体实施方式】 下面参考【附图说明】本专利技术的实施例。 第一实施例 下面说明第一实施例。 图1是示出包括根据第一实施例的图像处理设备的摄像设备的结构的例子的框 图。被摄体的光学图像（被摄体图像）经由摄像镜头101聚集于图像传感器102上，并且 被从光学信号转换成电信号。 图像传感器102是具有多色滤波器的单板彩色图像传感器。颜色滤波器可以是包 括红色（R)、绿色（G)和蓝色（B)三原色的阵列元件的三原色滤波器阵列，其中三原色分别 具有以约650nm、550nm和450nm为中心的透过主波长带，该本文档来自技高网...

【技术保护点】
一种图像处理设备，用于处理经由图像传感器对被摄体图像的光学图像的光电转换所产生的马赛克图像数据，其中，所述图像传感器包括具有多个颜色的颜色滤波器，所述马赛克图像数据具有各自与所述颜色滤波器的所述多个颜色其中之一相对应的像素的图像数据，所述图像处理设备包括：第一插值单元，用于在多个规定方向中的各规定方向上，使用位置靠近关注像素的像素的图像数据来以像素为单位对所述关注像素进行插值处理，从而再现所述关注像素处缺失的颜色的图像数据；评价单元，用于评价进行了所述第一插值单元的插值处理的各规定方向的图像数据；第二插值单元，用于进行插值处理，以保存所述被摄体图像的边缘成分；饱和度检测单元，用于从进行了所述第二插值单元的插值处理的图像数据中检测饱和度；判断单元，用于基于所述饱和度检测单元所检测到的饱和度，以像素为单位来判断像素是否处于可能发生伪分辨率的区域中；以及图像生成单元，用于基于所述评价单元的评价结果和所述判断单元的判断结果来针对各像素选择要进行插值的图像数据，并且生成具有所述多个颜色的插值后的图像数据。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：山中阳平，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP