图像处理装置、图像处理方法和程序制造方法及图纸

本发明专利技术公开了一种图像处理装置、图像处理方法和程序。所述图像处理装置包括：代表值计算单元，它从第一图像选择指定区，并且计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，它对所述指定区进行类别分类；系数读取单元，它读取预先存储的系数；颜色分量变换单元，它将所述指定区内的预定的像素有关的像素值设定为预测抽头，将一个颜色分量的像素值设定为基准，并将各颜色分量的像素值变换成变换值；和积和计算单元，它将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值。根据本发明专利技术，在进行分辨率变换的图像处理时，从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出可以获得各颜色分量的图像信号，而不会降低图像质量。

【技术实现步骤摘要】
图像处理装置、图像处理方法和程序相关申请的交叉参考本申请要求于2013年3月29日提交的日本在先专利申请JP2013-074577的权益，其全部内容以引用的方式并入本文。
本技术涉及一种图像处理装置、图像处理方法和程序，尤其涉及一种在进行分辨率变换的图像处理时能够从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出获得各颜色分量的图像信号而不会降低图像质量的图像处理装置、图像处理方法和程序。
技术介绍
近年来，对诸如所谓的4k2k或8k4k等图像分辨率的改善的需求日益增加。然而，例如，即使图像传感器的尺寸可以增大，但是由于光学系统的尺寸、重量等，也难以实现分辨率的足够改善。此外，在图像传感器的灵敏度方面也难以提高帧速率。 由此，已经提出了其中在不会降低图像传感器的胞的面积超过预定程度的情况下改善分辨率的技术。例如，已经提出了其中生成输出图像的像素并且通过对低分辨率的输入图像进行图像处理获得高分辨率的输出图像的技术。 此外，目前主要有两种使用图像传感器的成像装置。一种是使用一个图像传感器的单芯式(one-chip)装置(以下称为单芯式相机)。另一种是使用三个图像传感器的三芯式装置(以下称为三芯式相机)。 在三芯式相机中，例如，使用三个图像传感器，S卩，R信号用的图像传感器、G信号用的图像传感器和B信号用的图像传感器，因此通过三个图像传感器获得三原色信号。然后，从三原色信号产生的彩色图像信号被存储在记录介质中。 在单芯式相机中，使用其中由分配给每个像素的彩色滤波器阵列制成的彩色编码滤波器安装在前面的一个图像传感器，并且针对每个像素获得由彩色编码滤波器彩色编码的颜色分量的信号。作为构成彩色编码滤波器的彩色滤波器阵列，例如，使用红色(R)、绿色(G)和蓝色(B)的原彩色滤波器阵列或黄色(Ye)、青色(Cy)和品红色(Ma)的互补滤波器阵列。然后，在单芯式相机中，通过图像传感器针对一个像素获得一种颜色分量的信号，并且通过进行线性插值处理产生由每个像素保持的颜色分量的信号以外的其他颜色信号，从而获得接近由三芯式相机获得的图像的图像。在摄像机中，为了小型化和轻量化而使用单芯式方式。 作为构成彩色编码滤波器的彩色滤波器阵列，在大部分时间使用拜耳(Bayer)布局的彩色滤波器阵列。在拜耳布局中，G色滤波器被排列为棋盘图案，R和B色滤波器在每行中交替排列在剩余部分上。 在这种情况下，在图像传感器中，从其中配置三原色R、G和B之一颜色的滤波器的各像素中，只有对应于该滤波器颜色的图像信号被输出。即，从其中配置R色滤波器的像素中，R分量的图像信号被输出，但是G分量和B分量的图像信号没有被输出。按相同方式，从G像素中，仅有G分量的图像信号被输出，R分量和B分量的图像信号没有被输出。从B像素中，仅有B分量的图像信号被输出，R分量和G分量的图像信号没有被输出。 然而,在图像处理的下游侧中，在各像素的信号的处理时，R分量、G分量和B分量的图像信号是必要的。因此，在现有的技术中，从来自nXm(n和m是正整数)个像素构成的图像传感器的输出通过各自的插值计算获得nXm个R像素的图像信号、nXm个G像素的图像信号和η Xm个B像素的图像信号，并输出到下游侧。 此外，提出了以下的技术，其中从nXm个R像素的图像信号通过插值计算获得2nX 2m个R像素的图像信号，从nXm个G像素的图像信号通过插值计算获得2ηX 2m个G像素的图像信号，从nXm个B像素的图像信号通过插值计算获得2ηX 2m个B像素的图像信号(例如，参照日本未经审查的专利申请公开N0.2000-341705)。 在日本未经审查的专利申请公开N0.2000-341705中，对应于关注像素的像素和其邻近的像素值被设定为输入图像中的变量，并且通过使用由预先学习获得的系数的积和计算来预测输出图像的关注像素的像素值。通过这样做，从来自单芯式相机的图像传感器的输出可以生成三原色信号，并且可以生成像素密度是原始图像的4倍的图像信号。 顺便说一下，在日本未经审查的专利申请公开N0.2000-341705中，对应于图像传感器中各R、G和B的像素值原样地用作抽头(tap，夕〃 7 )，即，预测计算的变量。 然而，由于R、G和B的像素值中的相关性初始很低，例如，即使在关注像素附近的多个像素值被作为抽头输入，也难以在预测计算中产生足够的效果。 此外，在单芯式相机的图像传感器中，为了避免伪色、假像等的影响，入射在图像传感器上的光通常被设置成通过光学低通滤波器。 然而，按这种方式通过将入射到图像传感器光被设置成通过光学低通滤波器使图像褪色。 即，在现有的技术中，在单芯式相机中，在不会造成图像质量下降的情况下，例如图像的褪色、伪色或假像，很难获得三原色信号。 在这种条件下，由于在从低分辨率的输入图像获得高分辨率的输出图像的图像处理中，在现有的技术中，诸如在拜耳变换时发生的伪色或假像等图像质量劣化突出，因此难以达到足够的效果。
技术实现思路
希望在进行分辨率变换的图像处理时，从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出获得各颜色分量的图像信号，而不会降低图像质量。 根据本技术的实施方案，提供了一种图像处理装置，包括:代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数；颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。 在所述图像处理装置中，所述单芯式像素单元可以是具有R、G和B颜色分量的像素单元；和其中所述代表值计算单元可以基于R或B像素附近的G像素计算R或B像素的插值g，可以基于G像素附近的R像素或B像素计算G像素的插值r和插值b，可以通过使用从G像素直接获得的输入值G和插值g的平均值计算G的代表值，可以基于插值r和输入值G之间的差、从R像素直接获得的输入值R和插值g之间的差以及G的代表值，计算R的代表值，和可以基于插值b和输入值G之间的差、从B像素直接获得的输入值B和插值g之间的差以及G的代表值，计算B的代表值。 在所述图像处理装置中，如果第二图像是仅由G像素构成的图像，所述颜色分量变换单元可以通过使用R的代表值和G的代表值之间的差抵消输入值R，和可以通过使用B的代表值和G的代表值之间的差抵消输入值B ;其中如果第二图像是仅由R像素构成的图像，所述颜色分量变本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数；颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。

【技术特征摘要】
2013.03.29 JP 2013-0745771.一种图像处理装置，包括: 代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值； 类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类； 系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数； 颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。2.如权利要求1所述的图像处理装置， 其中所述单芯式像素单元是具有R、G和B颜色分量的像素单元，和 其中所述代表值计算单元， 基于R或B像素附近的G像素计算R或B像素的插值g, 基于G像素附近的R像素或B像素计算G像素的插值r和插值b， 通过使用从G像素直接获得的输入值G和插值g的平均值计算G的代表值， 基于插值r和输入值G之间的差、从R像素直接获得的输入值R和插值g之间的差以及G的代表值，计算R的代表值，和 基于插值b和输入值G之间的差、从B像素直接获得的输入值B和插值g之间的差以及G的代表值，计算B的代表值。3.如权利要求2所述的图像处理装置， 其中如果第二图像是仅由G像素构成的图像， 所述颜色分量变换单元通过使用R的代表值和G的代表值之间的差抵消输入值R，和 通过使用B的代表值和G的代表值之间的差抵消输入值B， 其中如果第二图像是仅由R像素构成的图像， 所述颜色分量变换单元通过使用G的代表值和R的代表值之间的差抵消输入值G，和 通过使用B的代表值和R的代表值之间的差抵消输入值B，和 其中如果第二图像是仅由B像素构成的图像， 所述颜色分量变换单元通过使用G的代表值和B的代表值之间的差抵消输入值G，和 通过使用R的代表值和B的代表值之间的差抵消输入值R。4.如权利要求3所述的图像处理装置， 其中所述单芯式图像单元被设定为倾斜拜耳布局的像素单元，其中拜耳布局的像素倾斜配置。5.如权利要求1所述的图像处理装置，其中如果在具有多个颜色分量的图像中，生成仅由第一颜色分量构成的第二图像，和在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么 从仅由第一颜色分量构成的第二图像获取所述预测抽头。6.如权利要求1所述的图像处理装置，还包括: 计算所述预测抽头的虚拟色差的虚拟色差计算单元， 其中如果在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么 所述积和计算单元将所述预测抽头的虚拟色差设定为变量并通过使用读取的系数进行积和运算来计算第二图像的虚拟色差，和 其中从第一图像中的...

【专利技术属性】
技术研发人员：奥村明弘，藤沢一郎，安藤胜俊，土屋隆史，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP