图像处理装置、图像处理方法及程序制造方法及图纸

本发明专利技术提供了图像处理装置、图像处理方法及程序。所述图像处理装置包括：颜色变化量及正规化动态范围运算单元，它计算出用于表明从单板式像素部输出的第一图像的指定区域内的像素中的多个颜色成分中的第一颜色成分和第二颜色成分相对于第三颜色成分的变化量的颜色变化量；以及系数读取单元，它基于对所述指定区域执行的类分类的结果而读取预先被存储的系数，其中仅通过所述第一颜色成分的像素而形成的第二图像的像素值的运算方法和仅通过所述第二颜色成分的像素而形成的第二图像的像素值的运算方法基于所述颜色变化量和正规化动态范围而改变。本发明专利技术能够在不会使图像质量劣化的前提下从图像传感器的输出中获得各颜色成分的图像信号。

【技术实现步骤摘要】
图像处理装置、图像处理方法及程序
本专利技术涉及图像处理装置、图像处理方法及程序，更加具体地，涉及如下这样的图像处理装置、图像处理方法及程序:它们能够在不会使图像质量劣化的前提下从图像传感器的输出中获得各颜色成分的图像信号，所述图像传感器具有由多个颜色成分形成的颜色滤光片阵列。
技术介绍
使用图像传感器的成像装置主要包括使用一个图像传感器的单板式装置(下文中，称作单板式照相机)和使用三个图像传感器的三板式装置(下文中，称作三板式照相机)。 在三板式照相机中，例如，使用了分别用于R信号、G信号和B信号的三个图像传感器，并且通过使用这三个图像传感器而获得了三原色信号。此外，将从三原色信号生成的颜色图像信号记录在记录介质上。 在单板式照相机中，使用了一个图像传感器，在这一个图像传感器中，在前表面上设置有通过被分配给各个像素的颜色滤光片的阵列而形成的颜色编码滤波器，并且获得了各个像素的通过该颜色编码滤波器而被进行了颜色编码的颜色成分信号。作为用于形成颜色编码滤波器的颜色滤光片阵列，使用了红色(R)、绿色(G)和蓝色(B)的原色滤光片阵列，或者使用了黄色(Ye)、青色(Cy)和品红色(Mg)的补色滤光片阵列。此外，在单板式照相机中，通过使用上述图像传感器而获得了各个像素的单个颜色成分信号，并且通过线性插补处理而生成除了各个像素的颜色成分信号以外的颜色信号，由此获得与通过三板式照相机而获得的图像接近的图像。在摄像机等中，为了实现小型化和重量轻便化，就采用上述单板式。 具有拜耳阵列的颜色滤光片阵列经常被用作用来形成颜色编码滤波器的颜色滤光片阵列。在拜耳阵列中，G滤光片被布置成棋盘状图案(checkered pattern),并且在剩余部分中按照每一列交替地布置R滤光片和B滤光片。 在这种情况下，图像传感器从各个设置有R、G和B三原色中的一个颜色滤光片的像素中只输出与滤光片的颜色对应的图像信号。换句话说，R成分图像信号是从设置有R滤光片的像素输出的，但是G成分图像信号和B成分图像信号不是从设置有R滤光片的像素输出的。同样地，只有G成分图像信号是从G像素输出的，而R成分图像信号和B成分图像信号不是从G像素输出的。只有B成分图像信号是从B像素输出的，而R成分图像信号和G成分图像信号不是从B像素输出的。 然而，当在图像处理的后续阶段中对各个像素的信号进行处理时，对于每个像素来说R成分图像信号、G成分图像信号和B成分图像信号都是必要的。因此，在现有技术中，通过插补运算从由nXm个(其中η和m是正整数)像素形成的图像传感器的输出中分别获得了 R像素的nXm个图像信号、G像素的nXm个图像信号和B像素的nXm个图像信号，并且将它们输出至后续阶段。 此外，曾提出了如下的技术:在该技术中，通过插补运算从R像素的nXm个图像信号获得R像素的2nX 2m个图像信号，通过插补运算从G像素的nXm个图像信号获得G像素的2nX 2m个图像信号，并且通过插补运算从B像素的nXm个图像信号获得B像素的2nX2m个图像信号(例如，日本未经审查的专利申请公开案N0.2000-308079)。 根据日本未经审查的专利申请公开案N0.2000-308079的技术，通过使用输入图像中的与目标像素对应的像素和在该像素周围的像素的值作为变量，通过利用了预先经过学习而获得的系数的积和运算(product-sum operat1n)来预测输出图像的目标像素的像素值。以这种方式，就能够从单板式照相机的图像传感器的输出中生成与通过三板式照相机而获得的图像信号等效的三原色信号。 然而，在日本未经审查的专利申请公开案N0.2000-308079的情况下，与图像传感器中的R、G和B分别对应的像素值是原样不变地被用作作为预测运算的变量的抽头(tap)。 然而，由于R、G和B的各像素值在相关性上原本就弱，所以，例如即使在目标像素周围的多个像素值被输入作为抽头，但是在预测运算中也不能实现足够的效果。例如，在R、G和B的各像素值的变化被观察到具有很小相关性的区域等中通过预测运算而生成了像素值，并且存在着会明显地出现诸如伪色(false color)、渗色(color bleeding)或振铃(ringing)等图像质量劣化的情况。 此外，在单板式照相机的图像传感器中，为了防止伪色或伪影(artifact)等的影响，使向图像传感器入射的光先穿过光学低通滤波器。 然而，如果如上所述先使光穿过光学低通滤波器，那么图像可能变得模糊不清。 换句话说，在相关领域的技术中，可能很难在单板式照相机中获得不会引起诸如图像模糊、伪色、渗色或振铃等图像质量劣化的三原色。
技术实现思路
鉴于上述问题，目前所期望的是，在不会使图像质量劣化的前提下从具有由多个颜色成分形成的颜色滤光片阵列的图像传感器的输出中获得各颜色成分的图像信号。 本专利技术的一个实施例提供了一种图像处理装置，其包括:颜色变化量及正规化动态范围运算单元，所述颜色变化量及正规化动态范围运算单元从第一图像中选择指定区域并且分别计算出颜色变化量和正规化动态范围，所述第一图像是通过从单板式像素部输出的图像信号而形成的，在所述单板式像素部中在平面上有规律地设置着分别与多个颜色成分中的各颜色成分对应的像素，所述指定区域是含有预定数量的像素的区域，所述颜色变化量表明所述指定区域内的像素中的所述多个颜色成分中的第一颜色成分和第二颜色成分相对于第三颜色成分的变化量，所述正规化动态范围是通过将所述第一颜色成分的像素值的动态范围和所述第二颜色成分的像素值的动态范围正规化而获得的；类分类单元，所述类分类单元基于从所述指定区域内的像素值获得的特征量而对所述指定区域执行类分类；系数读取单元，所述系数读取单元基于所述类分类的结果而读取预先被存储的系数；以及积和运算单元，所述积和运算单元使用预测抽头作为变量，并且通过使用所读取的所述系数的积和运算来分别计算出第二图像的像素值，各所述第二图像均是仅通过所述多个颜色成分中的单个颜色成分的像素而形成的，所述预测抽头把与所述指定区域内的预定像素相关的像素值用于该预测抽头。在该图像处理装置中，仅通过所述第一颜色成分的像素而形成的所述第二图像的像素值的运算方法和仅通过所述第二颜色成分的像素而形成的所述第二图像的像素值的运算方法基于所述颜色变化量和所述正规化动态范围而改变。 在所述图像处理装置中，所述预测抽头的结构可以基于所述颜色变化量和所述正规化动态范围而改变。 所述图像处理装置还可以包括:代表值运算单元，所述代表值运算单元分别计算出所述指定区域内的各所述颜色成分的代表值；以及颜色成分变换单元，所述颜色成分变换单元将所述预测抽头的各所述颜色成分的像素值变换成变换值，这些变换值是通过使用所述代表值使所述预测抽头的各所述颜色成分的所述像素值相对于所述多个颜色成分中的充当基准的一个颜色成分的像素值偏移而获得的。在该图像处理装置中，所述积和运算单元使用所述变换值作为变量，并且通过使用所读取的所述系数的积和运算而分别计算出均是仅通过所述多个颜色成分中的单个颜色成分的像素而形成的所述第二图像各者的像素值。 在所述图像处理装置中，所述单板式像素部可以是具有包括R成分、G成分和B成本文档来自技高网...

【技术保护点】
一种图像处理装置，其包括：颜色变化量及正规化动态范围运算单元，它从第一图像中选择指定区域并且分别计算出颜色变化量和正规化动态范围，所述第一图像是通过从单板式像素部输出的图像信号而形成的，在所述单板式像素部中在平面上有规律地设置着分别与多个颜色成分中的各颜色成分对应的像素，所述指定区域是含有预定数量的像素的区域，所述颜色变化量表明所述指定区域内的像素中的所述多个颜色成分中的第一颜色成分和第二颜色成分相对于第三颜色成分的变化量，所述正规化动态范围是通过将所述第一颜色成分的像素值的动态范围和所述第二颜色成分的像素值的动态范围正规化而获得的；类分类单元，它基于从所述指定区域内的像素值获得的特征量来对所述指定区域执行类分类；系数读取单元，它基于所述类分类的结果来读取预先被存储的系数；以及积和运算单元，它使用预测抽头作为变量，并且通过使用所读取的所述系数的积和运算来分别计算出第二图像的像素值，各所述第二图像均是仅通过所述多个颜色成分中的单个颜色成分的像素而形成的，所述预测抽头把与所述指定区域内的预定像素相关的像素值用于该预测抽头，其中，仅通过所述第一颜色成分的像素而形成的所述第二图像的像素值的运算方法和仅通过所述第二颜色成分的像素而形成的所述第二图像的像素值的运算方法基于所述颜色变化量和所述正规化动态范围而改变。...

【技术特征摘要】
2013.03.29 JP 2013-0745781.一种图像处理装置，其包括: 颜色变化量及正规化动态范围运算单元，它从第一图像中选择指定区域并且分别计算出颜色变化量和正规化动态范围，所述第一图像是通过从单板式像素部输出的图像信号而形成的，在所述单板式像素部中在平面上有规律地设置着分别与多个颜色成分中的各颜色成分对应的像素，所述指定区域是含有预定数量的像素的区域，所述颜色变化量表明所述指定区域内的像素中的所述多个颜色成分中的第一颜色成分和第二颜色成分相对于第三颜色成分的变化量，所述正规化动态范围是通过将所述第一颜色成分的像素值的动态范围和所述第二颜色成分的像素值的动态范围正规化而获得的； 类分类单元，它基于从所述指定区域内的像素值获得的特征量来对所述指定区域执行类分类； 系数读取单元，它基于所述类分类的结果来读取预先被存储的系数；以及积和运算单元，它使用预测抽头作为变量，并且通过使用所读取的所述系数的积和运算来分别计算出第二图像的像素值，各所述第二图像均是仅通过所述多个颜色成分中的单个颜色成分的像素而形成的，所述预测抽头把与所述指定区域内的预定像素相关的像素值用于该预测抽头， 其中，仅通过所述第一颜色成分的像素而形成的所述第二图像的像素值的运算方法和仅通过所述第二颜色成分的像素而形成的所述第二图像的像素值的运算方法基于所述颜色变化量和所述正规化动态范围而改变。2.根据权利要求1所述的图像处理装置，其中，所述预测抽头的结构基于所述颜色变化量和所述正规化动态范围而改变。3.根据权利要求1所述的图像处理装置，其还包括: 代表值运算单元，它分别计算出所述指定区域内的各所述颜色成分的代表值；以及颜色成分变换单元，它将所述预测抽头的各所述颜色成分的像素值变换成变换值，这些变换值是通过使用所述代表值使所述预测抽头的各所述颜色成分的所述像素值相对于所述多个颜色成分中的充当基准的一个颜色成分的像素值偏移而获得的， 其中，所述积和运算单元使用所述变换值作为变量，并且通过使用所读取的所述系数的积和运算而分别计算出均是仅通过所述多个颜色成分中的单个颜色成分的像素而形成的所述第二图像各者的像素值。4.根据权利要求3所述的图像处理装置，其中， 所述单板式像素部是具有包括R成分、G成分和B成分的拜耳阵列的像素部，并且 所述代表值运算单元执行如下操作: 基于在R像素或B像素周围的G像素来计算出所述R像素或所述B像素的插补值g ；基于在所述G像素周围的所述R像素或所述B像素来分别计算出所述G像素的插补值r和插补值b ； 通过使用输入值G和所述插补值g的平均值来计算出G代表值，所述输入值G是直接从所述G像素获得的； 基于所述插补值r与所述输入值G之间的差、输入值R与所述插补值g之间的差、及所述G代表值来计算出R代表值，所述输入值R是直接从所述R像素获得的；以及 基于所述插补值b与所述输入值G之间的差、输入值B与所述插补值g之间的差、及所述G代表值来计算出B代表值，所述输入值B是直接从所述B像素获得的。5.根据权利要求4所述的图像处理装置，其中，当所述第二图像是仅通过所述G像素而形成时，所述颜色成分变换单元使所述输入值R偏移所述R代表值与所述G代表值之间的差，并且使所述输入值B偏移所述B代表值与所述G代表值之间的差。6.根据权利要求4所述的图像处理装置，其中，所述颜色变化量及正规化动态范围运算单元执行如下操作: 基于所述输入值R与所述R像素的所述插补值g之间的差值的动态范围来计算出所述R成分的颜色变化量Rv ； 基于所述输入值B与所述B像素的所述插补值g之间的差值的动态范围来计算出所述B成分的颜色变化量Bv ； 将所述输入值R的动态范围正规化，以计算出所述R成分的正规化动态范围NDR_R ； 将所述输入值B的动态范围 正规化，以计算出所述B成分的正规化动态范围NDR_B ；以及 将所述输入值G的动态范围正规化，以计算出所述G成分的正规化动态范围NDR_G。7.根据权利要求6所述的图像处理装置，其中，当生成仅通过所述多个颜色成分中的所述G成分的像素而形成的所述第二图像，并且生成仅通过所述多个颜色成分中的所述R成分的像素而形成的所述第二图像和仅通过所述多个颜色成分中的所述B成分的像素而形成的所述第二图像时，从仅通过所述G成分的像素而形成的所述第二图像获得所述预测抽头。8.根据权利要求7所述的图像处理装置，其中，当生成仅通过所述R成分的像素而形成的所述第二图像时，通过将所述颜色变化量Rv、所述正规化动态范围NDR_R、所述正规化动态范围NDR_G、以及所述颜色变化量Rv与所述颜色变化量Bv之间的差值的绝对值分别与阈值比较，来选择第一模式、第二模式和第三模式中的任一者， 在所述第一模式中，获得包括所述第一图像的所述输入值R和仅通过所述G成分的像素而形成的所述第二图像的像素值的预测抽头， 在所述第二模式中，获得仅包括仅通过所述G成分的像素而形成的所述第...

【专利技术属性】
技术研发人员：奥村明弘，藤沢一郎，安藤胜俊，土屋隆史，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP