图像处理制造技术

本发明专利技术公开了图像处理。图像处理装置包括解拼处理器，用于接收包括来自光敏元件的阵列的像素数据的视频信号，每个光敏元件具有相应颜色滤光器以将该光敏元件的敏感性限制到从一组三个或更多个原色范围中选择的一原色范围，阵列使得交替行中的光敏元件对于第一原色范围敏感并且居间行中的光敏元件对于其他原色范围敏感；像素数据包括来自对第一原色范围敏感的行的第一子集的像素数据，第一子集在视频信号的图像与图像之间是相同的；和来自对其他原色范围敏感的光敏元件的行的第二子集的像素数据，第二子集在视频信号的图像与图像之间是变化的；解拼处理器包括垂直插值器，用于垂直移位第二子集的像素数据以与第一子集的像素数据垂直对齐。

【技术实现步骤摘要】

本专利技术涉及图像处理。
技术介绍
现在将联系数字视频相机来描述示例性的图像处理应用。为了利用固态图像传感器(例如电荷耦合器件(CCD)图像传感器)生成彩色图像，必须确保关于每个像素位置检测不同的颜色成分。需要颜色滤光器(colour filter)的一些布置，因为通常图像传感器中的个体光敏元件是在只有很小或没有波长特异性的情况下检测光强度的，因此其本身无法检测分开的颜色信息。提供颜色检测的一种方式是采用多个图像传感器，每个检测一相应的颜色成分。例如，许多数字视频相机使用三CCD系统，其中每个CCD检测绿、红、蓝颜色成分中相应的一个。此布置要求三个CXD相互光学上相互对齐到亚像素精度，并且还需要分光器和颜色滤光器布置。诸如二向色(或薄膜)滤光器之类的光学滤光器可用于此任务，因为它们具有使某一范围的波长的光通过、同时使该范围外的光偏转(而不是吸收之)的有用属性。然而，许多数字相机却转而利用联合颜色滤光器阵列(CFA)操作的单个CCD。CFA是在图像传感器的个体像素传感器上制作的微小颜色滤光器的拼接(mosaic)。颜色滤光器按波长范围过滤光，以使得分开的经过滤的强度包括关于光的颜色的信息。一般使用吸收(而不是二向色)滤光器。CFA的使用的示例在附图的图I中示意性地示出。包括透镜布置20、布置在C⑶图像传感器40上的CFA 30以及图像处理器50的相机90捕捉场景10。CFA 30包括个体滤光器元件80的阵列，一般对于CCD图像传感器40的每个个体像素传感器有一个个体滤光器元件80，每个个体滤光器元件80被布置为使相应颜色的光通过。虽然在图I中，CFA 30被示为C⑶图像传感器40上的覆盖，但在实践中光学滤光器元件可作为整个半导体制作过程的一部分被直接制作在像素传感器上面。存在许多类型的CFA。例如，最初在US-A-3971065中提出的所谓拜耳(Bayer)滤光器包含给出关于红、绿、蓝(RGB)波长范围中的光的强度的信息的滤光器兀件。拜耳滤光器的像素滤光器布局的示例在附图的图2中示出，该图示意性地示出了在少数几个像素位置100上的滤光器布局，其中R表示使红光通过的滤光器，G表示使绿光通过的滤光器，并且B表示使蓝光通过的滤光器。在C⑶传感器的整个范围上重复四个像素的基本样式(2X2像素的方阵)110。提供的绿元件比红或蓝元件更多的一个原因是人眼一般对绿光比对其他原色更敏感。因此，关于绿光的额外分辨率模仿了人眼的颜色响应。其有用的另一个原因是当红、绿、蓝颜色成分信号被电组合在一起以形成单色亮度信号(Y)时，来自每个颜色成分的贡献被加权以使得亮度信号包含的绿成分的比例比另两个成分更大。由图像传感器捕捉到的原始图像数据随后通过针对每类颜色滤光器定制的所谓解拼(demosaicing)算法被转换成全色图像，其中在每个像素处表示所有三种原色的强度。换言之，检测到的颜色成分的拼接关系被解拼算法撤消以便为每个像素提供关于单个有效像素位置的所有三个颜色成分。在图I的系统中，此功能是由图像处理器50提供的，图像处理器50生成输出彩色图像60。CFA元件的光谱透射率与解拼算法一起联合决定相机的颜色表现。
技术实现思路
本专利技术提供了一种图像传感器，包括光敏元件的阵列，每个光敏元件具有相应的颜色滤光器以将该光敏元件的敏感性限制到从一组的三个或更多个原色范围中选择的一原色范围，该阵列是这样的交替行中的光敏元件对于第一原色范围敏感，并且居间行中的光敏元件对于其他原色范围敏感；以及像素数据读取器，被布置为关于视频信号的每个相继图像，输出来自对第一原色范围敏感的行的第一子集的像素数据，该第一子集在视频信号的图像与图像之间是相同 的；该像素数据读取器被布置为输出来自对其他原色范围敏感的光敏元件的行的第二子集的像素数据，该第二子集在视频信号的图像与图像之间是变化的。本专利技术提供了有利的技术，用于从具有所定义的类型的图像传感器中读取像素数据的子集，同时在帧与帧之间维持一种颜色(例如绿)像素的相同位置。本专利技术的各种其他各个方面和特征在权利要求中限定。附图说明现在将仅以示例方式参考附图描述本专利技术的实施例，附图中图I示意性地示出数字相机中的CFA的使用；图2示意性地示出拜耳滤光器；图3示意性地示出双拜耳滤光器；图4示意性地示出相机和图像处理装置；图5示意性地示出HQ模式中的操作；图6和7分别示意性地示出静态GBR模式中关于偶数线和奇数线的像素的推导；图8和9分别示意性地示出交替GBR模式中关于偶数和奇数线的像素的推导；图10和11分别示意性地示出交替BR模式中关于偶数和奇数线的像素的推导；图12是(XD/CFA单元和相关联的控制器的示意图；图13示意性地示出解拼处理器；图14示意性地示出增强型解拼处理器；图15至19分别示意性地示出滤光处理的源像素；图20示意性地示出运动检测处理的源像素；图21示意性地示出运动控制值；图22示意性地示出解拼和下变频器单元；并且图23示意性地示出帧存储的使用。具体实施例方式参考附图，所提出的另一种类型的CFA是所谓的双拜耳滤光器，其示例在图3中示意性示出。个体滤光器元件的布置和形状与图2中所示的形成对照。首先，每个个体滤光器元件150的朝向相对于像素阵列的像素行方向160旋转了 45度。其次，此布置使得存在整行170的绿滤光器元件，其间散布有交替的蓝和红元件形成的行180。注意，在本申请的优先权日，双拜耳滤光器不一定表示公开可得的现有技术。图4示意性地示出相机和图像处理装置。该布置涉及数字视频相机，但所示技术的适当方面可联系静止图像的捕捉来使用。因此图4示出了包括图像传感器和用于处理由图像传感器捕捉的图像的装置的视频相机装置。在图4中，数字视频相机200包括透镜布置210以及CFA/CXD传感器220，也就是说具有根据图3中示意性示出的重复的双拜耳样式的关联CFA的CCD传感器。CFA/CCD传感器220以4096水平像素X 2160垂直像素的最大或本原分辨率工作，这在图中以简写为“4kX2k”，或者只是“4k”，其中“k”是“大约1000”的简略表达方式。在此分辨率下，CFA/CXD传感器220可按60逐行扫描图像每秒的图片率工作，这在图中缩写为“60p”。当讨论传感器的分辨率时，“像素”的数目指的是可从捕捉的数据推导的三原色的不同群组的数目，并且在实践中对应于绿像素传感器的数目。因此，为了捕捉全分辨率4kX 2k图像，CFA/CXD图像传感器要求4kX2k的绿像素传感器，加上根据双拜耳样式的相应的红和蓝像素传感器。因此，个体像素传感器的总数将是4kX 2k的倍数。因此，CFA/C⑶图像传感器220提供了光敏元件的阵列，其中每个光敏元件具有相应的颜色滤光器以将该光敏元件的敏感性限制到从一组的三个或更多个原色范围中选择的一原色范围，该阵列是这样的交替行中的光敏元件对于第一原色范围(在此示例中是绿)敏感，而居间的行中的光敏元件对于其他原色范围(在此示例中是红和蓝)敏感。在以其全分辨率工作的CFA/CXD传感器220中，输出像素位置对齐到绿样本位置。这意味着，在每个输出像素位置，只有绿样本值是已知的，而蓝和红样本值必须利用绿样本值和周围的蓝和红样本值来估计。图像处理器230提供上述的解拼功能。图像处理器230可实本文档来自技高网...

【技术保护点】

【技术特征摘要】
2011.03.07 GB 1103755.31.一种图像传感器,包括 光敏元件的阵列，每个光敏元件具有相应的颜色滤光器以将该光敏元件的敏感性限制到从一组的三个或更多个原色范围中选择的一原色范围，所述阵列是这样的交替行中的光敏元件对于第一原色范围敏感，并且居间行中的光敏元件对于其他原色范围敏感；以及 像素数据读取器，被布置为关于视频信号的每个相继图像，输出来自对所述第一原色范围敏感的行的第一子集的像素数据，所述第一子集在所述视频信号的图像与图像之间是相同的； 所述像素数据读取器被布置为输出来自对所述其他原色范围敏感的光敏元件的行的第二子集的像素数据，所述第二子集在所述视频信号的图像与图像之间是变化的。2.根据权利要求I所述的传感器，其中，所述第一原色范围是绿范围，并且所述其他原色范围是蓝和红范围。3.根据权利要求I或权利要求2所述的传感器，其中，所述第一子集包括对所述第一原色范围敏感的那些行中的交替的行。4.根据权利要求I至3中的任何一项所述的传感器，其中，所述第二子集在所述视频信号的图像与图像之间在行的两个可能的第二子集之间交替。5.根据权利要求4所述的传感器，其中，所述两个可能的第二子集包括 包括紧挨在所述第一子集中的相应行下方的那些行的第二子集；以及 包括紧挨在所述第一子集中的相应行上方的那些行的第二子集。6.根据在前权利要求中的任何一项所述的传感器，其中，所述第二子集中的行中的像素位置相对于所述第一子集的行中的像素位置是水平偏移的。7.一种图像处理装置，包括 解拼处理器，用于接收包括来自光敏元件的阵列的像素数据的视频信号，每个光敏元件具有相应的颜色滤光器以将该光敏元件的敏感性限制到从一组的三个或更多个原色范围中选择的一原色范围，所述阵列是这样的交替行中的光敏元件对于第一原色范围敏感，并且居间行中的光敏元件对于其他原色范围敏感； 所述像素数据包括...

【专利技术属性】
技术研发人员：卡尔·沙曼，曼尼史·戴维诗·平多里亚，史蒂芬·查尔斯·欧代，尼古拉斯·里安·桑德斯，
申请(专利权)人：索尼公司，
类型：发明
国别省市：