图像传感设备、制造方法和图像重构方法及应用技术

彩色图像传感设备、图像处理设备和计算装置。彩色图像传感设备，包括图像传感器和相关联的元色滤色元阵列，图像传感器包括传感元阵列，传感元阵列中的传感元与元色滤色元阵列中的滤色元一一对应，一个滤色元对应于一个像素、两个像素或三个像素，分别被称为单滤色元、双滤色元和叁滤色元，对应地，存在单传感元、双传感元和叁传感元，其中所有元色滤色元阵列组成滤色元阵列，其中双滤色元、叁滤色元中至少一个的数目不为零，对应地，双传感元、叁传感元中至少一个的数目不为零。突破了传统的滤色元阵列、图像传感元阵列和彩色图像像素阵列三者之间的一一对应关系，使得在图像像素不变的条件下降低了传感器元的数量，相对地扩大了传感器元的面积。

【技术实现步骤摘要】
图像传感设备、制造方法和图像重构方法及应用
本专利技术总体地涉及彩色图像传感技术，更具体地涉及彩色图像传感设备及获取数字彩色图像的装置，可以用作各种手机、平板电脑、笔记本电脑、数码相机、数码摄像机等的数字彩色图像、视频获取装置，还涉及彩色图像传感设备的彩色滤色元阵列的渲染与排列方法，以及图像重构方法。
技术介绍
数字彩色图像传感设备是数码相机、数码摄像机，已经手机、平板电脑等数字图像设备中的最关键的部件，用于将镜头聚焦的光学图像转换为数字彩色图像。彩色图像传感设备由彩色滤色元阵列和图像传感器两部分共同组成。图像传感器(ImageSensor)的功能是将照射到传感器上的可见光的亮度转换为电信号，并在后续的处理中数字化，产生灰度(黑白)图像。为了获取自然界中的颜色信息产生彩色图像，通常采用在图像传感器的表面需要覆盖一层彩色滤色元阵列(ColorFilterArray,CFA)的方法，由彩色滤色元阵列和图像传感器两部分共同组成彩色图像传感设备。数字图像传感器的作用是将照射到传感器上的可见光的强度数字化，产生灰度(黑白)图像。由于一幅数字图像是由多个像素排列而成的像素阵列，相应地，图像传感器是由多个传感元排列成的传感元阵列，其中每个传感元独立地对接收到的光的强度(亮度)进行数字化，产生数字图像中的一个像素。彩色图像传感设备是在图像传感器的表面覆盖彩色滤色元阵列，并和图像传感器上的传感元阵列一一对应，使得图像传感器能够对可见光中不同颜色的光强(亮度)进行数字化，经过计算设备的重构后，产生彩色图像。图11示出了彩色图像传感设备的结构组成示意图，标号1指示彩色滤色元阵列，标号2指示图像传感器，图像传感器由传感元排列组成，图中R＝Red表示红色滤色元，G＝Green，表示绿色滤色元，B＝Blue，表示蓝色滤色元，T＝Transparency，表示透明滤色元，滤色元和传感元一一对应。彩色数字图像设备根据其内部的彩色图像传感器的数量可以分为三种：(1)配备了单图像传感器的彩色数字图像传感设备，该彩色图像传感设备由图像传感器和覆盖其上的三色滤色元阵列所组成，所获取的只是三分之一的彩色图像信号，该信号经过计算设备处理后，重构出彩色图像。基于单图像传感器的彩色图像传感器具有传感器面积小、价格便宜、制造方法成熟等诸多优点，随着计算设备的发展，目前已大规模地用于手机、平板电脑、数码相机、数码摄像机等各种数字图像设备中。(2)多图像传感器的彩色数字图像设备，如3CCD的数码摄像机，3CMOS的数码摄像机等，其设备内部有一个分光多棱镜，将外界射入的可见光分为红、绿、蓝三束，分别由三个独立的图像传感器(CCD或CMOS图像传感器)来接收，并量化为彩色数字图像。3CCD或3CMOS彩色图像传感器上没有滤色元阵列，但需要光学的分光镜，体积庞大，制造复杂，目前只用于一些中大型数字摄像机中。(3)层叠式多图像传感器的彩色数字图像设备，即X3彩色图像传感器(日本Sigma公司专利)，该传感器采用三层三色结构，即三层重叠的图像传感器，自上而下分别为蓝色、绿色、红色图像传感器。外界入射的光线中蓝色部分先被第一层蓝色图像传感器吸收和数字化，第二层绿色图像传感器吸收入射光中的绿色部分并数字化，第三层的红色图像传感器吸收其余的光线并数字化，从而产生彩色数字图像。X3彩色图像传感器中由于传感器的层叠，上层传感器及其电路对光线具有一定的衰减作用，使得下层传感器能够接收到的光线大幅减少。为了解决这个问题，这类图像传感器通过增加传感器的面积和传感器所含的传感元的面积来提高信噪比，从而使得整个相机体积较大，一般用于单反相机等中大型数码相机中。现有彩色图像传感设备的技术研究也集中在彩色滤色元的颜色渲染和排列方式上，例如彩色图像传感器中最常用的彩色滤色元阵列是Bayer彩色滤色元阵列，由2x2个RGGB(红绿绿蓝)滤色元重复排列而成。彩色滤色元阵列有两种基本的形成方式，一种是各种颜色的彩色滤色元随机排列，形成彩色滤色元阵列，另一种是先由不同颜色的滤色元组成一个滤色元组，然后再由滤色元组重复排列形成彩色滤色元阵列。上述两种排列方式均有相关的专利，其中关于彩色滤色元组的专利较多，表1中列出了主要的现有彩色滤色元组的技术。表1：彩色滤色元阵列中滤色元组的颜色与排列现有技术的彩色滤色元阵列有如下主要特点：1)滤色元阵列由三色或四色滤色元随机排列或成组重复排列所组成，滤色元组具有2x2，2x4，3x3，4x4等多种形式；2)彩色滤色元组内的滤色元具有确定的排列方式；3)每个彩色数字传感设备包括一个彩色滤色元阵列和一个图像传感器，且传感器上的每个传感元只采集三色或四色中的一个颜色的信号；4)特别重要的是，彩色滤色元阵列中的滤色元和图像传感器阵列中的每个传感元一一对应，均为正方形，且一个滤色元和相应的传感元组合，对应于一个像素。上述彩色滤色元阵列加图像传感器所组成的彩色数字图像传感设备虽然将图像传感设备从灰度图像传感设备转变成了彩色数字图像传感设备，但是其滤色元阵列滤去了2/3的光线，只有1/3的光线实际到达图像传感器进行成像，计算设备采用某种算法基于彩色图像传感设备的1/3采样所得到的信息重构出彩色图像。由于每个传感元都有不可避免的随机采样噪声，1/3的颜色采样降低了彩色图像传感器的信噪比，同时在每个像素的颜色的采样中引入了独立的随机噪声。这个问题在传统的单反相机、微单相机、专业相机等中大型相机里，通过增加传感器的面积和相应地增大相机的镜头，使得每个传感元都获得更多的光线，提高成像的信噪比而得到了缓解。但随着手机等移动设备的普及，为了缩小彩色图像成像模块的体积和重量，手机所使用的彩色图像传感设备中的图像传感器的面积十分有限，而像素数不断提高，图像传感器中单个像元的面积不断缩小。从而造成彩色图像传感设备在光线不足时，信噪比较低，严重影响彩色图像传感设备在光照不足时所获取的彩色图像的质量。而后期的彩色数字图像处理与增强算法(如图10A所示)，难以抑制在成像阶段所产生的随机色彩噪声。上述问题并不能象传统的相机那样通过增加图像传感器的面积和相应地增大镜头来解决。华为等手机制造商通过增加一个辅助的灰度摄像头的方案来提高图像的信噪比，从而部分地缓解上述问题。例如，华为在其P9与P9Plus等型号的手机，酷派在其Cool1等型号的手机中，推出了彩色摄像头加灰度摄像头的双摄像头方案，彩色摄像头用来获得物体的色彩，而灰度摄像头用来获得物体的明暗细节。然后用彩色数字图像处理与增强算法(请参见图10B)将彩色图像和灰度图像融合，使得在暗光下拍照的彩色图像，也能使物体具有丰富的细节。从而抑制了彩色图像的总体噪声，提高了彩色图像的质量。但由于上述方案中，彩色摄像头的彩色图像传感设备本身并没有变化，因此，彩色图像传感设备上的信噪比并没有改善。由于彩色图像传感设备上红绿蓝三色的噪声是随机且相互独立的，这种双摄像头的方案可以增强图像的细节，但依然不能去除彩色图像中来源于彩色图像传感设备的噪声，即彩色图像中的色彩噪声。除本文档来自技高网...

【技术保护点】
1.一种图像传感设备，包括一个或两个图像传感器和相关联的一个或两个元色滤色元阵列，图像传感器包括传感元阵列，传感元阵列中的传感元与元色滤色元阵列中的滤色元一一对应，/n一个滤色元对应于一个像素、两个像素或三个像素，其中一个滤色元对应于一个像素的叫单滤色元，一个滤色元对应于两个像素的叫双滤色元，一个滤色元对应于三个像素的叫叁滤色元，双滤色元的面积是单滤色元的两倍，叁滤色元的面积是单滤色元的三倍，对应地，其中一个传感元对应于一个像素的叫单传感元，一个传感元对应于两个像素的叫双传感元，一个传感元对应于三个像素的叫叁传感元，双传感元的面积是单传感元的两倍，叁传感元的面积是单传感元的三倍，/n其中，至少一个元色滤色元阵列包括至少两种原色的滤色元，以及所有元色滤色元阵列组成具有全部原色的全色滤色元阵列，其中双滤色元、叁滤色元中至少一个的数目不为零，对应地，双传感元、叁传感元中至少一个的数目不为零。/n

【技术特征摘要】
1.一种图像传感设备，包括一个或两个图像传感器和相关联的一个或两个元色滤色元阵列，图像传感器包括传感元阵列，传感元阵列中的传感元与元色滤色元阵列中的滤色元一一对应，
一个滤色元对应于一个像素、两个像素或三个像素，其中一个滤色元对应于一个像素的叫单滤色元，一个滤色元对应于两个像素的叫双滤色元，一个滤色元对应于三个像素的叫叁滤色元，双滤色元的面积是单滤色元的两倍，叁滤色元的面积是单滤色元的三倍，对应地，其中一个传感元对应于一个像素的叫单传感元，一个传感元对应于两个像素的叫双传感元，一个传感元对应于三个像素的叫叁传感元，双传感元的面积是单传感元的两倍，叁传感元的面积是单传感元的三倍，
其中，至少一个元色滤色元阵列包括至少两种原色的滤色元，以及所有元色滤色元阵列组成具有全部原色的全色滤色元阵列，其中双滤色元、叁滤色元中至少一个的数目不为零，对应地，双传感元、叁传感元中至少一个的数目不为零。


2.根据权利要求1的图像传感设备，所述图像传感设备包括两个图像传感器和两个元色滤色元阵列，
所述全部原色为三原色，或四原色，四原色为红绿蓝和无色，
两个滤色元阵列中至少一个元色滤色元阵列包括至少两种原色的滤色元，以及所有两个元色滤色元阵列组成具有全部原色的全色滤色元阵列。


3.根据权利要求1的图像传感设备，滤色元阵列中包括单滤色元、双滤色元和叁滤色元中的二种或三种，相应地传感元阵列中包括对应的单传感元、双传感元和叁传感元中的二种或三种，
至少一个元色滤色元阵列中三原色滤色元之间的比例符合预定比例关系，根据所述预定比例关系，随机或者满足一定约束条件地布置有二或三种颜色的单滤色元、双滤色元、叁滤色元，形成随机混叁滤色元阵列，且双滤色元、叁滤色元中至少一个的数目不为零。


4.根据权利要求1的图像传感设备，所述全部原色为三原色RGB，三原色R∶G∶B＝1∶2∶1，其中红色滤色元、蓝色滤色元及相应的传感元为单滤色元和单传感元，绿色滤色元及相应的传感元为双滤色元和双传感元。


5.根据权利要求1的图像传感设备，所述全部原色为红色、绿色、蓝色、白色或透明色。


6.根据权利要求1的图像传感设备，滤色元阵列中只包括双滤色元，相应地传感元阵列中只包括对应双传感元。


7.一种图像传感设备的制造方法，包括：
确定三原色滤色元之间的比例；
基于所述比例，随机地确定三种颜色的单滤色元、双滤色元、叁滤色元的数目，以及从而...

【专利技术属性】
技术研发人员：陶霖密，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11