稀疏颜色图像传感器系统技术方案

描述了用于通过计算地组合在经由稀疏颜色过滤器阵列捕获的多个分量图像帧中存在的色彩上欠采样和偏移的信息来生成颜色图像的系统和技术，该稀疏颜色过滤器阵列包括少数波长过滤的图像元素和剩余多数全色的图像元素。可以经由包括多个子单元的颜色过滤器阵列发起多个图像帧的突发捕获，每个子单元包括少数一个或多个波长过滤相邻像素和多数剩余全色像素。处理多个图像帧中的每一个以生成所得的颜色图像。颜色图像。颜色图像。

【技术实现步骤摘要】
【国外来华专利技术】稀疏颜色图像传感器系统

技术介绍

[0001]为了捕获色彩信息并使能够创建颜色图像，移动和其他成像系统中的电子图像传感器通常包括颜色过滤器阵列(CFA)，诸如Bayer CFA，其包括分离的波长特定过滤器，被设置在或形成在重复图案的电子图像传感器的单个像素上。然而，这样的色彩信息的捕获与光学效率的大量成本相关联，因为通过这样的波长特定过滤器接收的光量被显著减少。这些缺点在低光条件下加剧，这可能导致噪声增加、混叠增加、空间分辨率降低以及图像清晰度和质量的其他降低，包括可用于补偿光学低效率的后处理技术。

技术实现思路

[0002]在一个示例中，一种方法可以包括经由包括多个子单元的颜色过滤器阵列CFA发起多个图像帧的突发捕获，每个子单元包括少数一个或多个波长过滤相邻像素和多数剩余全色像素；响应于发起，接收多个图像帧；处理多个图像帧中的每一个；以及至少部分地基于该处理生成图像。
[0003]因此，所提出的方法可以包括使用具有子单元的CFA，其中每个子单元包括多数全色像素和一个或多个用于对确定波长范围的光进行采样的相邻像素，并且每个子单元的大多数像素是全色像素。全色像素为捕获的图像帧提供亮度信息，而提供波长过滤像素以对确定的波长范围的光进行采样，例如对红光、绿光或蓝光进行采样。在示例性实施例中，所提供的少数波长过滤像素可以因此根据波长被过滤，以便对要处理的色彩数据进行欠采样，而CFA中的多数全色像素提供亮度数据但不提供颜色信息。因此，可以对突发捕获中捕获的每个(分量)图像帧的少数波长过滤像素的色彩数据和多数全色像素的亮度数据进行处理，以生成单个(完整)颜色图像。
[0004]构成子单元的像素中的少数的一个或多个波长过滤像素在本场境中是相邻的，特别地包括：根据波长过滤的两个或更多个像素在空间上排列使得子组中没有未被波长过滤的像素位于子组的两个或更多波长过滤像素之间。本文对具有单个“相邻”像素的子单元的引用指示所引用的子单元仅包括单个波长过滤像素，而子单元的剩余像素是全色的。
[0005]每个子单元的一个或多个相邻波长过滤像素可以包括一个红色波长过滤像素、一个蓝色波长过滤像素和一个或多个绿色波长过滤像素的集群。
[0006]每个子单元中的一个或多个波长过滤相邻像素可以由单个波长过滤像素组成。
[0007]多个子单元中的每个子单元的一个或多个波长过滤相邻像素与多个子单元中的每个相邻子单元的一个或多个波长过滤相邻像素由至少两个全色像素分开。
[0008]处理多个图像帧中的每一个可以包括对齐多个图像帧的对应的多个子单元，以便补偿多个图像帧中的相应图像帧之间的一个或多个空间偏移。相应图像帧之间的空间偏移可以例如由包括图像传感器和耦合到图像传感器的CFA的设备的无意识移动引起，由此在突发中捕获的连续图像帧中描绘的至少一个对象是空间偏移的。
[0009]多个子单元中的每个子单元可以包括小于1:5的波长过滤像素与总像素的比率。
[0010]多个子单元中的每个子单元可以与小于百分之二十的颜色采样率相关联。
[0011]在另一示例中，成像系统可以包括图像传感器；CFA，使得CFA包括多个子单元，每个子单元可以包括少数一个或多个波长过滤相邻像素和剩余多数全色像素；耦合到CFA的图像传感器；以及耦合到图像传感器的处理器，使得处理器可以经由CFA和图像传感器发起对多个图像帧的突发捕获，并且可以通过处理多个图像帧中的每一个来生成颜色图像。
[0012]每个子单元的一个或多个相邻波长过滤像素可以包括根据第一波长过滤的至少一个第一像素和根据另一第二波长过滤的至少一个第二像素的集群。例如，每个子单元的一个或多个波长过滤的相邻像素可以包括根据针对红色的第一波长过滤的至少一个第一像素和根据针对蓝色或绿色的另一第二波长过滤的至少一个第二像素的集群。在示例性实施例中，每个子单元包括一个红色波长过滤像素、一个蓝色波长过滤像素和一个或多个绿色波长过滤像素的集群。
[0013]每个子单元的一个或多个波长过滤的相邻像素可以由单个波长过滤像素组成。
[0014]多个子单元中每个子单元的一个或多个波长过滤相邻像素可以与多个子单元中每个相邻子单元的一个或多个波长过滤相邻像素由至少两个全色像素分开。
[0015]处理多个图像帧中的每个图像帧可以包括通过对齐多个图像帧的对应多个子单元来补偿多个图像帧的相应图像帧之间的一个或多个空间偏移。
[0016]多个子单元中的每个子单元可以包括小于1:5的波长过滤像素与总像素的比率。
[0017]多个子单元中的每个子单元可以与小于百分之二十的颜色采样率相关联。
[0018]在另一示例中，计算设备可以包括图像传感器；CFA，使得CFA包括多个子单元，每个子单元可以包括少数一个或多个波长过滤相邻像素和剩余多数全色像素；耦合到CFA的图像传感器；一个或多个镜头，其经由CFA将光引导到图像传感器上；以及被耦合到图像传感器的一个或多个处理器，使得所述一个或多个处理器可以发起经由CFA和图像传感器的多个图像帧的突发捕获，并且可以通过处理多个图像帧中的每一个来生成颜色图像。
[0019]每个子单元的一个或多个相邻波长过滤像素可以包括一个红色波长过滤像素、一个蓝色波长过滤像素和一个或多个绿色波长过滤像素的集群。
[0020]多个子单元中的每个子单元的一个或多个波长过滤相邻像素可以与多个子单元中的每个相邻子单元的一个或多个波长过滤相邻像素由至少两个全色像素分开。
[0021]生成颜色图像可以包括通过在空间上对齐多个图像帧的对应多个子单元来补偿多个图像帧的相应图像帧之间的一个或多个空间偏移。
[0022]多个子单元中的每个子单元可以提供小于百分之二十的颜色采样率。
[0023]计算设备可以进一步包括头戴式显示器(HWD)。
[0024]非固定成像系统，诸如手持式或安装在用户头上的相机，通常在捕获连续图像之间进行“自由运动”。本文描述的技术可以利用经由(“稀疏”)颜色过滤器阵列(CFA)的这样的连续图像的捕获突发，通过对具有小空间偏移——诸如可能持有或佩戴图像捕获设备的用户的无意识移动产生的那些——的未对齐图像帧的色彩信息进行欠采样来生成完整的RGB图像。在某些实施例中，在捕获具有这样的空间偏移和稀疏采样的色彩信息的多个图像帧的突发之后，捕获的图像帧随后用于“时间叠加”——每个图像帧被计算地处理以对齐和合并图像帧以形成将颜色值(例如，红色、绿色和蓝色值)分配给每个像素的单个图像。在其他实施例中，可以省略图像帧的这种时间叠加，诸如通过在大部分单色图像中利用部分(稀疏)颜色数据。
[0025]系统和技术被描述为通过计算地组合存在于经由稀疏颜色过滤器阵列捕获的多个分量图像帧中的色彩欠采样和移位信息来生成颜色图像，该稀疏颜色过滤器阵列包括少数波长过滤像素和剩余多数全色像素。可以经由包括多个子单元的颜色过滤器阵列发起多个图像帧的突发捕获，每个子单元包括少数一个或多个波长过滤相邻像素和多数剩余全色像素。然后可以处理多个图像帧中的每一个以生成所得本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：经由包括多个子单元的颜色过滤器阵列CFA发起对多个图像帧的突发捕获，每个子单元包括少数一个或多个波长过滤相邻像素和多数剩余全色像素；响应于所述发起，接收所述多个图像帧；处理所述多个图像帧中的每一个；以及基于所述处理生成图像。2.根据权利要求1所述的方法，其中，每个子单元的所述一个或多个波长过滤相邻像素包括一个红色波长过滤像素、一个蓝色波长过滤像素和一个或多个绿色波长过滤像素的集群。3.根据权利要求1所述的方法，其中，每个子单元的所述一个或多个波长过滤相邻像素由单个波长过滤像素组成。4.根据权利要求1至3中任一项所述的方法，其中，所述多个子单元中的每个子单元的所述一个或多个波长过滤相邻像素与所述多个子单元中的每个相邻子单元的所述一个或多个波长过滤相邻像素由至少两个全色像素分开。5.根据前述权利要求中任一项所述的方法，其中，处理所述多个图像帧中的每一个包括对齐所述多个图像帧的子单元以便补偿所述多个图像帧中的相应图像帧之间的一个或多个空间偏移。6.根据前述权利要求中任一项所述的方法，其中，所述多个子单元中的每个子单元包括小于1:5的波长过滤像素与所述CFA的总像素的比率。7.根据前述权利要求中任一项所述的方法，其中，所述多个子单元中的每个子单元与小于百分之二十的颜色采样率相关联。8.一种成像系统，包括：图像传感器；颜色过滤器阵列CFA，其中，所述CFA包括多个子单元，每个子单元包括少数一个或多个波长过滤相邻像素和剩余多数全色像素；图像传感器，所述图像传感器被耦合到所述CFA；以及处理器，所述处理器被耦合到所述图像传感器，其中，所述处理器经由所述CFA和所述图像传感器发起对多个图像帧的突发捕获，并且通过处理所述多个图像帧中的每一个来生成颜色图像。9.根据权利要求8所述的成像系统，其中，每个子单元的一个或多个波长过滤相邻像素包括一个红色波长过滤像素、一个蓝色波长过滤像素和一个或多个绿色波长过滤像素的集群。10.根据权利要求8所述的成像系统，其中，每个子单元的一个或多个波长过滤相邻像素由单个波长过滤像素组成。11.根据权利要求8至10中任一项所述的成像系统，其中，所述多个子单元中的每...

【专利技术属性】
技术研发人员：斯图尔特，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：