原始图像处理系统及方法技术方案

一种相机中的处理原始图像数据的方法，该方法包括：从原始图像数据计算亮度图像；以及从原始图像数据计算对应于所述传感器的图像颜色中的至少一种的至少一个色度图像。亮度图像以及一个或多个色度图像可以与能够在原始图像数据中表示的颜色范围表示相同的颜色范围。色度图像可以具有比亮度图像的分辨率更低的分辨率。还公开了一种用于执行该方法的相机。

Primitive Image Processing System and Method

A method for processing raw image data in a camera includes: calculating a brightness image from the original image data; and calculating at least one chroma image corresponding to at least one of the image colors of the sensor from the original image data. Brightness images and one or more chroma images can represent the same color range as the color range that can be represented in the original image data. Chromaticity images can have lower resolution than brightness images. A camera for executing the method is also disclosed.

【技术实现步骤摘要】
原始图像处理系统及方法
本专利技术涉及相机中的图像处理方法。示意性实施例将集中在使用RGB拜耳(Bayer)颜色滤波阵列所捕获的图像上，但是其他实施例可以使用不同的图像捕获布置来实现，这些图像捕获布置包括包括白色或未过滤像素的CFA。
技术介绍
数码彩色相机使用图像传感器(通常为电荷耦合装置(CCD)或互补金属氧化物半导体传感器(CMOS))来电子地捕获真实场景的彩色图像。由于图像传感器的单色性，数码相机制造商会实施各种解决方案来捕获场景的色彩特性。这些解决方案包括使用每个颜色通道使用一个传感器的三传感器装置；使用垂直颜色敏感的感光点；或者最常见地，使用具有颜色滤波阵列的单传感器装置。单传感器装置表示目前用于彩色成像的最具有成本效益的方法之一，并且被广泛地应用于数码相机。在单传感器相机中，基本上是颜色滤波器的空间阵列的颜色滤波阵列(CFA)被放置在单图像传感器的前面，以同时捕获不同的光谱成分(颜色)。CFA的滤波器与单图像传感器的感光点在空间上相关联，使得每个感光点都具有相对应的光谱选择性滤波器。由单传感器相机捕获的原始图像通常构成在每个感光点处仅有一个色素的像马赛克的灰度图像。然后对原始图像进行一系列图像处理步骤，以生成真实地表示所捕获的真正的视觉场景的图像。所使用的最常见类型的CFA是如图2所示的具有交替的红色、绿色和蓝色颜色滤波器的拜耳CFA。由于在每个感光点处仅捕获一种颜色类型，所捕获的原始图像是在不同的感光点处的每一处具有红色值、绿色值和蓝色值的“马赛克”。使用被称为“去马赛克”的过程以为每个感光点生成全色信息。在这个过程中，感光点的缺失的颜色信息是通过插值过程来根据相邻的感光点确定的。当对具有拜耳CFA的传感器使用三色图像采集时，通过该去马赛克过程，原始图像数据量会增加三倍。也可能需要诸如白平衡、颜色变换、减少噪声、色调映射的进一步处理。这些处理步骤可以执行如下：(1)在相机存储图像之前进行，使得用户可以在任何时候在显示器上观看准备好的已存储的图像。由于所捕获的图像或视频的即时观看通常是非常需要的，大多数消费类相机应用选择在原始图像数据被存储之前对原始图像数据进行处理。(2)相机可能会延迟上述一些这样的图像处理步骤，直到后处理前。这种方法在专业相机应用中更为普遍。两种选择各自具有优点和缺点。如上所述，第一种选择涉及将各种图像处理算法应用于图像传感器的原始数据，例如去马赛克然后对去马赛克的图像数据进行压缩。该选择的主要缺点是后处理的限制以及压缩效率低下。后处理的限制是由于某些颜色处理已经应用于去马赛克数据以及在压缩过程中潜在的某些图像信息丢失。压缩效率低下是由于去马赛克算法导致产生与原始图像数据相比的三倍的数据量。然后，这些附加的数据需要在图像被存储之前进行更大程度的压缩从而达到更小的尺寸或比特率。第二种选择涉及对图像传感器的原始图像数据进行编码和压缩，然后对经压缩的带马赛克的原始图像数据进行存储，而不进行去马赛克、白平衡等。该选择在后处理中提供了更多的灵活性，因为图像传感器所捕获的所有视觉信息都被保留。与对原始数据进行完全去马赛克之后对图像编码相比，该选择还需要更少的压缩，因为通过去马赛克没有生成额外的图像数据。然而，这需要在解码阶段进行大量的处理，例如完全去马赛克以及可能需要的任何进一步的图像处理。本专利技术提供一种相机原始图像数据处理方法和/或系统，其旨在解决上述问题中的至少一些问题，或者至少提供有用的替代方案。参考说明书中的任何现有技术并非承认或暗示：该现有技术形成任何辖区的公知常识的部分，或者该现有技术可被合理预期被理解，并且被认为是与本领域技术人员所知的其他现有技术有关，和/或与本领域技术人员所知的其他现有技术组合。
技术实现思路
在宽泛的概念中，本专利技术提供了一种相机中的处理原始图像数据的方法。该方法广泛地包括：从原始图像数据计算亮度图像；以及从原始图像数据计算对应于传感器的图像颜色中的至少一种的至少一个色度图像。亮度图像和一个或多个色度图像与能够在原始图像数据中表示的颜色范围可以表示相同颜色范围。在本说明书中，如果图像或图像数据被描述为表示来自图像传感器的原始图像数据，那么应该理解为意味着图像或图像数据没有经历处理，该处理会减小能够由图像或图像数据表示的颜色值的范围。即，该图像的数据范围或图像数据与图像传感器能够输出的图像的数据数据范围或图像数据相比没有受到限制或剪除。当然，应该理解的是，任何给定图像类型(例如，亮度图像、色度图像、颜色平面)的图像或图像数据自身可能无法表示能够包含在原始图像数据中的整个颜色范围。本专利技术的实施例还提供了一种方法，该方法广泛地包括：对传感器原始图像数据去马赛克，以在每个捕获的颜色处生成相应的去马赛克图像，从去马赛克的图像数据计算亮度图像；以及计算与传感器的图像颜色中的至少一个相对应的色度图像，其中，所述色度图像的分辨率小于所述亮度图像的分辨率。有利地，去马赛克可以以针对相机的图像传感器优化的方式来执行。在下面的描述中，“颜色滤波器阵列”应理解为除了常规的颜色滤波器阵列之外，还包括在颜色滤波器阵列中具有如下特征的位置的颜色滤波器阵列：没有颜色过滤，例如根本不存在滤波器，中性密度滤波器，清晰、透光的滤波器元件；使用与给定颜色不相关联的通带滤波(例如，高通滤波器、低通滤波器、宽通带滤波器等)。因此，颜色滤波器阵列中的“颜色”或图像的颜色(以及字颜色的相关用途)的概念用作颜色滤波器阵列中对应的滤波器元件的通带的标志符。一方面，本专利技术提供了一种相机中的处理图像数据的方法，所述相机包括具有颜色滤波器阵列的图像传感器，其中，所述图像传感器包括感光点阵列，每个感光点被配置成接收所述颜色滤波器阵列中的多个颜色中的相应的一个颜色的光并且输出说明在对应的感光点处所捕获的光的强度的像素值。该方法可以包括：生成表示从图像传感器输出的原始图像数据的具有第一分辨率的亮度图像；以及生成表示从图像传感器输出的原始图像数据的至少一个色度图像，所述色度图像具有小于第一分辨率的第二分辨率。另一方面，本专利技术提供了一种相机中的处理图像数据的方法，所述相机被配置成使用具有颜色滤波器阵列的图像传感器来捕获原始图像数据，其中，所述图像传感器包括感光点阵列，每个感光点被配置成接收所述颜色滤波器阵列中的多个颜色中的相应的一个颜色的光并且输出说明在对应的感光点处所捕获的光的强度的像素值；所述方法包括：对所捕获的原始图像数据去马赛克，以生成与颜色滤波器阵列的多种颜色相对应的多个颜色图像；生成具有第一分辨率的亮度图像；以及生成对应于颜色滤波器阵列颜色中的相应的一个颜色的至少一个色度图像，所述至少一个色度图像具有小于第一分辨率的第二分辨率。去马赛克可以包括生成对应于颜色滤波器阵列的每种颜色的颜色图像。优选地，每种颜色的颜色图像具有第一分辨率。本专利技术上述各方面的实施例可以包括各种可选特征。在优选情况下，生成两个或更多个色度图像。在以上方面中的任意一个方面，生成(具有给定颜色的)颜色图像可以包括：针对颜色图像中的每个像素，基于围绕该像素的多个像素执行边缘检测和线检测中的至少一个，并且基于所述边缘检测或所述线检测来确定所述像素值。确定像素值可以包括：选择围绕另一像素的像素的子集，以确定所述像素值。它可替代地或附加本文档来自技高网...

【技术保护点】
1.一种在相机中处理图像数据的方法，所述相机包括具有颜色滤波器阵列的图像传感器，其中，所述图像传感器包括感光点阵列，每个感光点被配置成接收所述颜色滤波器阵列中的多个颜色中的相应的一个颜色的光并且输出说明在对应的感光点处捕获的光的强度的像素值；所述方法包括：生成表示从所述图像传感器输出的原始图像数据的、具有第一分辨率的亮度图像；以及生成表示从所述图像传感器输出的原始图像数据的至少一个色度图像，所述色度图像具有小于所述第一分辨率的第二分辨率。

【技术特征摘要】
2017.06.15 AU 20179022841.一种在相机中处理图像数据的方法，所述相机包括具有颜色滤波器阵列的图像传感器，其中，所述图像传感器包括感光点阵列，每个感光点被配置成接收所述颜色滤波器阵列中的多个颜色中的相应的一个颜色的光并且输出说明在对应的感光点处捕获的光的强度的像素值；所述方法包括：生成表示从所述图像传感器输出的原始图像数据的、具有第一分辨率的亮度图像；以及生成表示从所述图像传感器输出的原始图像数据的至少一个色度图像，所述色度图像具有小于所述第一分辨率的第二分辨率。2.根据权利要求1所述的方法，其中，所述方法包括对由所述图像传感器生成的原始图像数据去马赛克，以生成与所述颜色滤波器阵列的每种颜色相对应的颜色图像。3.根据权利要求2所述的方法，其中，生成给定颜色的颜色图像包括：对于所述颜色图像中的每个像素，基于围绕另一像素的多个像素执行边缘检测和线检测中的至少一种，并且基于所述边缘检测或所述线检测确定所述像素值。4.根据权利要求3所述的方法，其中，确定用于给定像素的所述像素值能够包括：选择围绕所述给定像素的像素的子集，以确定所述像素值。5.根据权利要求3或4中任一项所述的方法，其中，确定用于给定像素的像素值能够包括在确定所述像素值时对围绕所述给定像素的像素的子集中的像素应用加权。6.根据权利要求5所述的方法，其中，能够基于适用于所述子集内被加权的像素或者像素的所述子集的噪声水平来确定所述子集中的像素的所述加权。7.根据前述权利要求中任一项所述的方法，其中，生成色度图像包括计算以下项之一：各个颜色图像的像素值与所述亮度图像中的像素的子集处的所述亮度图像的像素值之间的差；以及各个颜色图像的像素值与绿色图像中的像素的子集处的所述绿色图像的像素值之间的差。8.根据权利要求1所述的方法，其中，使用滤波器内核从所述原始图像数据生成所述亮度图像的任意一个或多个以及一个或多个色度图像。9.根据权利要求8所述的方法，其中，生成所述亮度图像和一个或多个色度图像而不对所述原始图像数据去马赛克。10.根据前述权利要求中任一项所述的方法，其中：所述捕获的原始图像数据具有N×M像素的分辨率；和...

【专利技术属性】
技术研发人员：C·比特纳，
申请(专利权)人：黑魔法设计私人有限公司，
类型：发明
国别省市：澳大利亚,AU