多曝光高动态范围图像捕捉制造技术

提供多曝光高动态范围图像捕捉。具体地，提供用于根据以不同曝光水平捕捉的场景的图像的系列创建消费类数字照相机内的高动态范围(HDR)图像并且在照相机的内置显示器上显示HDR图像的技术。该方案采用混合系列的图像以结合场景阴影和高亮细节二者，并且去除在所混合的HDR图像中出现的由于在场景随着捕捉该系列图像的时间的运动产生的“重影”图像赝像。图像混合和重影去除处理操作的低计算资源利用连同在获取全部系列图像之前进行图像混合和重影去除的能力能够显著降低生成和显示色调映射的HDR图像所需的时间。

【技术实现步骤摘要】
多曝光高动态范围图像捕捉相关申请的交叉引用本申请根据35U.S.C.119(e)要求享有2011年4月20日递交的专利技术名称为“MultipleExposureHighDynamicRangeImageCapture”的美国申请序列No.13/091，068的优先权。通过引用的方式结合上面引用的全部申请的全部内容。
本申请涉及显示在物理场景中出现的灰度的全部范围的图像的获取和处理，该图像通常被称为“高动态范围”或者“HDR”图像。更具体地说，本申请涉及用于在诸如消费类数字照相机的数字图像捕捉设备中进行HDR图像的图像捕捉和处理的系统和方法。
技术介绍
由数字照相机捕捉的图像最通常的是低动态范围(LDR)图像，其中每一个图像像素包括有限数量的每颜色数字比特。每像素数字比特的数量被称为数字像素比特宽度值。该数量通常是8比特。这样的8-比特像素能够被用于形成对于每一个像素位置处的每一个颜色具有256个不同灰度级的图像。在场景的LDR图像中，场景的阴影面积被描绘为完全黑色(黑饱和)，场景的明亮的阳光照射的面积被描绘为完全白色(白饱和)，并且其间的场景面积被表示为灰度范围。高动态范围(HDR)图像是具有大于8比特的数字像素比特宽度值的图像；每像素16比特是可能的值。在这样的图像中，在物理场景中出现的灰度的全部范围能够被显示。这些灰度提供LDR图像中丢失的存在于场景的阴影区域、高亮区域和中间色调区域中的图像细节。因而，在HDR图像中，场景细节存在于由于其邻近高建筑物并且位于树木下而位于阴影中的图像暗面积中，直接由明亮的阳光照明的亮面积中，以及在这两个极值之间被点亮的中间照明面积中。通过获取以不同曝光水平捕捉的场景的多个LDR图像能够捕捉HDR图像。这些多个LDR图像被称为归类到一起的曝光图像系列。低曝光水平将正确地捕捉在由明亮的阳光充分照明的场景面积中的灰度，并且高曝光水平将正确地捕捉在由建筑物和树木完全遮挡太阳和天空的场景面积中的灰度。然而，在低曝光水平下，阴影中的场景面积将完全为黑色、处于黑饱和中、并且不显示细节，而且中间色调面积将丢失细节。进而，在高曝光水平下，场景的高亮部分将完全为白色、处于白饱和中、并且不显示细节，并且中间色调面积将再次丢失细节。因而，经常也获取正确捕捉中间水平灰度的第三、中间曝光水平图像。通过混合这三个LDR图像，能够生成描绘场景的全部灰度级范围的HDR图像。根据被归类到一起的曝光图像系列推导HDR图像目前要求采用昂贵计算引擎的复杂实现。这是由于需要执行三个分离的处理操作以将被归类到一起的曝光图像系列正确地混合为单个HDR图像，以及第四个分离的处理操作以将现在由具有比8比特每颜色更大的数字像素比特宽度值的像素构成的所产生的图像转换为能够在通常可用于8比特每像素每颜色显示器上显示的图像。这四个处理操作是：用于精确地将多个图像彼此对准的“图像注册”；用于以正确的加权将多个图像混合到一起的“图像混合”；用于去除由于场景对象随着获取多个图像的时间的移动而将在混合的HDR图像中出现的这些对象的位置偏移复制或者“重影”去除的“重影去除”；以及用于制备用于在局限于显示8比特每像素每颜色图像像素的传统显示器上呈现的最终HDR图像的“色调映射”。执行这四个处理操作要求在短时间段内大量浮点操作的性能，这能够通过浏览作者为ErikReinhard、SumantaPattanaik、GregWard和PaulDebevec，由MorganKaufmann出版商出版并且是Elsevier，Inc.的版权2005的“HighDynamicRangeImagingAcquisition，Display，andImage-basedLighting”一书看出。对于图像混合和重影去除处理操作尤其如此。因而，需要使用强大而昂贵的计算引擎(中央处理单元或者CPU)。其昂贵性可能对于专业数字照相机使用尚能容忍，但是对于结合有限处理功率CPU的不太昂贵的“傻瓜”数字照相机，这代表不切实际的方案。通过将由不太昂贵的数字照相机捕获的被归类到一起的曝光图像系列上传到诸如个人计算机(PC)的通用计算机，能够根据由该照相机捕捉的图像系列创建HDR图像。诸如AdobePhotoshop的图像处理应用能够用于在桌面上执行要求的复杂HDR图像组合处理。该方案不是很有效或者不方便并且不满足在其捕捉之后立即在照相机的内置显示器上重构HDR图像的要求。因而需要能够使用有限处理功率的CPU、根据被归类到一起的曝光图像系列快速创建HDR图像并且在捕捉之后立即在照相机的内置显示器上对其进行显示的照相机内的方法和装置。
技术实现思路
公开了用于根据多个曝光创建高动态范围合成图像的系统、方法和计算机程序产品。本专利技术的实施例可以检测基准图像和多个比较图像之间的局部运动，将相关像素聚集为补丁，从多个候选更换图像中选择更换图像作为用于更换补丁图像数据的源，更换合成图像中的补丁图像数据，以及将图像从初始格式转换到较低比特每像素格式以用于显示。本专利技术可以实施为一种混合场景的多个数字图像的方法，包括以不同的曝光水平捕捉所述图像，彼此注册每一个图像的对等像素，对于每一个图像推导归一化的图像曝光水平，以及在图像混合处理中采用归一化的图像曝光水平。所述图像混合处理包括使用所述图像混合处理来混合第一选择的图像和第二选择的图像以生成中间图像，并且在所述多个图像由两个图像构成时，输出所述中间图像作为混合的输出图像。在所述多个图像由多于两个图像构成时，所述图像混合处理包括使用先前生成的中间图像代替所述第一选择的图像以及使用另一选择的图像代替所述第二选择的图像，重复所述图像混合处理直到混合了全部图像，并且输出最后生成的中间图像作为所述混合的输出图像。所述方法还可以包括在使用所述图像混合处理之前选择性地将所述图像从较低比特每像素格式转换到较高比特每像素格式，并且然后选择性地将所述混合的输出图像转换为预定的较低比特每像素格式。所述图像混合处理混合两个图像的对等像素并且包括对于第二选择的图像中的像素推导亮度值，使用第二选择的图像像素的亮度值作为到查找表的索引以获得数值零和整数1之间的加权值，使用所述加权值、所述第二选择的图像的所述归一化曝光水平以及所述第二选择的图像像素以生成处理的第二选择的图像像素，选择与所述第二选择的图像像素相对应的第一选择的图像像素，使用所述第一选择的图像像素以及从整数1减去所述加权值的结果以生成处理的第一选择的图像像素，将所述处理的第一选择的图像像素加到对等的处理的第二选择的图像像素以生成混合的图像像素，以及重复上面的处理序列直到每一个第二选择的图像像素与其对等的第一选择的图像像素进行了混合。所述方法可以包括所获得的加权值随着用作到所述查找表的索引的亮度值增加而降低的特征。所述方法还可以包括对于每一个图像使用不同的查找表以用于获得所述加权值。所述方法还可以在所述多个图像的全部图像的捕捉之前发生所述图像混合。所述方法还可以在所述多个图像的所述第二图像的捕捉之后立即发生所述图像混合。实施例进一步包括一种用于去除出现在混合图像中的场景对象的位置移位复制的方法，其中混合图像通过应用到以不同的曝光水平并且在不同的时刻获取的多个图像的数字图像混合处理而生成，所述图像具有彼本文档来自技高网...

【技术保护点】
一种用于检测基准图像和多个比较图像之间的局部运动的方法，包括：定义用于确定在其中选择特定的比较图像的一组基准图像亮度值范围的多个亮度阈值，所述亮度阈值的数量与比较图像的数量相对应；定义根据所述基准图像的亮度值来设置阈值的差异阈值函数；对于每一个特定的比较图像，通过向通过对所述基准图像和所述特定的比较图像进行比较而形成的差异图像应用所述阈值，产生表示所述基准图像和所述特定的比较图像之间的局部运动的中间检测图；以及输出作为所述中间检测图的并集的最终检测图。

【技术特征摘要】
2011.04.20 US 13/091,0681.一种用于检测基准图像和多个比较图像之间的局部运动的方法，包括：定义用于确定在其中选择特定的比较图像的一组基准图像亮度值范围的多个亮度阈值，所述亮度阈值的数量与比较图像的数量相对应；定义根据所述基准图像的亮度值来设置阈值的差异阈值函数；对于每一个特定的比较图像，通过向通过对所述基准图像和所述特定的比较图像进行比较而形成的差异图像应用所述阈值，产生表示所述基准图像和所述特定的比较图像之间的局部运动的中间检测图；以及输出作为所述中间检测图的并集的最终检测图。2.如权利要求1所述的方法，其中在相对较高的基准图像亮度值范围中选择相对较低的亮度比较图像，并且反之亦然。3.如权利要求1所述的方法，其中所述亮度阈值的集合随着差异图像亮度值而变化。4.如权利要求1所述的方法，其中通过如下产生所述中间检测图：考虑具有位于与所述特定的比较图像相对应的范围中的亮度值的像素；计算所考虑的像素的标准偏差和均值；归一化所考虑的像素以对于所述基准图像和所述特定的比较图像具有相同的标准偏差和均值；创建所考虑的像素的绝对差异图；以及对所述...

【专利技术属性】
技术研发人员：G·拉帕波特，
申请(专利权)人：CSR技术公司，
类型：发明
国别省市：