高动态范围图像的捕捉和渲染制造技术

本发明专利技术的一些实施例提供了一种捕捉并产生具有高动态范围的图像的移动设备。为了捕捉和产生高动态范围图像，一些实施例的移动设备包括新颖的图像捕捉和处理模块。在一些实施例中，移动设备如下产生高动态范围（HDR）图像：(1)使其图像捕捉模块以不同的图像曝光持续时间快速捕捉一连串图像；以及(2)使其图像处理模块合成这些图像以产生HDR图像。

【技术实现步骤摘要】
【国外来华专利技术】高动态范围图像的捕捉和渲染
技术介绍
近年来，数码相机作为独立设备和作为更复杂设备例如蜂窝电话、智能电话、其他移动计算设备等的部件业已迅猛发展。随着这种迅猛发展，制造商已经快速增加在这些设备上的数码相机的技术特征。例如，很多移动设备如今通常包括五百万像素的相机，这对于产生高品质图像往往是需要的。不幸地，即使这种相机的技术规格已经被改进，但是由于这些相机的图像处理能力尚无法与其改进的硬件能力相匹配，因此这些相机往往不能捕捉和产生高品质的图像。例如，很多相机如今仍然不能很好地捕捉和产生具有高动态范围(HDR)的图像。HDR场景的经典示例是白天在室内站在窗户前面的人。捕捉这种场景的很多相机产生具有亮背景的图像，并且具有不能显示人的所有特征的暗前景。由移动设备的相机(例如，由电话的相机)捕捉这种HDR场景的问题由这种相机所采用的较小的图像传感器加剧。专利技术概述本专利技术的一些实施例提供了一种捕捉和产生具有高动态范围的图像的移动设备。为了捕捉和产生高动态范围图像，一些实施例的移动设备包括新颖的图像捕捉和处理模块。在一些实施例中，所述移动设备通过如下产生高动态范围(HDR)图像(1)使其图像捕捉模块以不同图像曝光持续时间快速捕捉连续图像；和(2)使其图像处理模块合成这些图像以产生所述HDR图像。 为了快速捕捉连续的图像，一些实施例的图像捕捉模块采取两个动作。首先，在移动设备进入其HDR模式之后或者在其进入图像捕捉模式(下文也称为相机模式)之后，其开始以特定帧速率捕捉图像。在一些实施例中，帧速率为15帧每秒(fps)。在其他实施例中，初始帧速率在不同的光照条件下是不同的(例如，对于正常光照条件为15fps，对于较暗的条件为IOfps,等等)。这种帧速率使相机能够以当前光照条件的正常曝光设定来捕捉图像(S卩，使相机能够利用图像捕捉模块计算作为当前光照条件的正常曝光持续时间来捕捉每张图像)。图像捕捉模块将其以特定帧速率捕捉的每张图像存储在该设备的帧缓冲器中。在一些实施例中，捕捉模块以循环方式写入帧缓冲器，循环方式在缓冲器达到其最大存储容量时允许模块删除较后存储的帧之前的较早存储的帧。其次，当移动设备进入高动态范围(HDR)模式时，图像捕捉模块计算对于相机捕捉图像的光照条件(下文称为当前光照条件)下用于捕捉曝光不足图像和曝光过度图像的曝光持续时间。本专利技术的不同实施例采用不同的技术计算曝光过度图像和曝光不足图像的持续时间。例如，一些实施例基于设备以特定帧速率捕捉的正常曝光图像的直方图来计算曝光过度图像和曝光不足图像的持续时间。在设备进入其HDR模式之后，该设备会被指示(例如，由设备的用户、由设备上的定时器、由远程用户或定时器、等等)以拍摄HDR图像。当设备被指示以拍摄HDR图像时，一些实施例的图像捕捉模块随后以快速连续的方式捕捉两张图像。一张图像为其基于先前对当前光照条件所计算的曝光过度持续时间捕捉的曝光过度图像，而另一张图像为其基于先前对当前光照条件所计算的曝光不足持续时间捕捉的曝光不足图像。在不同的实施例中，图像捕捉模块以不同的顺序捕捉曝光过度图像和曝光不足图像(例如，一些实施例首先捕捉曝光过度图像，而其他实施例首先捕捉曝光不足图像)。除了捕捉曝光过度和曝光不足图像以外，图像捕捉模块还检索其早先以正常曝光持续时间捕捉且存储在其帧缓冲器中的图像。该模块向图像处理模块提供三张图像中的每一张。在一些实施例中，图像捕捉模块提供相机捕捉图像的颜色空间中的三张图像。例如，一些实施例的图像捕捉模块在Y’ CbCr (亮度、蓝色色度、和红色色度)颜色空间中捕捉和提供这些图像。一些实施例在执行各种图像编辑操作之前将相机的Y’CbCr (亮度，luma)图像反伽玛校正为YCbCr (辉度、蓝色色度、红色色度)图像，并且随后将所得到的YCbCr (辉度，luminance)图像伽玛校正为Y’ CbCr (亮度)图像。图像处理模块随后执行两个操作。第一操作是使所有三张图像彼此对齐，这是由于相机在其捕捉三张图像期间可能已经移动。不同的实施例不同地执行这种对齐。例如，为了使两张图像对齐，一些实施例执行试图确认两张图像中的匹配特征的分层搜索。为了确认匹配特征，一些实施例仅检查两张图像的亮度分量(例如，用于Y’ CbCr颜色空间的Y’ -通道分量)。图像的亮度分量在本文有时也被称为“亮度图像”或“图像”。两张亮度图像在每个方向上以某一因数(例如，二)抽取若干次(例如，六次)，直到若干对的亮度图像被确认为止。每对亮度图像用于执行在分层搜索中的不同级别下的搜索。在每个级别，为每张亮度图像生成位图(例如，通过使用该级别的中位亮度值以基于像素是否大于或小于该中位值而生成I或O的像素值)。在每个级别，至少一张位图被划分为若干分块(tile)，其中每个分块包含若干像素。分块用来确认在另一位图中的对应的匹配分块，并且由此确认在两张位图之间的偏移。在一些实施例中，在分块包含仅白色像素、仅黑色像素、小于白色像素的阈值、或小于黑色像素的阈值的情况下，一些所述分块中的被丢弃。这些分块是不具有能够用来与其他分块相匹配的足够数量的特征(例如，边缘)的分块。这些分块被丢弃以加快比较分块并由此确认在两对位图之间的偏移的处理。基于剩下的分块，以各种不同的偏移比较所述两张位图，以确认使在该分层的当前分辨率水平下的两张位图最佳对齐的偏移。如果分层的当前分辨率水平不是该分层的最高分辨率水平，则一些实施例的图像处理模块随后使用针对该分层当前分辨率水平的算出的偏移作为在该分层的下一级别中的搜索起点。在该下一级别，模块再次生成用于该分层级别的两张不同亮度图像的两张位图，并在随后搜索起始于针对该搜索规定的起点处的偏移。在两张图像的亮度分量的分层比较中，在该分层的最高级别下确认的偏移是两张图像之间的偏移。一旦图像处理模块已经确定在一张图像(例如，正常曝光图像)与其他图像(例如，曝光过度图像和曝光不足图像)中的每一张之间的这一偏移，其就使用这些偏移以使三张图像对齐。例如，在一些实施例中，图像处理模块使用这两个偏移来裁剪三张图像，使得它们全都仅包括同一场景的重叠部分。作为替换，代替裁剪所有三张图像，一些实施例仅仅裁剪曝光过度和曝光不足图像，并且对于这些图像的经裁剪的部分，使用来自正常曝光图像的数据生成合成HDR图像。此外，代替裁剪图像，其他实施例可以使用其他操作(例如，它们可以确认图像的并集)以解决在图像中的非重叠区域。一些实施例不裁剪而是替代地重复边缘像素。由于在图像之间的偏移通常较小，因此重复边缘像素得到可接受的结果。此外，色度通常为Y’CbCr的4:2:2或4:2:0格式。这意味着色度的采样不同于亮度。在4:2: 2，色度为亮度的水平尺寸的一半，而在4:2: 0，色度为亮度的水平尺寸的一半和竖直尺寸的一半。因此，当对齐各图像时，一些实施例基于这一格式调节色度的矢量。在对齐各图像之后，图像处理模块执行其第二操作，该第二操作是三张对齐图像的合成以产生合成的HDR图像。在不同的实施例中，图像处理模块使用不同的技术来合成三张图像。例如，一些实施例通过执行用于这些图像的亮度通道的、与用于这些图像的色度通道不同的操作集合成三张图像。此外，在生成HDR合成图像时，一些实施例可能产生超过期望值范围的亮度值本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.07.05 US 61/361,516;2010.07.06 US 61/361,525;1.一种捕捉图像的移动设备，所述设备包括 a)相机，用于以不同的图像曝光持续时间捕捉至少三张图像；以及 b)图像处理模块，用于合成所捕捉的三张图像以产生合成图像。2.如权利要求1所述的移动设备，其中所捕捉的三张图像是捕捉高动态范围(HDR)场景的图像。3.如权利要求2所述的移动设备，其中所述HDR场景具有亮区和暗区，并且所述合成图像是显示所述HDR场景的亮区和暗区内的细节的图像。4.如权利要求1所述的移动设备，其中所述图像处理模块通过以下来合成所捕捉的三张图像确认在所捕捉的三张图像中的像素的加权值，以及基于所确认的加权值选择性地组合所述像素的分量颜色值。5.如权利要求4所述的移动设备，其中所述图像处理模块基于所述像素的明度确认所述像素的加权值。6.如权利要求4所述的移动设备，其中所述图像处理模块基于在每张图像中的每个像素的特定范围内的相邻像素的明度值确认该像素的加权值。7.如权利要求1所述的移动设备，其中所述图像处理模块在由亮度和色度通道定义的颜色空间中接收所捕捉的三张图像，其中所述图像处理模块通过以下来合成所述三张图像(i)选择性地加权和组合所述三张图像中的像素的亮度值以产生合成亮度通道数据；和(ii)选择性地加权和组合所述三张图像中的像素的色度值以产生合成色度通道数据。8.如权利要求7所述的移动设备，其中在合成所述三张图像的同时，所述图像处理模块将所述亮度和色度值缩放至期望的值范围。9.如权利要求1所述的移动设备，其中所捕捉的三张图像包括亮度通道数据，其中所述图像处理模块执行将所述亮度通道数据变换为辉度通道数据的线性化操作。10.如权利要求9所述的移动设备，其中所述线性化操作在合成所述三张图像之前执行。11.如权利要求9所述的移动设备，其中所述线性化操作在合成所述三张图像期间执行。12.如权利要求1所述的移动设备，其中所捕捉的三张图像是在所述移动设备被指示拍摄场景的图片后的一间隔时间内捕捉的。13.如权利要求1所述的移动设备，其中所述图像处理模块包括 a)用于对齐所捕捉的三张图像的对齐模块； b)用于在所捕捉的三张图像对齐之后合成所述三张图像的合成模块。14.如权利要求1所述的移动设备，其中所述相机包括 a)用于检测来自场景的光的相机传感器； b)用于与所述相机传感器接口以捕捉所述三张图像的图像捕捉模块。15.如权利要求1所述的移动设备，其中所述移动设备是相机。16.如权利要求1所述的移动设备，其中所述移动设备是智能电话、平板电脑、或膝上型计算机。17.一种捕捉图像的设备的非暂态机器可读介质，所述介质存储用于产生一张高动态范围(HDR)图像的程序，所述程序包括指令集用于以多个不同图像曝光水平捕捉多张图像； 针对每张图像生成蒙板，所述蒙板规定该图像的要在所述HDR图像中使用的部分；以及 使用所述蒙板合成所捕捉的图像以产生所述HDR图像。18.如权利要求17所述的机器可读介质，其中每个蒙板包括规定该图像要在所述HDR图像中使用的部分的多个蒙板值，其中用于使用所述蒙板合成所...

【专利技术属性】
技术研发人员：G·M·约翰逊，G·科泰，J·E·欧尔四世，
申请(专利权)人：苹果公司，
类型：
国别省市：