用于缩减高动态范围视频/成像的曝光时间集合的设备和方法技术

本发明专利技术提出了一种用于控制捕获多个图像以获得高动态范围(High Dynamic Range，简称HDR)图像的方法。所述方法包括：存储可选曝光时间的主集合和作为所述主集合的各个子集合的多个候选缩减集合；在所述主集合的每个曝光时间控制捕获校准图像；针对每个候选缩减集合，选择在所述候选缩减集合的曝光时间捕获的校准图像，并且根据所述选择的校准图像的强度计算得分值；基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合中选择候选缩减集合；在所述选择的候选缩减集合的每个曝光时间控制捕获所述多个图像以获得所述HDR图像。

Equipment and method for reducing the exposure time set of high dynamic range video / imaging

The invention provides a method for controlling and capturing multiple images to obtain high dynamic range (HDR) images. The methods include: a master set storing an optional exposure time and a plurality of candidate reduction sets as the subsets of the main set; a calibration image is captured at each exposure time of the main set, and a calibration image captured in the exposure time of the candidate reduction set is selected for each candidate reduction set. And calculate the score value according to the intensity of the selected calibrated image; select the candidate reduction set from the plurality of candidate reduction sets based on the score value of all the candidate reduction sets based on the calculation; control the plurality of images to capture the HDR in each exposure time of the selected candidate reduction set. Image.

【技术实现步骤摘要】
【国外来华专利技术】用于缩减高动态范围视频/成像的曝光时间集合的设备和方法
本专利技术通常涉及计算机视觉和计算摄影领域，尤其涉及高动态范围成像和视频任务。
技术介绍
本专利技术旨在改善高动态范围成像(HighDynamicRangeImaging，简称HDRI)和视频。高动态范围(HighDynamicRange，简称HDR)是提高智能手机、相机等当前和未来图像和视频捕获设备的质量的重要方法。通常情况下，通过捕获不同曝光图像并将其合并为HDR图像来实现HDRI。曝光设置和捕获的相应图像越多，则最终得到的HDR图像的质量越好。在本专利技术的上下文中，曝光时间为时间间隔，用来控制在捕获图像或视频帧期间捕获设备暴露在其中的光量。间隔越长，图像/帧越大越亮。2D图像或图片是用一个相机获取的正常二维图像，其中，所述图像可以通过例如RGB或色度-亮度值来定义。纹理是图像内的一个区域，其描绘的内容具有显著的颜色强度变化。过度曝光的图像区域是曝光过多的图像区域，使得该区域大部分变成白色。曝光不足的图像区域是曝光太少的图像区域，使得该区域大部分变成黑色。现有技术中已知的是，HDR处理基于预定义集合的不同曝光时间，即，通过合并在预定义集合的曝光时间捕获的多个图像来获得HDR图像。然而，由于预定义的曝光时间的集合是预定义的，所以生成的HDR图像中的纹理信息可能会丢失。一些应用对要使用的不同曝光时间的集合有限制。例如，在不同曝光时间捕获的图像集合受时间限制。这适用于图像HDR，尤其适用于视频HDR应用。
技术实现思路
认识到上述缺点和问题，本专利技术旨在改进现有技术。具体而言，本专利技术的目的是改善HDR成像性能，特别是改善在例如HDR视频应用中时间限制下的HDR成像性能。进一步的目标是为图像HDR和视频HDR应用的HDR成像提供有效的方案。例如，在视频HDR中，在每个时间步骤中捕获并合并间隔曝光时间的图像。因此，不同曝光时间的集合需要尽可能小以防止发生重影效应。理想情况下，只使用两个不同的曝光时间。然而，由于该曝光时间集合中包括两个预定义的曝光时间，因此所生成的HDR图像或视频中可能会丢失纹理信息。本专利技术尤其旨在在不过多损失最终的HDR图像的纹理或图像信息的前提下，从不同曝光时间的大集合中选择一个小集合来提高HDR成像性能。本专利技术上述提及的目标通过所附独立权利要求提供的方案实现。本专利技术有利的实现方案在各自的从属权利要求中进一步定义。本专利技术的第一方面提供了一种用于控制捕获多个图像以获得高动态范围(HighDynamicRange，简称HDR)图像的设备。所述设备包括存储单元，用于存储可选曝光时间的主集合和作为所述主集合的各个子集合的多个候选缩减集合。所述设备包括校准控制单元，用于在所述主集合的每个曝光时间控制捕获校准图像。所述设备包括计算单元，用于：针对每个候选缩减集合，选择在所述候选缩减集合的曝光时间捕获的校准图像，并且根据所述选择的校准图像的强度计算得分值。所述设备包括选择单元，用于基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合中选择候选缩减集合。所述设备包括HDR控制单元，用于在所述选择的候选缩减集合的每个曝光时间控制捕获所述多个图像以获得所述HDR图像。从而，通过提供用于根据所述选择的校准图像的强度来计算得分值的所述计算单元和用于基于所述计算的得分值来选择候选缩减集合的所述选择单元，因此在可以保存图像和纹理细节的条件下有利于所述HDR控制单元控制捕获所述多个图像，。有利于所述选择单元选择所述选择的候选缩减集合的曝光时间，从而可以有利地保存所捕获图像的图像和纹理细节以用于HDR成像。特别地，所述存储单元存储的所述主集合可以是不同的可选曝光时间的固定集合。或者，所述主集合可以是不同的可选曝光时间的固定集合的子部分。所述主集合可以是从所述固定集合中选出的子部分，换言之，可以从所述固定集合中排除一些曝光时间来获得所述主集合。例如，所述主集合可以是根据图像捕获条件例如亮度或用户做出的选择来选出的子部分。对于根据所述图像捕获条件进行的选择，例如，所述设备根据亮度自动选择一个主集合，使得所述主集合可以是例如针对夜间或黑暗情况的子集合，从中寻找最佳缩减集合。再例如，根据用户的场景模式选择选出主集合，此类选择模式为肖像、风景、日落、室内、夜间肖像、或运动等。特别地，所述校准图像是用于校准的图像。这些图像可以是任何类型的图像，并且不需要具备特定的图案。具体而言，所述校准图像不需要具备预定义的图案或预定义的颜色。特别地，所述HDR控制单元用于仅在所述选择的候选缩减集合的曝光时间控制捕获所述多个图像。然后仅在所述选择的候选缩减集合的曝光时间进行捕获，不在所述选择的候选缩减集合外的其余额外曝光时间进行捕获。换言之，所述HDR图像是通过合并仅在所述选择的候选缩减集合的曝光时间处捕获的图像得到的。特别地，所述选择单元可以用于从所述多个候选缩减集合中选择具有最佳得分值的候选缩减集合，其中，所述最佳得分值是最高或最低得分值)。所述最佳得分值可以反映相应校准图像中的大量乱序。因此，所述最佳得分值是否对应最高或最低得分值取决于得分值的具体计算，即取决于所述最高或最低得分值能否反映大量乱序。特别地，所述设备用于在HDR校准模式和HDR操作模式之间切换。在所述HDR校准模式中，所述存储单元用于存储可选曝光时间的主集合和作为所述主集合的各个子集合的多个候选缩减集合；所述校准控制单元用于在所述主集合的每个曝光时间控制捕获校准图像；所述计算单元用于：针对每个候选缩减集合，选择在所述候选缩减集合的曝光时间捕获的校准图像，并且根据所述选择的校准图像的强度计算得分值；所述选择单元用于基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合中选择候选缩减集合。在所述HDR操作模式中，所述HDR控制单元用于在所述选择的候选缩减集合的每个曝光时间控制捕获所述多个图像以获得所述HDR图像。在第一方面所述设备的第一种实现方式中，所述校准图像具有色彩分量。此外，所述计算单元用于：针对每个候选缩减集合，根据所述选择的校准图像的色彩分量的强度通过以下方式计算所述得分值：-根据定义块位置的网格将每个选择的校准图像的色彩分量划分为像素块；-针对每个选择的校准图像的所述色彩分量的每个像素块，计算与所述像素块中的像素强度相关的强度相关值，并且将所述强度相关值与所述像素块关联；-在每个块位置处为所述块位置定义块堆栈，其中，所述块堆栈包括每个选择的校准图像的所述色彩分量的像素块；-针对每个块堆栈识别与构成所述块堆栈的像素块相关的所述强度相关值的最佳值；-基于针对所述色彩分量的每个块堆栈识别的所述最佳值来计算所述候选缩减集合的色彩分量得分值；其中，所述色彩分量得分值为所述得分值。从而，所计算的得分值的优点在于其为反映所选校准图像的纹理细节的量的参数。此外，使用构成的像素块而非整个图像有助于分离图像的较小区域，从而可以保留小区域图像细节，且计算得到的得分值能够反映所选校准图像的纹理。像素强度与像素块内的像素的强度有关。或者，像素强度可以与像素块内的一组像素的强度有关。该像素组可以与用于图像编码的宏块相比较，并且可以由包括例如8×8像素的一个矩形或正方形组构成。可以通过对一组像素的像素强度进行平均来获得该组像素本文档来自技高网...

【技术保护点】
1.一种用于控制捕获多个图像以获得高动态范围(High Dynamic Range，简称HDR)图像的设备(102)，其特征在于，所述设备包括：存储单元(103)，用于存储多个可选曝光时间的主集合(104)和分别为所述主集合(104)的子集合的多个候选缩减集合(105)；校准控制单元(106)，用于在所述主集合(104)的每个曝光时间控制捕获(401)校准图像；计算单元(107)，用于：针对每个候选缩减集合(105)，选择(403)具有所述候选缩减集合(105)中的曝光时间的校准图像(201、202和203)，并且根据所述选择的校准图像(201、202和203)的强度计算(404)得分值；选择单元(108)，用于基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合(105)中选择(407)候选缩减集合(110)；HDR控制单元(109)，用于在所述选择的候选缩减集合(110)的每个曝光时间控制捕获所述多个图像以获得所述HDR图像。

【技术特征摘要】
【国外来华专利技术】1.一种用于控制捕获多个图像以获得高动态范围(HighDynamicRange，简称HDR)图像的设备(102)，其特征在于，所述设备包括：存储单元(103)，用于存储多个可选曝光时间的主集合(104)和分别为所述主集合(104)的子集合的多个候选缩减集合(105)；校准控制单元(106)，用于在所述主集合(104)的每个曝光时间控制捕获(401)校准图像；计算单元(107)，用于：针对每个候选缩减集合(105)，选择(403)具有所述候选缩减集合(105)中的曝光时间的校准图像(201、202和203)，并且根据所述选择的校准图像(201、202和203)的强度计算(404)得分值；选择单元(108)，用于基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合(105)中选择(407)候选缩减集合(110)；HDR控制单元(109)，用于在所述选择的候选缩减集合(110)的每个曝光时间控制捕获所述多个图像以获得所述HDR图像。2.根据权利要求1所述的设备，其特征在于，所述校准图像具有色彩分量；所述计算单元(107)用于：针对每个候选缩减集合(105)，根据所述选择的校准图像(201、202和203)的色彩分量的强度通过以下方式计算(404)所述得分值：根据定义块位置的网格将每个选择的校准图像(201、202和203)的色彩分量划分为像素块(1，1、……、1，6；2，1、……、2，6；N，1、……、N，6)；针对每个选择的校准图像(201、202和203)的所述色彩分量的每个像素块，计算(502)与所述像素块中的像素强度相关的强度相关值(Em,b，v2)，并且将所述强度相关值与所述像素块关联；在每个块位置处为所述块位置定义块堆栈(204、205和206)，其中，所述块堆栈包括每个选择的校准图像(201、202和203)的所述色彩分量的像素块(1，1；2，1、……、N，1)；针对每个块堆栈(204、205和206)识别(503)与构成所述块堆栈的像素块相关的所述强度相关值(Em,b、v2)的最佳值(Ebmax)；基于针对所述色彩分量的每个块堆栈(204、205和206)识别的所述最佳值来计算(504)所述候选缩减集合(105)的色彩分量得分值；其中，所述色彩分量得分值为所述得分值。3.根据权利要求2所述的设备，其特征在于，所述校准图像为具有单个色彩分量的单色彩分量图像，或者所述设备包括转换单元，用于将所述校准图像转换为具有单个色彩分量的单色彩分量图像。4.根据权利要求1所述的设备，其特征在于，所述校准图像具有多个色彩分量；所述计算单元(107)用于：针对每个候选缩减集合(105)，根据所述选择的校准图像(201、202和203)的色彩分量的强度通过以下方式计算(404)所述得分值：根据定义块位置的网格将每个选择的校准图像(201、202和203)的每个色彩分量划分为像素块(1，1、……、1，6；2，1、……、2，6；N，1、……、N，6)；针对每个选择的校准图像(201、202和203)的每个色彩分量的每个像素块，计算(502)与所述像素块中的像素强度相关的强度相关值(Em,b，v2)，并且将所述强度相关值与所述像素块关联；在每个块位置处为每个色彩分量和所述块位置定义块堆栈(204、205和206)，其中，所述块堆栈包括每个选择的校准图像(201、202和203)的所述色彩分量的像素块(1，1、2，1、……、N，1)；针对每个块堆栈(204、205和206)识别(503)与构成所述块堆栈的像素块相关的所述强度相关值(Em,b、v2)的最佳值(Ebmax)；基于针对所述色彩分量的每个块堆栈(204、205和206)识别的所述最佳值，为每个色彩分量计算(504)所述候选缩减集合(105)的色彩分量得分值；根据每个色彩分量的各...

【专利技术属性】
技术研发人员：奥纳伊·优厄法利欧格路，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44