图像处理设备、摄像设备、控制方法和存储介质技术

本发明专利技术涉及图像处理设备、摄像设备、控制方法和存储介质。该图像处理设备合成已经以不同曝光量拍摄的多个图像，所述图像处理设备包括：指定部件，用于针对所述多个图像中的至少一个图像指定表示输出动态范围的上限值的信号值；以及确定部件，用于基于由所述指定部件指定的信号值来确定所述多个图像的合成百分比。比。比。

【技术实现步骤摘要】
图像处理设备、摄像设备、控制方法和存储介质


[0001]本专利技术涉及图像处理设备、摄像设备、控制方法和存储介质，特别涉及合成具有高动态范围的图像信号的技术。

技术介绍

[0002]存在以下技术，其通过对通过以不同曝光量拍摄场景而获得的多个标准动态范围(SDR)图像进行合成来生成具有作为扩展动态范围的高动态范围(HDR)的合成图像。根据日本特开2013
‑
240031，通过根据预设的合成百分比合成三个类型的SDR图像(即，通过利用适当曝光拍摄获得的适当曝光图像、利用曝光不足获得的曝光不足图像以及利用过度曝光获得的过度曝光图像)来生成HDR合成图像。更具体地，亮度阈值Y1、Y2、Y3和Y4(日本特开2013
‑
240031的图10)被设置为合成基准，并且合成被控制为使得过度曝光图像、适当曝光图像和曝光不足图像分别用于比Y1暗的亮度范围、Y2至Y3的亮度范围和比Y4亮的亮度范围。此外，对于从Y1至Y2和从Y3至Y4的中间范围，控制合成，使得过度曝光图像和适当曝光图像的合成百分比(加权相加系数)以及适当曝光图像和曝光不足图像的合成百分比(加权相加系数)分别逐渐改变。由于这样的合成控制，可以从三个类型的曝光条件的SDR图像获得具有良好扩展的动态范围的HDR合成图像。
[0003]此外，近年来已经见证了诸如LED等的发光元件的性能的改进，以及与传统显示设备相比具有宽动态范围的显示亮度的被称为HDR显示器的显示设备的出现。这些显示设备可以更真实地显示具有高亮度范围的颜色和细节的图像(HDR图像)。电光传递函数(EOTF)定义表示HDR图像中的视频信号电平和显示亮度之间的关系的信号特性，并且以下两个类型的方法被使用。一个是在ARIB STD
‑
B67中标准化的混合对数伽马(HLG)方法，利用该方法将视频信号电平转换为显示亮度的相对值，从而实现与可由显示设备输出的最大亮度相对应的显示亮度。另一个是在SMPTE ST 2084或ITU
‑
R BT.2100中标准化的感知量化(PQ)方法，利用该方法将视频信号电平转换为在高达10,000尼特(或cd/m2)的范围内的显示亮度的绝对值。因此，在显示通过拍摄场景而获得的HDR图像的情况下，前一个方法将场景亮度转换为与可以由显示设备输出的最大亮度相对应的显示亮度，而后一个方法将场景亮度转换为不管显示设备如何而绝对确定的显示亮度。因此，在期望在采用PQ方法的显示设备上显示的情况下，例如在摄像设备上的编码中，需要通过转换场景亮度的图像信号使得其表示绝对亮度值，来生成HDR图像。
[0004]顺便提及，通过关于场景使用不同曝光量获得上述HDR图像并合成这些HDR图像，可以生成具有进一步扩展的动态范围的合成图像。也就是说，与日本特开2013
‑
240031类似，可以通过合成三个类型的HDR图像(即通过利用适当曝光拍摄而获得的适当曝光HDR图像、利用曝光不足获得的曝光不足HDR图像以及利用过度曝光获得的过度曝光HDR图像)来生成表现更多细节的合成图像。
[0005]另一方面，在基于以绝对值表现场景亮度的PQ方法的编码中，即使拍摄了相同的场景，包括在HDR图像中的峰值亮度(显示亮度的最大值和输出动态范围的最大值)也可以
根据曝光量的差异而变化。这是因为，由于与饱和传感器输出相对应的场景亮度根据曝光量而改变，所以在转换中使用不同的伽马曲线，以便将绝对显示亮度分配给相同的场景亮度。例如，如图1所示，峰值亮度(输出亮度的最大值)在具有不同曝光量的两个类型的摄像模式的输入/输出特性(与输入相关联的档(stops)数和输出亮度之间的关系)之间变化。这里，在具有大曝光量的摄像模式下的输入/输出特性11由实线表示，而在具有小曝光量的摄像模式下的输入/输出特性12由点划线表示。如图所示，在两个摄像模式中，在除了高亮度范围之外的范围内，表现出相同的输入/输出特性，并且不管曝光量如何转换都导致相同的显示亮度，但是峰值亮度根据高亮度范围内的饱和亮度的差异而具有不同的值，即13和14。注意，值15表示10位(1023)处的最大值，其与PQ方法中表现最大显示亮度的10,000尼特相对应。
[0006]因此，简单地应用日本专利公开2013
‑
240031的合成方法可能导致不能生成良好的合成图像。更具体地，在日本专利公开2013
‑
240031的合成方法中，当假设针对各个曝光条件分配了高达255的像素值的8位SDR图像时，可以在合成两个类型的图像的亮度范围内始终参考这两个类型的图像的像素值。然而，在合成具有不同曝光量的HDR图像的情况下，在合成两个类型的图像的亮度范围中，高曝光HDR图像可能不显示超过峰值亮度的被摄体，这可能导致不能获得良好的合成结果的可能性。
[0007]例如，假设以下情况，其中针对适当曝光HDR图像的亮度如图2的直方图24所示分布(适当曝光HDR图像的峰值亮度为25)的模式应用了日本专利公开2013
‑
240031的合成百分比。在该图中，点划线21、实线22和双点划线23分别表示与日本专利公开2013
‑
240031的合成百分比相对应的过度曝光HDR图像的加权相加系数、适当曝光HDR图像的加权相加系数以及曝光不足HDR图像的加权相加系数，并且在每个亮度范围中系数的总和为1。此时，在合成适当曝光HDR图像和曝光不足HDR图像的亮度范围(Y3至Y4)包括如图所示的适当曝光HDR图像的峰值亮度25的情况下，在从该峰值亮度到Y4的亮度范围内不合成适当曝光HDR图像；这不会产生良好的合成结果。换句话说，由于适当曝光HDR图像由于传感器输出的饱和而不包括具有不小于峰值亮度25的亮度的像素，因此存在合成图像在该峰值亮度附近的被摄体分布的区域中包括不自然表现的可能性。
[0008]如在上述示例中，存在通过合成峰值亮度彼此不同的多个图像来获得非自然图像的可能性。

技术实现思路

[0009]本专利技术是考虑到上述问题而提出的，并且提供了一种图像处理设备、摄像设备、控制方法和存储介质，其确定与具有扩展动态范围的合成图像的生成相关的良好合成百分比。
[0010]本专利技术在其第一方面提供一种图像处理设备，其合成已经以不同曝光量拍摄的多个图像，所述图像处理设备包括：指定部件，用于针对所述多个图像中的至少一个图像指定表示输出动态范围的上限值的信号值；以及确定部件，用于基于由所述指定部件指定的信号值来确定所述多个图像的合成百分比。
[0011]本专利技术在其第二方面提供一种摄像设备，包括：第一方面的图像处理设备；以及摄像部件，用于以不同的曝光量拍摄所述多个图像。
[0012]本专利技术在其第三方面提供一种用于图像处理设备的控制方法，所述图像处理设备合成已经以不同曝光量拍摄的多个图像，所述方法包括：针对所述多个图像中的至少一个图像指定表示输出动态范围的上限值的信号值；以及基于在所述指定中指定的信号值来确定所述多个图像的合成百分比。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理设备，其合成已经以不同曝光量拍摄的多个图像，所述图像处理设备包括：指定部件，用于针对所述多个图像中的至少一个图像指定表示输出动态范围的上限值的信号值；以及确定部件，用于基于由所述指定部件指定的信号值来确定所述多个图像的合成百分比。2.根据权利要求1所述的图像处理设备，其中，所述确定部件还基于所述多个图像的曝光量来确定所述多个图像的合成百分比。3.根据权利要求2所述的图像处理设备，其中，所述指定部件针对所述多个图像中的各个图像指定表示输出动态范围的上限值的信号值，以及所述确定部件基于多个图像的曝光量来校正所述多个图像各自的表示输出动态范围的上限值的信号值，并且基于所述多个图像的经校正的表示输出动态范围的上限值的信号值来确定所述多个图像的合成百分比。4.根据权利要求3所述的图像处理设备，其中，所述校正是用于通过增益调整来使所述多个图像中的一个图像的曝光量与所述多个图像中的另一图像的曝光量一致的处理。5.根据权利要求3所述的图像处理设备，其中，所述确定部件确定所述合成百分比，使得针对超过所述多个图像的校正后的输出动态范围的上限值的信号范围不合成所述多个图像。6.根据权利要求3所述的图像处理设备，还包括：用于获得基准混合表的部件，所述基准混合表针对合成所述多个图像的信号范围定义信号阈值，所述信号阈值用作切换所述多个图像各自的合成百分比的趋势的基准，其中，所述确定部件通过基于所述多个图像的经校正的表示输出动态范围的上限值的信号值改变所述基准混合表的信号阈值来配置改变混合表，并且基于所述改变混合表来确定所述合成百分比。7.根据权利要求3所述的图像处理设备，其中，所述多个图像中的各个图像是通过应用伽马对信号值进行非线性化而获得的图像，以及所述确定部件在通过对所述多个图像各自的表示输出动态范围的上限值的信号值应用去伽马来进行线性化之后进行所述校正。8.根据权利要求1所述的图像处理设备，其中，由所述指定部件针对所述多个图像中的至少一个图像指定的表示输出动态范围的上限值的信号值是根据在所述图像的摄像时已经设置的摄像模式来确定的。9.根据权利要求1所述的图像处理设备，其中，由所述指定部件针对所述多个图像中的至...

【专利技术属性】
技术研发人员：梨泽洋明，寺山公太，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：