图像处理设备、图像处理方法和存储介质技术

本发明专利技术涉及图像处理设备、图像处理方法和存储介质。图像处理设备获得摄像单元在不同条件下拍摄到的多个拍摄图像，进行所述多个拍摄图像的HDR显像以获得多个HDR图像，使用与所述多个拍摄图像相对应的多个图像来生成用于对所述多个HDR图像进行合成的合成信息，并且使用所述合成信息来对所述多个HDR图像进行合成，所述多个图像不受或减少受到由HDR显像引起的色调处理的影响。起的色调处理的影响。起的色调处理的影响。

【技术实现步骤摘要】
图像处理设备、图像处理方法和存储介质


[0001]本专利技术涉及图像处理设备、图像处理方法和存储介质。

技术介绍

[0002]近年来，随着显示器的亮度增加，已经提出了HDR照相机系统，这些HDR照相机系统能够再现过去被压缩的高亮度侧的色调，作为更接近于它们应该呈现给人眼的色调。
[0003]日本专利6460014公开了通过应用具有在HDR标准的ST2084、BT2100等中描述的EOTF特性的逆特性的伽玛曲线来输出高动态范围(HDR)信号的照相机。存在用于对以不同曝光拍摄的多个图像(例如，高曝光图像、适当曝光图像和低曝光图像)进行合成的技术(HDR合成)。对于在这种合成期间在不同曝光之间产生的未配准，日本专利6046966公开了通过检测图像之间的未配准的量并校正配准，以及通过检测图像之间的移动体并改变移动体的合成比率，来生成高质量合成图像的技术。
[0004]然而，具体地，与标准动态范围(SDR)的伽马曲线相比，与HDR标准(如ST2084)相对应的伽马曲线具有暗区域的急剧上升和崩溃光(collapsed light)区域。因此，HDR显像后的色调特性相对于被摄体的亮度显著不同。当利用HDR显像后的信号检测图像之间的未配准的量时，存在以下问题：由于色调特性的差异，未配准的量和移动体区域的检测精度降低，从而合成图像的质量降低。

技术实现思路

[0005]本专利技术的一个方面提供用于改善用于合成与HDR标准相对应的显像图像并生成高质量合成图像的合成信息的精度的技术。
[0006]根据本专利技术的一个方面，提供一种图像处理设备，包括：获得部件，其被配置为获得摄像单元在不同条件下拍摄到的多个拍摄图像；显像部件，其被配置为进行所述多个拍摄图像的HDR显像以获得多个HDR图像；生成部件，其被配置为使用与所述多个拍摄图像相对应的多个图像来生成用于对所述多个HDR图像进行合成的合成信息，所述多个图像不受或减少受到由HDR显像引起的色调处理的影响；以及合成部件，其被配置为使用所述合成信息来对所述多个HDR图像进行合成。
[0007]根据本专利技术的另一方面，提供一种图像处理方法，包括：获得步骤，用于获得摄像单元在不同条件下拍摄到的多个拍摄图像；显像步骤，用于进行所述多个拍摄图像的HDR显像以获得多个HDR图像；生成步骤，用于使用与所述多个拍摄图像相对应的多个图像来生成用于对所述多个HDR图像进行合成的合成信息，所述多个图像不受或减少受到由HDR显像引起的色调处理的影响；以及合成步骤，用于使用所述合成信息来对所述多个HDR图像进行合成。
[0008]根据本专利技术的又一方面，提供一种存储介质，其存储用于使计算机执行根据上述的图像处理方法的程序。
[0009]通过以下参考附图对典型实施例的描述，本专利技术的其它特征将变得明显。
附图说明
[0010]图1是示出根据实施例的摄像设备的结构示例的框图。
[0011]图2是示出根据第一实施例的信号处理单元的结构示例的框图。
[0012]图3是示出根据第一实施例的摄像设备的操作的流程图。
[0013]图4是示出未配准检测和配准校正的处理的流程图。
[0014]图5A和5B是示出移动体检测处理的框图。
[0015]图6A和6B是示出HDR/SDR转换的框图。
[0016]图7是示出根据第二实施例的信号处理单元的结构示例的框图。
[0017]图8是示出根据第二实施例的信号处理单元的另一结构示例的框图。
[0018]图9是示出合成比率的图。
[0019]图10是示出第三实施例的概要的图。
具体实施方式
[0020]在下文中，将参考附图详细地描述实施例。注意，以下实施例不旨在限制所要求保护的专利技术的范围。在实施例中描述了多个特征，但是不限制要求所有这样的特征的专利技术，并且多个这样的特征可以适当地组合。此外，在附图中，相同的附图标记被给予相同或相似的结构，并且省略其冗余描述。
[0021]第一实施例
[0022]第一实施例是对具有不同曝光的多个图像进行与诸如ST2084等的HDR标准相对应的HDR显像处理、并且合成并输出图像的模式。现在将描述要合成的图像的数量是三个(低曝光图像、适当曝光图像和高曝光图像)的示例。注意，术语“适当曝光图像”是指在高曝光图像的曝光条件和低曝光图像的曝光条件之间的中间曝光条件下拍摄的图像，并且该术语不指曝光条件是否实际上适当。
[0023]图1是示出根据第一实施例的摄像设备的结构示例的框图。系统控制单元100包括CPU 121。CPU 121执行例如作为只读存储器的ROM 122中存储的程序，以实现各种类型的处理。作为随机存取存储器的RAM 123提供用于CPU 121执行各种类型的处理的工作区域。光学系统101、摄像单元102、信号处理单元103、显示图像处理单元105、摄像SW 108、曝光操作单元109和图像质量设置单元110连接至系统控制单元100。系统控制单元100检测经由摄像SW 108、曝光操作单元109和图像质量设置单元110的用户操作，并且控制光学系统101、摄像单元102、信号处理单元103和显示图像处理单元105的操作。注意，耦合到系统控制单元100的组件中的至少一些组件可以被包括在系统控制单元100中。
[0024]光学系统101包括透镜组、光圈调节装置和快门装置，透镜组包括变焦透镜和调焦透镜。光学系统101在检测到用户对摄像SW 108的操作的系统控制单元100的控制下，驱动调焦透镜，进行光圈调节装置和快门装置的曝光控制等。光学系统101在检测到用户对曝光操作单元109的操作的系统控制单元100的控制下，调节光圈调节装置和快门装置，以调节通过光学系统101的光量。摄像单元102包括诸如CCD或CMOS传感器等的光电转换器和A/D转换器，该光电转换器将通过光学系统101的被摄体的光束光电转换成电信号，该A/D转换器将从光电转换器输出的电信号转换成数字图像。
[0025]信号处理单元103对从摄像单元102输出的数字图像进行诸如缺陷像素校正和透
镜像差校正等的校正以及诸如WB处理、NR处理、debayer(去拜尔)处理、锐度处理和伽马校正处理等的信号处理。信号处理单元103进行合成处理，在该处理中，获得由摄像单元102在不同摄像条件下拍摄的多个图像，进行多个拍摄图像的HDR显像以获得多个HDR图像，并且对多个HDR图像进行合成。下面将参考图2至6B描述由信号处理单元103进行的这种合成处理的详情。
[0026]由信号处理单元103生成的合成图像被输出到显示图像处理单元105。当检测到对摄像SW 108的预定用户操作(全按下)时，还将信号处理单元103所生成的合成图像输出到记录单元104。记录单元104具有将图像记录到例如信息记录介质(诸如具有板载半导体存储器的存储卡等)的功能。信息记录介质能够从摄像设备可拆卸。
[0027]显示图像处理单元105根据系统控制单元100进行的控制，将从信号处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理设备，包括：获得部件，其被配置为获得摄像单元在不同条件下拍摄到的多个拍摄图像；显像部件，其被配置为进行所述多个拍摄图像的HDR显像以获得多个HDR图像；生成部件，其被配置为使用与所述多个拍摄图像相对应的多个图像来生成用于对所述多个HDR图像进行合成的合成信息，所述多个图像不受或减少受到由HDR显像引起的色调处理的影响；以及合成部件，其被配置为使用所述合成信息来对所述多个HDR图像进行合成。2.根据权利要求1所述的图像处理设备，还包括：转换部件，其被配置为将所述多个HDR图像转换成多个SDR图像，其中，所述生成部件使用由所述转换部件转换后的所述多个SDR图像来生成所述合成信息。3.根据权利要求2所述的图像处理设备，其中，所述转换部件通过对所述多个HDR图像中的各HDR图像进行与亮度相对应的色调压缩来将所述多个HDR图像转换成所述多个SDR图像。4.根据权利要求3所述的图像处理设备，其中，所述转换部件进行色调压缩，使得HDR图像的适当水平附近的色调和SDR图像的适当水平附近的亮度水平相等。5.根据权利要求1所述的图像处理设备，还包括：转换部件，其被配置为将所述多个HDR图像转换成多个线性空间图像，所述多个线性空间图像是通过将所述多个HDR图像转换至线性空间而获得的，其中，所述生成部件使用由所述转换部件转换后的所述多个线性空间图像来生成所述合成信息。6.根据权利要求5所述的图像处理设备，其中，所述转换部件通过对HDR图像应用伽玛转换的逆变换来将该HDR图像转换成线性空间图像，所述伽玛转换被所述显像部件用于所述HDR显像。7.根据权利要求1所述的图像处理设备，其中，所述生成部件使用尚未被输入到所述显像部件的所述多个拍摄图像来生成所述合成信息。8.根据权利要求1至7中任一项所述的图像处理设备，其中，所...

【专利技术属性】
技术研发人员：中山文贵，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：