用于合成图像的图像处理设备及其控制方法和存储介质技术

本发明专利技术涉及用于合成图像的图像处理设备及其控制方法和存储介质。该图像处理设备包括：图像传感器，其被配置为输出通过在一次曝光中应用不同增益而获得的多个图像，在一次曝光中，用于累积电荷的电荷累积部的容量对于全部图像是共同的；第一合成单元，其被配置为获取多个图像，并且通过利用最暗图像的明度调整多个图像中的除最暗图像以外的图像的明度来进行合成；第二合成单元，其被配置为通过利用最亮图像的明度调整多个图像中的除最亮图像以外的图像的明度来进行合成；以及合成方法选择单元，其被配置为选择第一合成单元或第二合成单元。成单元。成单元。

【技术实现步骤摘要】
用于合成图像的图像处理设备及其控制方法和存储介质


[0001]实施例的一个公开方面涉及用于将从图像传感器输出的多个图像进行合成并进行用于扩展图像的动态范围的图像处理的图像处理设备以及该图像处理设备的控制方法。

技术介绍

[0002]传统上已经存在用于将利用不同曝光量所拍摄的多个图像进行合成的合成处理技术。例如，连接具有不同曝光量的图像的适当曝光信号，这使得能够获取没有过度曝光或曝光不足的图像。随着近年来提高的传感器性能，图像传感器包括用于来自单位像素的输出信号的两个不同的列电路，并且具有列电路中的放大器的附加增益。这样的图像传感器(双增益输出(Dual Gain Output，DGO))能够输出具有不同增益的图像。该图像传感器可以在一次曝光中输出具有不同增益的两个不同图像(高增益图像和低增益图像)。基于通过DGO的两个图像合成与时分曝光中所获取的两个图像的合成之间的比较，DGO具有不需要对准处理并且针对移动物体拍摄高度有效的优点。因此，DGO与图像合成兼容。作为用于合成具有不同曝光量的图像的技术的示例，日本特开2005
‑
72965讨论了用于通过合成低曝光图像和高曝光图像来扩展动态范围的技术。

技术实现思路

[0003]根据实施例的方面，图像处理设备包括：图像传感器，其被配置为输出通过在一次曝光中应用不同增益而获得的多个图像，在一次曝光中，用于累积电荷的电荷累积部的容量对于全部图像是共同的；第一合成单元，其被配置为获取多个图像，并且通过利用最暗图像的明度调整多个图像中的除最暗图像以外的图像的明度来进行合成；第二合成单元，其被配置为通过利用最亮图像的明度调整多个图像中的除最亮图像以外的图像的明度来进行合成；以及合成方法选择单元，其被配置为选择第一合成单元或第二合成单元。该图像处理设备还包括：字典生成单元，其被配置为基于教导数据和网络结构限制来生成用于被摄体检测的字典数据；以及摄像设备，用于基于该字典生成单元所生成的字典数据来进行被摄体检测，并且使在该被摄体检测中所检测到的被摄体经受预定摄像控制。
[0004]通过参考附图对示例性实施例的以下描述，本公开的进一步的特征将变得明显。
附图说明
[0005]图1是示出根据示例性实施例的摄像设备的总体框图。
[0006]图2是示出固态图像传感器的内部框图。
[0007]图3是示出图像合成单元的处理的框图。
[0008]图4示出亮度值分布的图像。
[0009]图5A至图5C示出了暗部优先合成的图像。
[0010]图6A至图6C示出了明部优先合成的图像。
[0011]图7A至图7D示出了明部优先非线性合成的图像。
[0012]图8是示出合成方法选择单元的处理的流程图。
[0013]图9是示出根据第二示例性实施例的摄像设备的框图。
[0014]图10是示出合成方法选择单元的处理的流程图。
具体实施方式
[0015]下面将参考附图详细描述示例性实施例。在下文中，术语“单元”可以是指软件上下文、硬件上下文、或者软件和硬件上下文的组合。在软件上下文中，术语“单元”是指可以通过诸如微处理器、中央处理单元(CPU)或专门设计的可编程装置、电路或控制器等的可编程处理器执行的功能性、应用、软件模块、功能、例程、指令集或程序。存储器包含由CPU执行时使CPU进行与单元或功能相对应的操作的指令或程序。在硬件上下文中，术语“单元”是指硬件元件、电路、装配件、物理结构、系统、模块或子系统。该术语可以包括机械、光学或电子组件、或者其任意组合。该术语可以包括有源组件(例如，晶体管)或无源组件(例如，电容器)。该术语可以包括具有基板并包含各种导电浓度的其他材料层的半导体装置。该术语可以包括可以执行存储在存储器中的程序以进行指定功能的CPU或可编程处理器。该术语可以包括由晶体管电路或任何其他切换电路实现的逻辑元件(例如，AND(与)、OR(或))。在软件和硬件上下文的组合中，术语“单元”或“电路”是指如上所述的软件和硬件上下文的任意组合。此外，术语“元件”、“装配件”、“组件”或“装置”也可以是指与封装材料集成或不集成的“电路”。
[0016]图1是示出作为根据本示例性实施例的图像处理设备的示例的摄像设备100的框图。摄像设备100包括光学镜头101、图像传感器102、图像获取单元或电路103、图像合成单元或电路104、图像处理单元或电路105、信号记录单元或电路106、曝光控制单元或电路107、图像传感器控制单元或电路108、显示单元或电路109、操作单元或电路110以及控制单元或电路111。
[0017]光学镜头101捕获被摄体的光，并且将入射光供给到图像传感器102。
[0018]图像传感器102接收来自光学镜头101的入射光，将光转换成电信号，并输出该信号。典型图像传感器的示例包括电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器。
[0019]从这些图像传感器102输出的图像信号被分类为两个类型。一个类型是直接输出的模拟图像信号，并且另一类型是通过图像传感器102中的模数(A/D)转换处理和低电压差分信号(LVDS)而生成的数字数据。
[0020]图2是示出作为图像传感器的示例的图像传感器的框图。
[0021]定时脉冲控制单元或电路201向该图像传感器的各个块供给操作CLK和定时信号，以控制图像传感器的操作。
[0022]垂直扫描电路202控制在一帧中顺次读取二维排列有像素的像素单元或电路203的像素信号电压的定时。通常，在一帧中从顶行向下针对各行顺次读取图像信号。本示例性实施例使得能够选择是否从像素单元203输出相位差信息。
[0023]像素单元203是用于根据入射光量进行光电转换并输出电压的光电转换元件。列放大器(AMP)204用于电放大从像素单元203读取的信号。列放大器204放大信号以针对从后续的列模数转换器(ADC)205输出的噪声放大像素信号电平，从而等效地提高信噪(S/N)比。
列放大器204的增益可以通过定时脉冲控制单元201来改变。
[0024]根据本示例性实施例，图像传感器102包括具有用于图像合成的两个不同输入存储器的列放大器204，并且能够改变列放大器增益以输出两个不同的增益。提供两个不同输入存储器，这使得能够将两个不同增益应用于在输出信号之前的某时间从光电二极管读取的信号。虽然数据量增加，但是这使得能够获取具有同时性的具有不同增益的两个不同图像。
[0025]列ADC 205使来自列放大器204的读取信号经过A/D转换。通过水平传送电路206顺次读取所生成的数字信号。水平传送电路206的输出被输入到用于以数字形式进行信号处理的信号处理电路207。数字处理不但加上预定量的偏移值，而且进行移位操作和相乘，从而以简化的方式进行增益计算。由于像素单元203包括光被有意阻挡的像素区域，因此可以通过使用该像素区域来进行数字黑电平钳位操作(digital black 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理设备，包括：获取单元，其被配置为获取通过对在一次曝光中获取的图像应用不同增益而生成的多个图像；第一合成单元，其被配置为通过利用第一图像的明度调整所述多个图像中的除所述第一图像以外的图像的明度来进行合成；第二合成单元，其被配置为通过利用第二图像的明度调整所述多个图像中的除所述第二图像以外的图像的明度来进行合成，其中所述第二图像比所述第一图像更亮；以及合成方法选择单元，其被配置为选择要使用所述第一合成单元的合成和所述第二合成单元的合成中的哪一个来合成所述获取单元所获取的多个图像。2.根据权利要求1所述的图像处理设备，其中，所述合成方法选择单元通过使用所述多个图像其中至少之一来计算动态范围，并且根据所计算出的动态范围来进行所述选择。3.根据权利要求2所述的图像处理设备，其中，在所计算出的动态范围小于第一阈值的情况下，所述合成方法选择单元进行选择以应用所述第一合成单元的合成，以及其中，在所计算出的动态范围大于所述第一阈值的情况下，所述合成方法选择单元进行选择以应用所述第二合成单元的合成。4.根据权利要求2所述的图像处理设备，其中，在所计算出的动态范围小于第二阈值的情况下，所述合成方法选择单元进行选择以在所述多个图像包括线性图像的状态下应用所述第一合成单元的合成，以及其中，在所计算出的动态范围大于所述第二阈值的情况下，所述合成方法选择单元进行选择以在所述多个图像包括非线性图像的状态下应用所述第二合成单元的合成。5.根据权利要求1所述的图像处理设备，还包括：输入单元，其被配置为接受从用户输入的合成方法，其中，所述合成方法选择单元根据所述输入单元所接受的合成方法来进行所述选择。6.根据权利要求1所述的图像处...

【专利技术属性】
技术研发人员：高桥良辅，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：