图像处理设备、摄像设备、图像处理方法和存储介质技术

本发明专利技术涉及一种图像处理设备、摄像设备、图像处理方法和存储介质。摄像设备的图像处理单元获取具有不同拍摄时刻的多组图像数据。散焦图生成单元通过使用两组或更多组图像数据来生成表示散焦量的空间分布的多个散焦图中的各散焦图。位置偏离校正单元通过使用从位置偏离校正控制参数计算单元所获取到的控制参数，经由几何变形处理来进行多个散焦图的对准。合成单元对经过了对准的多个散焦图进行合成。散焦图整形单元对合成处理后的散焦图进行整形处理，并且输出沿着被摄体的轮廓平滑地变化的散焦图数据。

Image processing equipment, image capturing equipment, image processing method and storage medium

【技术实现步骤摘要】
图像处理设备、摄像设备、图像处理方法和存储介质(本申请是申请日为2016年5月17日、申请号为2016800288656、专利技术名称为“图像处理设备、摄像设备、图像处理方法和存储介质”的申请的分案申请。)
本专利技术涉及通过使用具有不同拍摄时刻的多个图像来获取与散焦分布有关的信息的图像处理技术。
技术介绍
在诸如计算机视觉等的领域中，存在用于获取表示针对所拍摄图像的散焦量的空间分布的散焦图的技术。专利文献1公开了如下的技术，其中该技术对从具有不同曝光时间的三个图像的数据中所获取的散焦图进行合成，以使得即使在视角中的图像信号之间的亮度差较大的情况下也生成更正确的散焦图。引用列表专利文献专利文献1：日本特开2012-182731然而，在日本特开2012-182731中所公开的传统
中，如果在具有不同曝光时间的三个图像中发生了照相机抖动等，则要计算的散焦图的精度可能降低。另外，在高感光度摄像期间，图像数据中的噪声量增加，因而要计算的散焦图的精度可能降低。
技术实现思路
本专利技术是为了提供如下的图像处理设备，其中该图像处理设备可以通过使用具有不同拍摄时刻的多个图像数据来生成具有更正确的散焦分布的数据。根据本专利技术的实施例的一种图像处理设备，包括：获取单元，其被配置为获取具有不同拍摄时刻的第一组图像数据和第二组图像数据；生成单元，其被配置为通过使用所述第一组图像数据和所述第二组图像数据，来生成分别表示散焦量的空间分布的第一图数据和第二图数据；对准单元，其被配置为获取所述生成单元所生成的所述第一图数据和所述第二图数据并进行对准；以及合成单元，其被配置为对所述对准单元进行了对准的所述第一图数据和所述第二图数据执行合成处理。根据以下参考附图对典型实施例的说明，本专利技术的其它特征将变得显而易见。附图说明图1是示出根据本专利技术的实施例的数字照相机的功能结构示例的框图。图2A示出根据本专利技术的实施例的摄像单元的像素排列的结构示例。图2B是光瞳分割的概念的说明图。图3是示出根据本专利技术的实施例的图像处理单元的功能结构示例的框图。图4是示出根据本专利技术的第一实施例的图像处理单元的处理的流程图。图5示出第一实施例中的以适当曝光时间拍摄的图像。图6示出以比适当曝光时间短的曝光时间拍摄的图像。图7示出时刻T和T+1的全开口图像。图8示出散焦图的合成比率。图9示出散焦图的整形处理。图10A示出整形图像的截面图中的信号值轮廓。图10B示出散焦图的整形处理的效果。图11是示出根据本专利技术的第二实施例的图像处理单元的处理的流程图。具体实施方式以下，将参考附图来说明本专利技术的优选实施例。注意，将说明适用于作为根据下述的实施例的图像处理设备的数字照相机的示例。第一实施例在根据本专利技术的第一实施例的摄像设备中，将说明即使在视角中的图像信号之间的亮度差较大的情况下也可以生成更正确的散焦图的图像处理设备。图1是示出根据本实施例的数字照相机100的功能结构的框图。系统控制单元101例如包括CPU(中央处理单元)。系统控制单元101从ROM(只读存储器)102读出用于控制数字照相机100中所包括的各组成单元的操作和处理的程序，将该程序展开在RAM(随机存取存储器)103中，并且执行该程序。ROM102是使得能够重写数据的非易失性存储器，并且除了用于控制数字照相机100的操作和处理的程序之外，还存储各组成单元的操作所需的参数。例如，ROM102中存储有包括用作焦点检测所需的透镜信息的出射光瞳距离的数据。RAM103是使得能够重写数据的易失性存储器，并且被用作在数字照相机100的处理中已经输出的数据的临时存储区域。摄像光学系统104在摄像单元105上形成来自被摄体的光。摄像光学系统104包括透镜和光圈，并且光圈通过调节摄像光学系统104的开口直径进行摄像期间的光量调节。摄像单元105包括摄像元件，例如CCD(电荷耦合器件)传感器和CMOS(互补金属氧化物半导体)传感器。摄像单元105对摄像光学系统104已经形成的光学图像进行光电转换，并且将已获取的模拟图像信号输出至A(模拟)/D(数字)转换单元106。A/D转换单元106对已经输入的模拟图像信号进行A/D转换处理，并将数字图像数据输出至RAM103以将该数字图像数据存储在RAM103中。图像处理单元107对RAM103中所存储的图像数据进行包括白平衡调节、颜色插值、缩小/放大和滤波等的处理。图像处理单元107还进行各种图像处理，诸如散焦图的生成、多个图像的对准以及合成处理等。记录介质108是可安装且可拆卸的存储卡等，并且记录利用RAM103中所存储的图像处理单元107进行了处理的图像数据以及利用A/D转换单元106进行了A/D转换的图像数据等作为记录图像数据。总线109用于在各组成单元之间发送和接收信号。图2A是示出图1中的摄像单元105的像素排列的结构示例的示意图。在图2A中，将与图正交的方向定义为z方向，并且将前侧定义为+z方向。将与z方向正交的第一方向定义为x方向，并且将图2A中的向右方向定义为+x方向。另外，将与z方向正交的第二方向定义为y方向，并且将图2A中的向上方向定义为+y方向。图2A示出放大了像素200的示意图。像素200包括微透镜201、一对光电转换单元202A和203B(以下称为光瞳分割像素202A和203B)。在摄像单元105中，多个像素200以二维阵列状态规则地排列。在本实施例中，分别输出A图像和B图像作为来自规则排列的光瞳分割像素202A和203B的一对图像。在以下说明中，作为一对图像的A图像和B图像被称为“光瞳分割图像”。图2B是光瞳分割的示意说明图。在图2B的下侧，示出从+y方向观看的沿图2A所示的像素200的线S-S的截面时的截面图，并且在上侧，在x-y面中示出从-z方向观看时的摄像光学系统104的出射光瞳面。在图2B中，为了与出射光瞳面的坐标轴相对应，以相对于图2A反转的方式示出截面图中的x方向。摄像单元105配置在摄像光学系统104的成像面附近，并且来自被摄体的光束穿过摄像光学系统104的出射光瞳800并进入彼此对应的像素。出射光瞳800的大小根据光圈的大小或用于保持透镜的透镜框的大小而改变。光瞳部分区域801A和802B由于在x方向被分割为两个部分的光瞳分割像素202A和203B的光接收表面以及微透镜，而处于大致共轭的关系。因此，已经穿过各光瞳部分区域的光束由具有相邻关系的各光瞳分割像素接收。如果将水平方向的光瞳分割数表示为“M”并且将垂直方向的光瞳分割数表示为“N”，则摄像光学系统104的出射光瞳800被分割为光瞳分割数是Np＝M×N的不同光瞳部分区域。如果将摄像光学系统104的光圈值表示为“F”，则光瞳部分区域的有效光圈值一般表示为(√(M×N))×F。另外，光瞳区域803是在将被分割为M×N个的光电转换单元全部组合时的像素200整体中可接收到的本文档来自技高网...

【技术保护点】
1.一种图像处理设备，包括：/n获取单元，其被配置为获取第一组图像数据和第二组图像数据；/n生成单元，其被配置为通过使用所述第一组图像数据和所述第二组图像数据，来生成分别表示与被摄体的距离有关的数据的分布的第一图数据和第二图数据；/n对准单元，其被配置为获取所述生成单元所生成的所述第一图数据和所述第二图数据并进行对准；以及/n合成单元，其被配置为对所述对准单元进行了对准的所述第一图数据和所述第二图数据执行合成处理。/n

【技术特征摘要】
20150519 JP 2015-1019371.一种图像处理设备，包括：
获取单元，其被配置为获取第一组图像数据和第二组图像数据；
生成单元，其被配置为通过使用所述第一组图像数据和所述第二组图像数据，来生成分别表示与被摄体的距离有关的数据的分布的第一图数据和第二图数据；
对准单元，其被配置为获取所述生成单元所生成的所述第一图数据和所述第二图数据并进行对准；以及
合成单元，其被配置为对所述对准单元进行了对准的所述第一图数据和所述第二图数据执行合成处理。


2.根据权利要求1所述的图像处理设备，其中，所述第一组图像数据和所述第二组图像数据是具有视差的图像数据、或具有不同模糊状态的图像数据。


3.根据权利要求1所述的图像处理设备，其中，所述第一组图像数据和所述第二组图像数据是具有不同曝光时间的图像数据。


4.根据权利要求1所述的图像处理设备，其中，所述对准单元通过使用从所述第一组图像数据和所述第二组图像数据获取到的控制参数进行几何变形处理，来对所述第一图数据和所述第二图数据进行对准。


5.根据权利要求1所述的图像处理设备，其中，还包括整形单元，所述整形单元被配置为对所述合成单元所合成的图数据进行整形处理。


6.根据权利要求5所述的图像处理设备，其中，针对所述合成单元所合成的图数据中的目标像素，所述整形单元通过将所述目标像素及其周边像素的输出进行平滑化来计算经过所述整形处理的数据的分布。


7.根据权利要求6所述的图像处理设备，其中，在通过对所述第一组图像数据和所述第二组图像数据进行合成而获取到的图像数据中的、或者所述第一组图像数据或所述第二组图像数据中的所述目标像素的像素值接近于所述目标像素的所述周边像素的像素值的情况下，所述整形单元增大所述周边像素的输出的平滑化的权重。


8.根据权利要求1所述的图像处理设备，其中，所述合成单元根据通过基于所述第一组图像数据或所述第二组图像数据的相加而计算出的像素值，来设置所述第一图数据和所述第二图数据的合成所用的合成比率。


9.根据权利要求1所述的图像处理设备，其中，所述合成单元根据所述对准单元的对准所用的参数，来设置所述第一图数据和所述第二图数据的合成所用的合成比率。


10.根据权利要求1所述的图像处理设备，其中，所述合成单元通过使用所述第一图数据和所述第二图数据之间的差值，来设置所述第一图数据和所述第二图数据的合成所用的合成比率。


11.根据权利要求1所述的图像处理设备，其中，所述合成单元进行以下处理，其中该处理通过进行平均，来对所述生成单元基于所述第一组图像数据所生成的所述第一图数据、以及所述生成单元基于所述第二组图像数据所生成的并且由所述对准单元针对所述第一图数据进行了对准的所述第二图数据进行合成。


12.根据权利要求1所述的图像处理设备，其中，在图像内的聚焦的区域中，所述对准单元通过使用相加了所述第一组图像数据或所述第二组图像数据的图像数据来计算控制参数，以及在该图像内的未聚焦的区域中，所述对准单元通过使用所述第一组图像数据中的一个图像数据或所述第二组图像数据中的一个图像数据来计算所述控制参数。


13...

【专利技术属性】
技术研发人员：佐佐木贵志，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP