图像处理装置、摄像装置、图像处理方法和记录介质制造方法及图纸

本发明专利技术公开一种图像处理装置、摄像装置、图像处理方法和记录介质。该图像处理装置包括：被构造为对具有不同焦点位置的多个图像进行图像合成的合成单元，被构造为基于所述多个图像计算对比度相关值的计算单元，被构造为基于所述对比度相关值生成合成图的生成单元，被构造为基于相对于所述多个图像的被摄体分割区域的分割单元，以及被构造为校正由所述分割单元分割出的各区域的灰度的校正单元。单元分割出的各区域的灰度的校正单元。单元分割出的各区域的灰度的校正单元。

【技术实现步骤摘要】
图像处理装置、摄像装置、图像处理方法和记录介质


[0001]实施例的一方面涉及可拍摄具有不同焦点位置的多个图像并可进行深度合成的图像处理装置。

技术介绍

[0002]在拍摄与数字照相机的距离大不相同的多个被摄体的图像的情况下或在拍摄深度方向长的被摄体的图像的情况下，由于景深不足，可对焦到其中一些被摄体或长被摄体的一部分。日本特开第2015
‑
216532号专利公开了可解决上述问题的深度合成技术。深度合成技术拍摄具有不同焦点位置的多个图像，从各图像中提取合焦区域，以及将合焦区域组合成一个图像以生成整个摄像区域被对焦的合成图像。
[0003]上述的深度合成技术通过合成具有不同焦点位置的多个图像来生成整个摄像区域被对焦的图像。然而，该技术无法确定合成区域的亮度是否适合被摄体，从而该技术不一定能向被摄体提供适当的亮度。

技术实现思路

[0004]根据实施例的一方面，一种装置包括：合成单元，其被构造为对具有不同焦点位置的多个图像进行图像合成；计算单元，其被构造为基于所述多个图像计算对比度相关值；生成单元，其被构造为基于所述对比度相关值生成合成图；分割单元，其被构造为基于相对于所述多个图像的被摄体分割区域；以及校正单元，其被构造为校正由所述分割单元分割出的各区域的灰度。
[0005]从以下参照附图对示例性实施方式的说明，本公开的其它特征将变得明显。
附图说明
[0006]图1是用于示出根据本公开的示例性实施例的用作图像处理装置的数字照相机的硬件构造的框图。
>[0007]图2A、2B、2C和2D是用于示出根据第一示例性实施例的合成图像的生成的流程图。
[0008]图3A和3B示出根据第一示例性实施例的在步骤S201中将进行测光的区域。
[0009]图4A、4B和4C示出根据第一示例性实施例的与合焦区域相对应的生成的合成图。
[0010]图5A、5B和5C示出根据第一示例性实施例的被摄体区域分割。
[0011]图6A、6B和6C示出根据第一示例性实施例的通过增益的校正。
[0012]图7A、7B、7C、7D和7E示出根据第二示例性实施例的摄像场景和校正。
[0013]图8A和8B是用于示出根据第二示例性实施例的图像合成的流程图。
[0014]图9A、9B、9C和9D示出根据第三示例性实施例的摄像场景和校正。
[0015]图10A和10B是用于示出根据第三示例性实施例的图像合成的流程图。
具体实施方式
[0016]下面将参照附图详细地描述本公开的示例性实施例。下面的示例性实施例决不将本公开限制在所附权利要求的范围内。并非本示例性实施例中描述的所有特征组合对于本公开的解决方案来说都是必不可少的。
[0017]图1是用于示出根据第一示例性实施例的用作图像处理装置的数字照相机的结构的示例性框图。数字照相机100可拍摄静止图像、记录关于焦点位置的信息、计算对比度值和进行图像合成。数字照相机100可进一步对拍摄及存储的图像或外部输入的图像进行放大处理或缩小处理。
[0018]控制单元101，是诸如中央处理单元(CPU)和微处理单元(MPU)的信号处理器，其在读取预存储在将在下文描述的只读存储器(ROM)105中的程序时控制数字照相机100的各部分。例如，如下所述，控制单元101可向将在下文描述的摄像单元104发出摄像开始指令和摄像结束指令。可选择地，控制单元101可基于存储在ROM 105中的程序向将在下文描述的图像处理单元107发出图像处理指令。用户指令通过将在下文描述的操作单元110输入至数字100，然后通过控制单元101到达数字照相机100的各部分。
[0019]驱动单元102包括电动机并在控制单元101的指令下机械地操作将在下文描述的光学系统103。例如，基于控制单元101的指令，驱动单元102移动包括在光学系统103中的调焦透镜的位置以调整光学系统103的焦距。
[0020]光学系统103包括变焦透镜、调焦透镜和光圈。光圈是调整发送光的量的机构。焦点位置可通过改变透镜位置来改变。
[0021]摄像单元104是光电转换元件，其进行用于将入射光的信号转换成电信号的光电转换。例如，电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器可应用于摄像单元104。具有运动图像拍摄模式的摄像单元104可拍摄时间连续的多个图像作为运动图像的帧。摄像单元104可通过光学系统103对被摄体的亮度进行测光测量。声发射(Acoustic Emission，AE)传感器可用于替代摄像单元104中的测光测量。
[0022]ROM 105是作为记录介质的只读非易失性存储器，除了包括在数字照相机100中的各个块的操作程序，其还存储用于各个块的操作的参数。
[0023]可再写易失性存储器RAM 106用作包括在数字照相机100中的各个块的操作中输出的数据的暂时存储区域。
[0024]图像处理单元107对从摄像单元104输出的图像的数据或记录在将在下文描述的内部存储器109中的图像信号的数据进行白平衡调整、颜色插值、过滤、合成处理和其它各种图像处理。图像处理单元107也对由摄像单元104拍摄的图像信号的数据进行符合联合图像专家组(JPEG)标准的压缩处理。
[0025]图像处理单元107包括集成了用于特定处理的电路的专用集成电路(ASIC)。可选择地，控制单元101通过根据从ROM 105中读出的程序进行处理也可用作图像处理单元107的一部分或全部的功能。在控制单元101用作图像处理单元107的全部功能的情况下，图像处理单元107不需要作为硬件组件提供。
[0026]显示单元108是用于显示暂时存储在RAM 106中的图像、存储在将在下文描述的内部存储器109中的图像或数字照相机100的设置画面的液晶显示器或有机电致发光(EL)显示器。
[0027]内部存储器109是用于记录由摄像单元104拍摄的图像、由图像处理单元107处理的图像以及在图像拍摄时的焦点位置的信息的位置。存储卡可用于替代内部存储器。
[0028]操作单元110例如包括设置在数字照相机100上的按钮、开关、按键和模式拨盘，或包括也用作显示单元108的触摸面板。用户指令通过操作单元110发送到控制单元101。
[0029]图2A至2D是用于示出根据本示例性实施例的合成图像的生成的流程图。图2A示出根据本示例性实施例的处理的概述。在步骤S201中，摄像单元104对通过光学系统103的被摄体进行测光测量。测光测量将在下文描述。
[0030]在步骤S202中，摄像单元104拍摄具有不同焦点位置的多个图像并对图像进行显像。
[0031]在步骤S203中，控制单元101对在步骤S202中由摄像单元104拍摄的图像进行对准。对准处理将在下文参照图2C描述。
[0032]在步骤S204中，图像处理单元107对对准的图像进行图像合成以生成合成图像。图像合成处理将在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置，其包括：合成单元，其被构造为对具有不同焦点位置的多个图像进行图像合成；计算单元，其被构造为基于所述多个图像计算对比度相关值；生成单元，其被构造为基于所述对比度相关值生成合成图；分割单元，其被构造为基于相对于所述多个图像的被摄体分割区域；以及校正单元，其被构造为校正由所述分割单元分割出的各区域的灰度。2.根据权利要求1所述的图像处理装置，其中，所述校正单元通过应用增益来校正所述灰度。3.根据权利要求2所述的图像处理装置，其中，所述校正单元获得各区域的亮度并基于所述亮度获得所述增益。4.根据权利要求3所述的图像处理装置，其中，所述校正单元校正各区域的亮度以提供适当的亮度。5.根据权利要求1至4中任一项所述的图像处理装置，其中，所述分割单元基于所述合成图分割各区域。6.根据权利要求5所述的图像处理装置，其中，当在由所述生成单元生成的、与所述多个图像中的一个相对应的合成图中存在多个被摄体的情况下，所述分割单元将所述多个被摄体中的每一个分割成不同的区域。7.根据权利要求1所述的图像处理装置，其中，所述分割单元分割主被摄体区域和非主被摄体区域。8.根据权利要求1所述的图像处理装置，其中，在校正所述多个图像中的...

【专利技术属性】
技术研发人员：佐藤和季，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：