图像处理装置、图像处理方法和存储介质制造方法及图纸

本发明专利技术提供图像处理装置、图像处理方法和存储介质。在不增大进行距离测量处理的图像处理装置的功耗的情况下提高距离测量精度。在一个实施例中，用于计算图像的距离信息的图像处理装置具有：可靠性计算单元113，其被构造为，针对图像的各个像素，根据对比度来计算可靠性；以及距离计算单元116，其被构造为，基于各个像素的可靠性，来计算各个像素的距离信息。距离计算单元116在未超出在针对图像的所有像素使用预定尺寸的对照区域的情况下的计算量的范围内，通过使用尺寸大于预定尺寸的对照区域，来计算关于可靠性低于第一像素组的可靠性的第二像素组的距离信息。

【技术实现步骤摘要】
图像处理装置、图像处理方法和存储介质
本专利技术涉及基于图像数据计算被摄体距离的距离测量技术。
技术介绍
传统上，在数字照相机中，已知如下技术，该技术通过布置具有距离测量功能的像素(在下文中也称为“距离测量像素”)作为摄像元件内的部分或全部像素并使用相位差方法，来检测到被摄体的距离。在这种方法中，设计一种构造，使得通过将多个光电转换单元布置在距离测量像素中，将穿过了摄像透镜的光瞳上的不同区域的光束引导到不同的光电转换单元。通过由布置在各个距离测量像素中的光电转换单元输出的信号，可以获取由穿过了不同的光瞳区域的光束生成的光图像(在下文中分别称为“A图片”和“B图片”)，并且可以分别基于A图片和B图片获取多个图像。与A图片相对应的光瞳区域和与B图片相对应的光瞳区域沿着称为光瞳分割方向的轴在彼此不同的方向上偏心。在多个获取的图像(在下文中分别称为“A图像”和“B图像”)之间，沿着光瞳分割方向，出现根据散焦量的相对位置偏移(也称为视差)。该位置偏移被称为图像偏移，并且图像偏移的量被称为图像偏移量。通过经由预定的转换系数将图像偏移量转换为散焦量，可以计算到被摄体的距离。通过使用这种方法，与传统的对比度方法不同，不需要移动摄像透镜来测量距离，因此，能够进行高速且高精度的距离测量。为了计算图像偏移量，通常，使用称为模板匹配的基于区域的对应点搜索技术(参见日本特开2003-269917号公报)。在模板匹配中，将A图像和B图像中的一个图像作为基准图像，而将另一个图像作为参照图像。另外，在基准图像上，设置以关注点为中心的局部区域(在下文中称为对照区域)，同时，还在参照图像上，设置以与关注点相对应的参照点为中心的对照区域。然后，在依次移动参照点的同时，搜索在对照区域内的A图像与B图像之间的相关性(即，相似度)最高的点。通过该点与关注点之间的相对位置偏移量，计算图像偏移量。在通过使用模板匹配来计算图像偏移量的情况下，可能出现这样的问题：由于包括在对照区域中的图像的可靠性，图像偏移量的计算误差变大。这里所指的图像的可靠性是主要在对照区域内的对比度的程度。例如，在对照区域内的图像的对比度高的情况下，相似度的变化变大并且可以正确地计算对应点，因此可靠性变高。另一方面，在对照区域内的图像的对比度低的情况下，相似度的变化变小并且不再能够正确地计算对应点，因此，可靠性变低并且图像偏移量的计算误差可能会变大。此外，近年来，要求提高距离测量功能的速度和精度，同时，还要求减小装置本身的尺寸，并且对减小功耗的要求也越来越高。因此，已知如下技术，该技术在不需要AF(自动对焦)操作的情况(诸如，未进行摄像处理的情况)下，通过将距离测量摄像元件移动到省电模式并终止操作时钟的供应来尝试降低功耗(参见日本特开2012-163923号公报)。在先前描述的模板匹配中，在对照区域中包括的图像的可靠性低的情况下，可以通过增大对照区域的尺寸来抑制噪声的影响并提高距离测量精度。然而，在对照区域的尺寸增大的情况下，计算量也增大，因此，装置的功耗增大。
技术实现思路
鉴于这种问题做出本专利技术，并且目的在于提高距离测量精度，而不增大进行距离测量处理的图像处理装置的功耗。在本专利技术的一个实施例中，提供了一种图像处理装置，其用于计算图像的距离信息，所述图像处理装置具有：第一计算单元，其被构造为，针对所述图像的各个像素，根据对比度来计算可靠性；以及第二计算单元，其被构造为，基于各个像素的可靠性，来计算各个像素的距离信息。所述第二计算单元在未超出在针对所述图像的所有像素使用预定尺寸的对照区域的情况下的计算量的范围内，通过使用尺寸大于所述预定尺寸的对照区域，来计算关于可靠性低于第一像素组的可靠性的第二像素组的距离信息。通过以下参照附图对示例性实施例的描述，本专利技术的其他特征将变得清楚。附图说明图1是示出第一实施例中的图像处理装置的硬件的示意性构造的框图；图2A是示出第一实施例中的模板匹配中的基准图像的图；图2B是示出第一实施例中的模板匹配中的参照图像的图；图2C是示出第一实施例中的模板匹配中的对照区域的示例的图；图3是示出第一实施例中的可靠性计算单元的构造的框图；图4A是示出第一实施例中的根据阈值分类的直方图和可靠性的图；图4B是示出针对图4A中的直方图改变可靠性“高”的阈值设置的情况的示例的图；图4C是示出针对图4A中的直方图改变可靠性“中”的对照区域的情况的示例的图；图4D是示出直方图的形状与图4A中的形状不同的情况的示例的图；图5是第一实施例中的视差计算单元和距离计算单元的构造图；图6是第一实施例中的图像处理的流程图；图7是第一实施例中的可靠性的阈值的生成处理的流程图；图8是示出第二实施例中的可靠性计算单元的构造的框图；图9A是示出第二实施例中的根据阈值分类的直方图和可靠性的图；图9B是示出针对图9A中的直方图改变可靠性“高”的阈值设置和可靠性“低”的阈值设置的情况的示例的图；图10是示出第三实施例中的可靠性计算单元的构造的框图；图11A是示出第三实施例中的根据阈值分类的可靠性的图；并且图11B是示出针对图11A中的直方图改变可靠性“高”的阈值设置的情况的示例的图。具体实施方式在下文中，参考附图，根据优选实施例详细说明本专利技术。在以下实施例中示出的构造仅是示例性的，并且本专利技术不限于示意性示出的构造。在本实施例中说明的特征的所有组合对于本专利技术不是必不可少的。在本专利技术中，包括了在不脱离本专利技术的主旨的范围内的各种变型方面。此外，也可以通过组合以下实施例的一部分来构造本专利技术。[第一实施例]图1示出了第一实施例中的图像处理装置的硬件的示意性构造。摄像透镜120在作为摄像单元100的摄像表面的摄像元件101上形成被摄体的图像。摄像透镜120包括光圈和多个透镜组。摄像单元100生成关于在摄像元件101上形成的被摄体图像的图像数据，并且通过图像发送单元102将图像数据发送到图像处理单元110。即，摄像单元100可以用作摄像装置。摄像元件101是包括CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)的图像传感器。通过摄像元件101将经由摄像透镜120在摄像元件101上形成的被摄体图像转换成电信号。通常，摄像元件101包括滤色器并且通过仅透射期望的颜色信息来形成被摄体图像。摄像元件101具有输出用于拍摄图像的电信号的摄像像素和输出用于距离测量的电信号的距离测量像素。从摄像像素组输出的电信号被转换为用于拍摄图像的图像数据。从距离测量像素组输出的电信号被转换成用于距离测量的图像数据。除非特别指出，否则本实施例中的图像数据是指用于距离测量的图像数据。图像发送单元102将由摄像元件101转换的电信号作为图像数据发送到图像处理单元110。图像处理单元110具有图像接收单元111、图像校正单元112、可靠性计算单元113、直方图计算单元114本文档来自技高网...

【技术保护点】
1.一种图像处理装置，其用于计算图像的距离信息，所述图像处理装置包括：/n第一计算单元，其被构造为，针对所述图像的各个像素，根据对比度来计算可靠性；以及/n第二计算单元，其被构造为，基于各个像素的可靠性，来计算各个像素的距离信息，其中，/n所述第二计算单元在未超出在针对所述图像的所有像素使用预定尺寸的对照区域的情况下的计算量的范围内，通过使用尺寸大于所述预定尺寸的对照区域，来计算关于可靠性低于第一像素组的可靠性的第二像素组的距离信息。/n

【技术特征摘要】
20191108 JP 2019-2032881.一种图像处理装置，其用于计算图像的距离信息，所述图像处理装置包括：
第一计算单元，其被构造为，针对所述图像的各个像素，根据对比度来计算可靠性；以及
第二计算单元，其被构造为，基于各个像素的可靠性，来计算各个像素的距离信息，其中，
所述第二计算单元在未超出在针对所述图像的所有像素使用预定尺寸的对照区域的情况下的计算量的范围内，通过使用尺寸大于所述预定尺寸的对照区域，来计算关于可靠性低于第一像素组的可靠性的第二像素组的距离信息。


2.根据权利要求1所述的图像处理装置，其中，
所述第二计算单元不计算针对可靠性低于所述第二像素组的可靠性的第三像素组的距离信息。


3.根据权利要求2所述的图像处理装置，其中，
通过终止控制所述第二计算单元的操作的时钟的供应，来跳过对距离信息的计算。


4.根据权利要求1所述的图像处理装置，其中，
根据由用户设置的可靠性的阈值，将所述图像的各像素分类为多个像素组。


5.根据权利要求1所述的图像处理装置，其中，
根据基于操作模式而设置的可靠性的阈值，将所述图像的各个像素分类为多个像素组。


6.根据权利要求1所述的图像处...

【专利技术属性】
技术研发人员：永松泰成，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP