图像处理装置和图像处理方法制造方法及图纸

该图像处理装置包括：贡献率计算单元，其计算预定像素或预定区域在输入图像中包括的多个像素或多个区域的深度计算中的贡献率；以及校正单元，其基于贡献率来校正预定像素或预定区域的深度值。定区域的深度值。定区域的深度值。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和图像处理方法


[0001]本公开内容涉及图像处理装置和图像处理方法。

技术介绍

[0002]已知存在根据立体图像或图像平面相位差像素来计算深度值的技术。例如，深度值是从成像装置到被摄体的距离。在使用立体图像来计算深度值的情况下，例如，图像处理装置计算作为立体图像输入的标准图像与参考图像之间的视差量，并且然后基于计算的视差量，使用三角测量的原理来计算到被摄体的距离。
[0003]引用列表
[0004]专利文献
[0005]专利文献1：JP 2004
‑
139219 A
[0006]专利文献2：JP 2017
‑
27101 A
[0007]专利文献3：WO 2013/145554 A
[0008]非专利文献
[0009]非专利文献1：Jonathan T Barron和Ben Poole，“The fast bilateral solver”，欧洲计算机视觉会议(ECCV)第617
‑
632页，施普林格国际出版社，2016年
[0010]非专利文献2：E.S.L.Gastal和M.M.Oliveira，“Domain transform for edge
‑
aware image and video processing”，美国计算机学会图形汇刊，第30卷，第4期，2011年
[0011]非专利文献3：J.Sun,N.Zheng和H.Y.Shum，“Stereo matching using belief propagation”，IEEE模式分析与机器智能汇刊，第25卷，第7期，第787
‑
800页，2003年

技术实现思路

[0012]技术问题
[0013]然而，利用传统方法，有时难以获得高度准确的深度值或深度图像。例如，在使用立体图像或图像平面相位差像素计算深度值的方法的情况下，一个像素的深度值的计算使用作为深度值的计算的目标的像素周围的多个像素的值。然而，该方法是在假设多个像素位于相同的距离下来计算深度值，并且因此，在多个像素中包括不同距离的像素的情况下，可能不会发生计算高度准确的深度值。
[0014]鉴于这个问题，本公开内容提出了一种能够获取高度准确的深度值或深度图像的图像处理装置和图像处理方法。
[0015]问题的解决方案
[0016]为了解决以上问题，一种根据本公开内容的图像处理装置包括：贡献率计算单元，其计算预定像素或预定区域在输入图像中包括的多个像素或多个区域中的每一个的深度计算中的贡献率；以及校正单元，其基于贡献率校正预定像素或预定区域的深度值。
附图说明
[0017]图1是示出立体图像的示例的图。
[0018]图2是图1所示的标准图像的部分放大图。
[0019]图3是示出出现伪深度的状态的图。
[0020]图4A是长
×
宽为3
×
3的模板图像。
[0021]图4B是长
×
宽为7
×
7的模板图像。
[0022]图5是其中以14
×
14像素布置图像平面相位差像素对的示例。
[0023]图6是示出通过本实施方式中描述的方法进行校正获得的经校正深度图像的图。
[0024]图7是示出根据第一实施方式的图像处理装置的配置示例的图。
[0025]图8是示出视差计算单元的配置示例的图。
[0026]图9是示出深度校正单元的配置示例的图。
[0027]图10是示出输入到深度校正单元的输入信号和从深度校正单元输出的经校正深度图像的示例的图。
[0028]图11是示出根据第一实施方式的深度校正处理的流程图。
[0029]图12是示出深度重定位的图。
[0030]图13A是示出贡献率的图。
[0031]图13B是示出贡献率的图。
[0032]图13C是示出贡献率的图。
[0033]图13D是示出贡献率的图。
[0034]图13E是示出贡献率的图。
[0035]图13F是示出贡献率的图。
[0036]图13G是示出贡献率的图。
[0037]图13H是示出贡献率的图。
[0038]图13I是示出贡献率的图。
[0039]图14是示出深度图像和通过对深度图像进行校正获得的经校正深度图像的视图。
[0040]图15是示出深度校正单元的配置示例的图。
[0041]图16是示出根据第二实施方式的深度校正处理的流程图。
[0042]图17是示出校正单元更新经校正深度图像的状态的图。
[0043]图18是示出在经校正深度图像中出现的问题的图。
[0044]图19是示出根据第三实施方式的深度校正处理的流程图。
[0045]图20是示出校正单元生成相位校正图像的状态的图。
[0046]图21A是示出贡献率的图。
[0047]图21B是示出贡献率的图。
[0048]图21C是示出贡献率的图。
[0049]图21D是示出贡献率的图。
[0050]图21E是示出贡献率的图。
[0051]图21F是示出贡献率的图。
[0052]图21G是示出贡献率的图。
[0053]图21H是示出贡献率的图。
[0054]图21I是示出贡献率的图。
[0055]图22是示出深度图像和通过对深度图像进行校正获得的相位校正图像的视图。
[0056]图23是示出深度重定位图像的一部分和与该部分相对应的相位校正图像的一部分的图。
具体实施方式
[0057]下面将参照附图详细描述本公开内容的实施方式。在以下各实施方式中，相同部分用相同的附图标记表示，并且将省略对其的重复描述。
[0058]将按以下顺序描述本公开内容。
[0059]1.介绍
[0060]2.第一实施方式
[0061]2‑
1.图像处理装置的配置
[0062]2‑
2.图像处理装置的操作
[0063]3.第二实施方式(基于校正强度的校正)
[0064]3‑
1.图像处理装置的配置
[0065]3‑
2.图像处理装置的操作
[0066]4.第三实施方式(基于不均匀性的校正强度的计算)
[0067]4‑
1.图像处理装置的配置
[0068]4‑
2.图像处理装置的操作
[0069]5.修改
[0070]6.结论
[0071]《1.介绍》
[0072]根据本实施方式的图像处理装置10是基于立体图像处理中的立体图像或图像平面相位检测自动聚焦(AF)中的相位差检测信号(图像平面相位差像素)生成深度图像(或计算深度值)的装置。根据本实施方式的图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，包括：贡献率计算单元，其计算预定像素或预定区域在输入图像中包括的多个像素或多个区域中的每一个的深度计算中的贡献率；以及校正单元，其基于所述贡献率校正所述预定像素或所述预定区域的深度值。2.根据权利要求1所述的图像处理装置，其中，所述贡献率计算单元计算所述预定像素在包括所述预定像素的所述输入图像的预定范围内的多个像素中的每一个的深度计算中的贡献率，以及所述校正单元基于所述预定像素在所述预定范围内的多个像素中的每一个的深度计算中的贡献率来计算所述预定像素的经校正深度值。3.根据权利要求2所述的图像处理装置，其中，所述校正单元使用所述预定像素在所述预定范围内的多个像素中的每一个的深度计算中的贡献率作为权重，基于所述多个像素的深度值的加权平均值，计算所述预定像素的深度值的经校正深度值。4.根据权利要求2所述的图像处理装置，其中，所述校正单元使用所述预定像素在所述预定范围内的多个像素中的每一个的深度计算中的贡献率作为权重，基于所述多个像素的深度值的加权中值，计算所述预定像素的深度值的经校正深度值。5.根据权利要求1所述的图像处理装置，其中，所述贡献率计算单元计算所述预定区域在包括所述预定区域的所述输入图像的预定范围内的多个区域中的每一个的深度计算中的贡献率，并且所述校正单元基于所述预定区域在所述预定范围内的多个区域中的每一个的深度计算中的贡献率来计算所述预定区域的经校正深度值。6.根据权利要求5所述的图像处理装置，其中，所述校正单元使用所述预定区域在所述预定范围内的多个区域中的每一个的深度计算中的贡献率作为权重，基于所述多个区域的深度值的加权平均值，计算所述预定区域的深度值的经校正深度值。7.根据权利要求5所述的图像处理装置，其中，所述校正单元使用所述预定区域在所述预定范围内的多个区域中的每一个的深度计算中的贡献率作为权重，基于所述多个区域的深度值的加权中值，计算所述预定区域的深度值的经校正深度值。8.根据权利要求1所述的图像处理装置，还包括：校正强度计算单元，其基于通过所述深度计算获得的深度图像和通过所述校正单元对所述深度值的校正而获得的经校正深度图像中的一个图像，计算用于对所述深度图像和所述经校正深度图像中的另一图像进行校正的校正强度。9.根据权利要求8所述的图像处理装置，其...

【专利技术属性】
技术研发人员：森内优介，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：