图像处理装置以及图像处理方法制造方法及图纸

本发明专利技术提供了图像处理装置、图像处理方法以及程序。该图像处理装置包括关注区域检测单元、亮度视差转换单元以及视差估计单元。关注区域检测单元被配置为从基准图像中检测包括期望对象的关注区域。亮度视差转换单元被配置为基于使用过去帧进行估计的亮度视差转换特性来对关注区域执行亮度视差转换。视差估计单元被配置为基于基准图像与参考图像之间的相似性来进行视差估计，以及参考位置的视点位置不同于基准图像的视点位置，并且通过使用由亮度视差转换单元获得的亮度视差转换结果在关注区域内进行视差估计。

【技术实现步骤摘要】
图像处理装置以及图像处理方法相关申请的交叉引用本申请要求于2013年4月15日提交的日本优先专利申请JP2013-084669的权益，通过引用将其全部内容结合在此。
本公开涉及图像处理装置、图像处理方法以及程序，并且其可以从具有不同视点的多个图像中以高的准确度进行视差估计。
技术介绍
在相关技术中，为了显示3D图像等，获得了真实空间的三维信息。例如，日本专利申请特开公开第2001-103513号（在下文中，称之为专利文献1）公开了一种通过使用平方反比定律对距期望对象的距离进行估计的方法，平方反比定律涉及亮度，即从光源发射的光的亮度与距离平方成反比例下降。例如，在专利文献1中，当拍摄内脏器官图像时，如果图像中有亚甲基蓝，则该区域中的光吸收特性改变。对该区域进行检测，并且对图像的亮度成分值进行校正，由此来估计深度距离。此外，在日本专利申请特开公开第2012-065851号（在下文中，称之为专利文献2）中，使用了具有不同视点的多个摄取图像，以由此获得真实空间的三维信息。例如，获得左视点处拍摄图像与右视点处拍摄图像的视差的方法之一是使用基于动态编程的立体匹配的视差估计（在下文中，称之为“DP匹配视差估计”）。通常，在DP匹配视差估计中，基于像素或者块获得左视点处拍摄图像与右视点处拍摄图像之间对应点（或者对应区域）的匹配程度。并且对于作为整体的像素行或者块行，以匹配程度变成最佳（最大）的方式来估计视差。在该DP匹配视差估计中，像素或者块的视差被确定为使得整行变得最佳，所以，即使在图像中局部产生噪声，通常也能够对视差进行绝对的估计。此外，其还可以从专利文献2中估计的视差和诸如光线等相机参数来估计到对象的绝对距离。
技术实现思路
附带地,在专利文献1中，在拍摄图像中存在具有不同光吸收特性的对象的情况下，则难以对到对象的距离进行准确地估计。例如，当使用配备有双镜头相机的内窥镜系统时，外科场景图像显示为3D图像，通常，各种工具（诸如，镊子和纱布）、血、以及具有不同光吸收特性的器官混合在图像中。因此，应用有关于拍摄图像的亮度的平方反比定律难以对距离进行估计。此外，为了处理具有不同光吸收特性的多个对象，需要事先找出所有对象的亮度成分的校正系数。此外，在专利文献1中获得的估计值是表示景深程度并且并不表示绝对距离的值。此外，在专利文献2中，在对对应点（或者对应区域）的匹配程度进行确定的情况下，使用表示匹配程度的估计值。例如，对于估计值，使用预定区域块中像素的亮度值的绝对差总和（在下文中，称之为“SAD”）或者预定区域块中像素的亮度值的平方差总和（在下文中，称之为“SSD”）。因此，例如，在图像中亮度值变化较小的区域（没有图案的区域）中，任何位置均具有相似的估计值，因此，通常不产生对应误差。此外，还是在重复相同图案的区域中，具有相似图案的区域具有相似的估计值，所以，难以获得准确的对应点（或者区域）。鉴于上述情况，需要提供一种能够对具有不同视点的多个图像以高准确度的进行视差估计的图像处理装置、图像处理方法以及程序。根据本技术的第一实施方式，提供一种包括关注区域检测单元、亮度视差转换单元以及亮度视差转换单元的图像处理装置。关注区域检测单元被配置为从基准图像检测包括期望对象的关注区域。亮度视差转换单元被配置为基于通过使用过去帧估计出的亮度视差转换特性来对关注区域执行亮度视差转换。视差估计单元被配置为基于基准图像、参考图像以及不同于基准图像的视点位置来进行视差估计，并且使用由亮度视差转换单元获得的亮度视差转换结果在关注区域中进行视差估计。在本技术中，从基准图像中检测期望对象的区域作为关注区域的。此外，从过去帧的关注区域的视差估计结果和亮度值来估计亮度视差转换特性，并且对基于估计结果进行检测的关注区域进行亮度视差转换。根据至期望对象的深度距离对关注区域的亮度值进行校正，并且使用校正的亮度值来进行亮度视差转换。此外，在对亮度视差转换特性进行估计时，在根据深度距离进行校正的亮度值平方根与视差值成比例的假设下，来估计比例系数和截距。例如，基于过去帧中关注区域的最大亮度值、最小亮度值、最大视差值以及最小视差值来估计亮度视差转换特性。此外，可基于关注区域中亮度值的分布和亮度值的平均值来计算最大亮度值和最小亮度值，并且可基于关注区域中视差值的分布和视差值的平均值来计算最大视差值和最小视差值。此外，对基准图像与参考图像之间的相似性进行计算，并且基于计算的相似性来进行视差估计，参考图像的视点位置不同于基准图像的视点位置。在进行检测的关注区域时，使用亮度视差转换结果来计算相似性。例如，针对基准图像的各个视差估计目标位置以及成本值来设置第一匹配区域，并且成本值表示针对事先指定的各个视差值，第一匹配区域与参考图像中的对应于各个视差值的第二匹配区域之间的相似性。在进行检测的关注区域中，计算的成本值包括对应于指定视差值与通过亮度视差转换获得的视差值之间的差的成本值。在关注区域之外的区域中，计算成本值，没有获得差值。此外，在成本值中，包括对应于基准图像中视差估计目标位置的视差值与之前视差估计目标位置的视差值之间差的成本值。通过动态编程指定成本值变成具有最高相似性的最小值、按照这种方式计算的视差值，由此生成视差估计结果。此外，通过对基准图像的色差值和亮度值与预定阈值进行比较或者通过对基准图像进行纹理分析可检测关注区域。根据本技术的第二实施方式，提供一种图像处理方法，其中包括：从基准图像检测包括期望对象的关注区域；基于使用过去帧估计出的亮度视差转换特性来对关注区域执行亮度视差转换；基于基准图像、参考图像以及不同于基准图像的视点位置来进行视差估计；并且使用亮度视差转换结果在关注区域中进行视差估计。根据本技术的第三实施方式，提供一种程序，该程序使计算机执行以下操作：从基准图像检测包括期望对象的关注区域；基于使用过去帧估计的亮度视差转换特性来对关注区域执行亮度视差转换；基于基准图像、参考图像以及不同于基准图像的视点位置来进行视差估计；并且使用亮度视差转换结果在关注区域中进行视差估计。应当注意，根据本技术的程序是一种能够被提供给通用计算机的程序，通用计算机通过以可读计算机的形式提供的存储介质或者通信介质能够执行各种程序代码，例如，光盘、磁盘半导体内存等存储介质，以及诸如网络等通信介质。以可读计算机形式提供该程序，由此根据计算机上的程序来实现过程。根据本技术，对于从参考图像检测的关注区域，从过去帧的关注区域的亮度值和视差估计结果来确定亮度视差转换特性，并且基于估计结果来执行亮度视差转换。此外，基于基准图像与参考图像之间的相似性执行视差估计，其中参考图像的视点位置不同于基准图像的视点位置，并且对于关注区域，通过使用亮度视差转换结果来计算相似性。即，在关注区域中，不仅使用基准图像与参考图像之间的相似性，而且还使用亮度视差转换结果，以由此进行视差估计。因此，即使在关注区域是其中基于相似性难以进行视差估计的图像的情况下，也可以从具有不同视点位置的多个图像以高准确度进行视差估计。如附图所示，根据对最佳模式的实施方式的下列细节描述，本公开的这些目标和其他目标、特征以及优点将变得更为显而易见。附图说明图1A和图1B是各自示出了使用图像处理装置的图像处理系统的结构的实施例的示图；图2是本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：关注区域检测单元，所述关注区域检测单元被配置为从基准图像检测出包括期望对象的关注区域；亮度视差转换单元，所述亮度视差转换单元被配置为基于通过使用过去帧估计的亮度视差转换特性来对所述关注区域执行亮度视差转换；以及视差估计单元，所述视差估计单元被配置为基于所述基准图像和参考图像进行视差估计，并且通过使用由所述亮度视差转换单元获得的亮度视差转换结果在所述关注区域中进行所述视差估计，所述参考图像的视点位置不同于所述基准图像的视点位置。

【技术特征摘要】
2013.04.15 JP 2013-0846691.一种图像处理装置，包括：关注区域检测单元，所述关注区域检测单元被配置为从基准图像检测出包括期望对象的关注区域；亮度视差转换单元，所述亮度视差转换单元被配置为基于通过使用过去帧估计的亮度视差转换特性来对所述关注区域执行亮度视差转换，其中，过去帧的亮度视差转换特性是指过去帧的视差值与亮度值之间的比例关系；以及视差估计单元，所述视差估计单元被配置为基于所述基准图像和参考图像进行视差估计，并且通过使用由所述亮度视差转换单元获得的亮度视差转换结果在所述关注区域中进行所述视差估计，所述参考图像的视点位置不同于所述基准图像的视点位置。2.根据权利要求1所述的图像处理装置，其中：所述亮度视差转换单元通过使用所述关注区域的亮度值来执行所述亮度视差转换，所述关注区域的所述亮度值根据到所述期望对象的深度距离进行了校正。3.根据权利要求2所述的图像处理装置，其中：假设在所述亮度视差转换特性的估计中根据所述深度距离校正的所述亮度值的平方根与视差值成比例，所述亮度视差转换单元估计比例系数和截距。4.根据权利要求3所述的图像处理装置，其中：所述亮度视差转换单元基于所述过去帧的关注区域中的最大亮度值、最小亮度值、最大视差值以及最小视差值对所述亮度视差转换特性进行估计。5.根据权利要求4所述的图像处理装置，其中：所述亮度视差转换单元基于所述关注区域中的所述亮度值的分布和所述亮度值的平均值来计算所述最大亮度值和所述最小亮度值，并且基于所述关注区域中的所述视差值的分布和所述视差值的平均值来计算所述最大视差值和所述最小视差值。6.根据权利要求1所述的图像处理装置，其中：所述视差估计单元为所述基准图像的每个视差估计目标位置设置第一匹配区域；针对预先指定的每个像差值，计算表示所述第一匹配区域与所述参考图像中的对应于该像差值的第二匹配区域之间的相似性的成本值，并且针对每一行将使行的成本值的总和为最小的具有最高相似性的视差值设定为视差估计结果。7.根据权利要求6所述的图像处理装置，其中：在由所述关注区域检测单元所检测的所述关注区域中，所述视差估计单元使所述成本值包含对应于所指定的视差值与通过所述亮度视差转换单元进行亮度视差转换获得的视差值之间的差值的成本值。...

【专利技术属性】
技术研发人员：上森丈士，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP