图像处理设备、图像处理方法和程序技术

一种图像处理设备包括：图像获取部件，获取基础图像和参考图像，在所述基础图像和参考图像中，在彼此不同的水平位置绘制了相同的对象；和视差检测部件，基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从参考像素组中检测作为与构成基础图像的基础像素对应的像素的候选者的候选像素，其中所述第一参考像素构成参考图像以及所述第二参考像素的垂直位置不同于所述第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者、与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储该关联的候选者。

【技术实现步骤摘要】

本公开涉及一种图像处理设备、一种图像处理方法和程序。
技术介绍
已经使用了能够在不使用用于三维观看的特制眼镜的情况下而三维地显示图像的裸眼3D显示装置。该裸眼3D显示装置获得多幅图像，在所述多幅图像中在不同的水平位置绘制了相同的对象。然后，该裸眼3D显示装置将对象图像彼此进行比较，其中每一幅对象图像都是其中绘制了该对象的一部分图像，并且检测所述对象图像的水平位置中的不一致，即水平视差。随后，该裸眼3D显示装置基于检测到的水平视差和所述获得的图像产生多个多视角(mult1-view)图像，并三维显示这样的多视角图像。关于裸眼3D显示装置检测水平视差所使用的方法，已经使用日本专利N0.4410007中公开的整体匹配(globalmatching)。
技术实现思路
但是，在整体匹配中，如果在垂直方向上所述对象图像的位置彼此不一致(几何学上不一致)，则会出现视差检测的健壮度和精确度显著恶化的问题。因此，存在着对能够高健壮度和高精确度地检测水平视差的技术的需求。本公开的实施例针对一种图像处理设备，其包括:图像获取部件，获取基础图像和参考图像，在基础图像和参考图像中在彼此不同的水平位置绘制了相同的对象；以及视差检测部件，基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从该参考像素组中检测作为与构成基础图像的基础像素对应的对应像素的候选者的候选像素，其中第一参考像素构成所述参考图像并且第二参考像素的垂直位置不同于第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储该关联的候选者。本公开的另一实施例针对一种图像处理方法，其包括:犾取基础图像和参考图像，在基础图像和参考图像中在彼此不同的水平位置绘制了相同的对象；基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从该参考像素组中检测作为与构成基础图像的基础像素对应的对应像素的候选者的候选像素，其中第一参考像素构成所述参考图像并且第二参考像素的垂直位置不同于第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储该关联的候选者。本公开的再一实施例针对一种用于使计算机执行如下的程序:图像获取功能，获取基础图像和参考图像，在基础图像和参考图像中在彼此不同的水平位置绘制了相同的对象；以及视差检测功能，基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从该参考像素组中检测作为与构成基础图像的基础像素对应的对应像素的候选者的候选像素，其中第一参考像素构成所述参考图像并且第二参考像素的垂直位置不同于第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储该关联的候选者。在本公开的实施例中，从包括第一参考像素和第二参考像素的参考像素组中检测作为所述对应像素的候选者的候选像素，其中第一参考像素构成所述参考图像，而第二参考像素的垂直位置不同于第一参考像素的垂直位置。此外，在本公开的实施例中，在存储部件中存储垂直视差候选者，该垂直视差候选者指示从基础像素的垂直位置到候选像素的垂直位置的距离。如上所述，在本公开的实施例中，在垂直方向上执行对作为对应像素的候选者的候选像素的搜索，并且将作为所述搜索的结果的垂直视差候选者存储在存储部件中。如上所述，在本公开的实施例中，可以在参考图像的垂直方向中搜索候选像素，如此可以高健壮度和高精确度地检测水平视差。附图说明图1是示出使用该裸眼3D显示装置的处理的简要综述的流程图；图2A和2B是示出输入图像之间的颜色不一致的说明图；图3A和3B是示出输入图像之间的几何不一致的说明图；图4是不出广生视差图和多视角图像的情形的说明图；图5是示出根据本公开的实施例的图像处理设备的配置的框图；图6是示出第一视差检测部件的配置的框图；图7是示出垂直视差候选者存储表的例子的说明图；图8是示出路径建立部分的配置的说明图；图9是当执行视差匹配时使用的DP图；图10是示出估值部件的配置的框图；图11是示出神经网络处理部分的配置的框图；图12是示出使用边缘化处理部分的处理的说明图；图13是示出相对可靠性图的例子的说明图；图14是示出分类表的例子的说明图；图15是示出分类为类O的图像的例子的说明图；图16是示出分类为类4的图像的例子的说明图；图17是示出偏移对应表的例子的说明图；图18是示出视差检测的过程的流程图；以及图19是示出随着时间的推移而改善视差图的精确度的情形的说明图。具体实施例方式在下文中，参照附图，将详细描述本公开的优选实施例。此外，在本说明书和附图中，如果某些组件实际具有相同的功能结构，则用相同的参考数字和符号来表示该组件，并且将省略其重复的描述。另外，将按如下顺序进行描述。1.裸眼3D显示装置执行的处理的简要概述2.图像处理设备的配置3.使用图像处理设备的处理4.图像处理设备产生的优点〈1.裸眼3D显示装置执行的处理的简要概述>作为重复彻底地试验能够在不使用用于三维观看的特制眼镜的情况下而三维显示图像的裸眼3D显示装置的结果，本申请的专利技术者提出了一种根据本实施例的图像处理设备。这里，3D显示表示通过对于观众造成双目视差而三维显示图像。因此，首先，将参照图1中所示的流程图给出由包括图像处理设备的裸眼3D显示装置执行的处理的简要概述。在步骤SI中，该裸眼3D显示装置获得输入图像Vl和VK。图2A、2B和3A、3B示出输入图像 '和Vk的例子。此外，在本实施例中，将输入图像 '和Vk的左上角上的像素设置为原点，将水平方向设置为X轴，而将垂直方向设置为y轴。向右的方向是X轴的正方向，而向下的方向是y轴的正方向。每一像素具有坐标信息(x，y)和颜色信息(亮度，色度，色调)。在下文中，在输入图像\上的像素被称作“左侧像素”，而在输入图像Vr上的像素被称为“右侧像素”。此外，下面的描述将主要给出一个例子，其中将输入图像'设置为基础图像而将输入图像Vk设置为参考图像。但是，很明显可以将输入图像'设置为参考图像而将输入图像Vr设置为基础图像。如图2A、2B和3A、3B中所示,在输入图像'和Vk中在彼此不同的水平位置(x坐标)绘制了相同的对象(例如海、鱼和企鹅)。但是，如图2A和2B中所示，输入图像Vl和Vk之间存在颜色不一致。即，在输入图像\和输入图像Vk之间用不同的颜色来绘制所述对象。例如，对象图像'I和对象图像VrI示出相同的海，但是其颜色不同。另一方面，如图3A和3B中所示，输入图像Vl和Vk之间存在几何不一致。S卩，在不同的高度位置(y坐标)绘制了相同的对象。例如，对象图像'2和对象图像VK2 二者都示出企鹅，但是在对象图像'2的y坐标和对象图像Vr2的y坐标之间存在着差异。在图3A和3B中，为了便于理解所述几何不一致，绘制了直线LI。相应地，所述裸眼3D显示装置检测与这样的不一致相对应的视差。即，即使本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：图像获取部件，获取基础图像和参考图像，在所述基础图像和参考图像中，在彼此不同的水平位置绘制了相同的对象；以及视差检测部件，基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从该参考像素组中检测作为与构成基础图像的基础像素对应的对应像素的候选者的候选像素，其中所述第一参考像素构成参考图像以及所述第二参考像素的垂直位置不同于所述第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储所述关联的候选者。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：周藤泰广，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP