深度数据测量设备、方法及图像匹配方法组成比例

本发明专利技术公开了一种深度数据测量设备、方法及图像匹配方法。所述设备包括：第一和第二结构光投射装置，用于向拍摄空间投射第一和第二编码结构光；成像单元，用于进行拍摄；以及处理器，用于控制第一和第二结构光投射装置分别以及同时向拍摄空间投射编码结构光，控制成像单元拍摄在由第一和第二结构光各自照射下的第一和第二图案二维图像，以及由第一和第二结构光共同照射下的合成图案二维图像，并且基于拍摄的图像确定拍摄对象的深度数据。本发明专利技术通过同时利用多个结构光投射装置轮流投射各自的结构光、共同投射结构光，能以最少的投射装置实现更多的图案投射，由此提升了图像的获取精度，例如，实现更小的窗口匹配。实现更小的窗口匹配。实现更小的窗口匹配。

【技术实现步骤摘要】
深度数据测量设备、方法及图像匹配方法


[0001]本专利技术涉及深度成像，尤其涉及一种深度数据测量设备、方法及图像匹配方法。

技术介绍

[0002]近年来，三维成像技术得到蓬勃发展。目前，一种基于结构光的深度测量方案能够实时地对物体表面进行三维测量。简单地说，该方案首先向自然体表面投射带有编码信息的二维激光纹理图案，例如离散化的散斑图。在双目实现中，由位置相对固定的两个图像采集装置对激光纹理进行连续采集，处理单元使用采样窗口对两个图像采集装置同时采集的两幅图像进行采样，确定采样窗口内匹配的激光纹理图案，根据匹配的纹理图案之间的差异，计算出投射在自然体表面的各个激光纹理序列片段的纵深距离，并进一步测量得出待测物表面的三维数据。
[0003]在匹配处理中，采样窗口越大，单次采样中包含的图案信息量也越大，因此也越容易进行匹配，但会导致得到的深度图像颗粒度越大。相应地，采样窗口越小，图像的颗粒度越精细，但误匹配率也越大。
[0004]随着消费级三维相机时代的到来，如何以更低成本、更高精度以及更小体积实现三维信息，尤其是深度信息的精确获取，成为业内所面临的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种深度数据测量设备、方法及图像匹配方法，其通过同时利用多个结构光投射装置轮流投射各自的结构光、共同投射结构光，从而能以最少的结构光投射装置获取更多的结构光图案，由此提升了图像的获取精度。
[0006]根据本专利技术的第一个方面，提供了一种深度数据测量设备，包括：第一结构光投射装置，用于向拍摄空间投射第一编码结构光；第二结构光投射装置，用于向拍摄空间投射第二编码结构光；与第一和第二结构光投射装置相对固定的成像单元，用于对所述拍摄空间进行拍摄以获得在所述结构光照射下的拍摄对象的二维图像；以及处理器用于控制第一和第二结构光投射装置分别向拍摄空间投射编码结构光，以及第一和第二结构光投射装置同时向拍摄空间投射编码结构光，控制所述成像单元拍摄在由第一和第二编码结构光照射下所述拍摄对象的第一图案二维图像和第二图案二维图像，以及由第一和第二编码结构光合成的编码结构光照射下所述拍摄对象的合成图案二维图像，并且基于拍摄的所述第一图案二维图像、第二图案二维图像和所述合成图案二维图像，确定所述拍摄对象的深度数据。
[0007]根据本专利技术的第二个方面，提供了一种图像匹配方法，包括：控制第一结构光投射装置和第二结构光投射装置在不同时刻向拍摄空间投射第一编码结构光、第二编码结构光以及同时投射第一和第二编码结构光；获取第一成像装置和第二成像装置对投射在相同拍摄空间内的三种编码结构光进行拍摄分别得到的三组图像，所述第一成像装置和所述第二成像装置之间具有预定的相对位置关系，各组图像中由所述第一成像装置拍摄的图像为第一图像，由所述第二成像装置拍摄的图像为第二图像；对于各组图像，分别以相同的匹配窗
口大小求取同组的所述第一图像和所述第二图像间各窗口匹配的置信度；基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口。
[0008]根据本专利技术的第三个方面，提供了一种深度数据测量方法，包括：向相同的拍摄空间投射至少三种编码结构光，其中的至少一种编码结构光是两个或以上结构光投射装置同时投射合成的编码结构光；使用第一成像装置和第二成像装置对投射在相同拍摄空间内的至少三种编码结构光进行拍摄，分别得到各自包括第一图像和第二图像的至少三组图像，所述第一成像装置和所述第二成像装置之间具有预定的相对位置关系；通过根据本专利技术第二方面所述的方法，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口；根据彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定所述第一图像像素的深度数据。
[0009]根据本专利技术的第四个方面，提供了一种深度数据测量方法，包括：以预定的工作周期向相同的拍摄空间重复投射至少三种编码结构光，其中的至少一种编码结构光是两个或以上结构光投射装置同时投射合成的编码结构光；使用第一成像装置和第二成像装置对每个工作周期内投射在相同拍摄空间内的至少三种编码结构光中的每一种进行拍摄，分别得到对应于相应工作周期的各自包括第一图像和第二图像的至少三组图像，所述第一成像装置和所述第二成像装置之间具有预定的相对位置关系；通过根据本专利技术第二方面所述的方法，确定相应工作周期内的每组图像中所述第一图像和所述第二图像间彼此匹配的窗口；根据相应工作周期内彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定相应工作周期内所述第一图像像素的深度数据。
[0010]本专利技术通过针对相同拍摄对象投射不同的编码结构光并分别进行双目成像，针对每种编码结构光以相同的窗口大小来进行窗口匹配的置信度计算，通过综合考虑相同位置的窗口在每种编码结构光下的置信度，来确定最终匹配的窗口。由此，通过引入多组图像来提升小窗口的置信度，从而实现更为精确且清晰的深度信息求取。
附图说明
[0011]通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
[0012]图1是本公开的深度数据测量设备的示意图。
[0013]图2示出了根据本专利技术一个实施例的深度数据测量设备的测量头的一个例子。
[0014]图3示出了两个结构光投射装置向相同拍摄空间内的待测对象投射三种不同的编码结构光的一个例子。
[0015]图4示出了两个结构光投射装置向相同拍摄空间内的待测对象投射三种不同的编码结构光的另一个例子。
[0016]图5示出了根据本专利技术的图像匹配方法的示例性流程图。
[0017]图6示出了根据本专利技术的深度数据测量方法的示例性流程图。
具体实施方式
[0018]下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0019]图像匹配是在双目立体视觉的景深(在下文中也称为“深度数据”)提取中非常重要的一个步骤。此步骤的目标是找出图像的每个像素点在另一个视角的图像上的对应的像素点，算出视差图像，估算出景深图像，即在其每个像素点处标明了对应的深度数据。
[0020]局部立体匹配算法可用于进行图像匹配，其基本原理是给定在一幅图像上的某一点，选取该像素点邻域内的一个子窗口，在另一幅图像中的一个区域内的所有可能位置，根据某种相似性判断依据，寻找与子窗口图像最为相似的子图，其匹配的子图中对应的像素点即为该像素的匹配点。该算法计算量小，适于实时运行。
[0021]在实际的窗口选择中，如果窗口较大，其所包含的信息也较多，因此容易进行匹配，但颗粒度较大；如果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度数据测量设备，包括：第一结构光投射装置，用于向拍摄空间投射第一编码结构光；第二结构光投射装置，用于向拍摄空间投射第二编码结构光；与第一和第二结构光投射装置相对固定的成像单元，用于对所述拍摄空间进行拍摄以获得在结构光照射下的拍摄对象的二维图像；以及处理器，用于控制第一和第二结构光投射装置分别向拍摄空间投射编码结构光，以及控制第一和第二结构光投射装置同时向拍摄空间投射编码结构光，控制所述成像单元分别拍摄在由第一和第二编码结构光照射下所述拍摄对象的第一图案二维图像和第二图案二维图像，以及由第一和第二编码结构光合成的编码结构光照射下所述拍摄对象的合成图案二维图像，并且基于拍摄的所述第一图案二维图像、第二图案二维图像和所述合成图案二维图像，确定所述拍摄对象的深度数据。2.如权利要求1所述的深度数据测量设备，其中，所述成像单元包括：第一成像装置和第二成像装置，用于对投射在相同拍摄空间内的编码结构光进行拍摄，分别得到投射结构光照射下的拍摄对象的第一图像和第二图像，所述第一成像装置和所述第二成像装置之间具有预定相对位置关系，并且所述处理器用于控制所述第一成像装置和第二成像装置在第一结构光投射装置单独投射、第二结构光投射装置单独投射以及第一和第一结构光投射装置共同投射结构光时，拍摄各自包括第一和第二图像的三组图像。3.如权利要求2所述的深度数据测量设备，其中，处理器用于：获取每组图像中的所述第一图像和所述第二图像，对于各组图像，分别以相同的匹配窗口大小求取同组的所述第一图像和所述第二图像间各窗口匹配的置信度，基于每组图像中所述第一图像和所述第二图像间各窗口匹配的置信度，确定每组图像中所述第一图像和所述第二图像间彼此匹配的窗口，并且根据彼此匹配的窗口中第一图像像素和第二图像像素之间的位置差异，以及所述预定的相对位置关系，确定所述第一图像像素的深度数据。4.根据权利要求1所述的深度数据测量设备，其中，所述深度数据测量设备以预定的工作周期重复第一结构光投射装置单独投射结构光、第二结构光投射装置单独投射结构光以及第一和第一结构光投射装置共同投射结构光。5.根据权利要求1所述的深度数据测量设备，还包括：第三结构光投射装置，用于向拍摄空间投射第三编码结构光，并且处理器用于：控制第三结构光投射装置单独、与第一和/或第二结构光投射装置共同投射编码结构光。6.根据权利要求1所述的深度数据测量设备，其中，第一和第二结构光投射装置投射具有不同图案的第一和第二编码结构光。7.根据权利要求1所述的深度数据测量设备，其中，第一和第二结构光投射装置投射具有图案相同且角度有偏转的第一和第二编码结构光。8.一种图像匹配方法，包括：
控制第一结构光投射装置和第二结构光投射装置在不同时刻向拍摄空间投射第一编码结构光、第二编码结构光...

【专利技术属性】
技术研发人员：王敏捷，梁雨时，
申请(专利权)人：上海图漾信息科技有限公司，
类型：发明
国别省市：