用于三维测量的方法、装置以及系统制造方法及图纸

本申请公开了一种三维测量方法以及用于实现该方法的装置和系统。该三维测量方法包括：提取来自三个相机的图像中的特征点；基于以下视差定比关系筛选匹配特征点组：对于同一物点，在第一和第二图像之间产生的、在第一方向上的第一视差d1与在第二和第三图像之间产生的、在第二方向上的第二视差d2满足d1:d2＝D1:D2，其中D1为第一相机的光心相对于第二相机的光心在第一方向上的偏移量，D2为第二相机的光心相对于第三相机的光心在第二方向上的偏移量；以及计算匹配特征点组对应的物点的三维坐标。根据本发明专利技术的三维测量方法可以有助于减小特征点匹配过程的计算量；此外，可以有助于提高特征点匹配的正确率和匹配率。

Methods, devices and systems for three-dimensional measurement

This application discloses a three-dimensional measurement method and devices and systems for realizing the method. The three-dimensional measurement method includes: extracting feature points from images of three cameras; screening matching feature points based on parallax ratio relations as follows: for the same object point, the first parallax D1 generated between the first and second images in the first direction and the second parallax D2 generated between the second and third images in the second direction satisfy d1:d2=D1:D2, where D1 is The offset of the center of light of the first camera relative to the center of light of the second camera in the first direction, the offset of the center of light of the second camera relative to the center of light of the third camera in the second direction, and the calculation of the three-dimensional coordinates of the object points corresponding to the matching feature points group. The three-dimensional measurement method according to the present invention can help to reduce the computational complexity of the feature point matching process, and can also help to improve the accuracy and matching rate of the feature point matching.

【技术实现步骤摘要】
用于三维测量的方法、装置以及系统
本专利技术总体上涉及用于三维测量的方法、装置以及系统，具体而言，涉及基于计算机视觉技术的三维测量方法、装置和系统。
技术介绍
基于计算机视觉的三维测量以及在三维测量基础上实现的三维重构在工业，安全，交通，娱乐方面都有广泛应用。工业机器人感知现实世界并进行决策需要三维的空间信息。安全监控加入三维场景可提高目标识别准确度。汽车自动驾驶、无人机等需要实时感知周围物体的位置。建筑物复原、文物复原等需要对建筑物、文物进行三维重构，特别是需要基于高密度的真彩色点云实现的三维重构。此外，三维重构形成的人物形象广泛应用于电影、动漫、游戏产业。至少部分地基于三维重构而形成的三维虚拟角色也广泛应用于VR、AR产业。基于双目相机的三维重构已发展数十年，但复原出高正确率的真彩色三维点云并非易事。具体来说，基于双目相机的三维重构通过计算双目图像中对应于同一物点的像点之间的位置偏差来恢复物体的三维坐标信息，其核心在于选取图像中的特征点，以及寻找/筛选不同图像上可能对应同一物点的特征点组(即特征点匹配)。目前用于筛选匹配特征点组的方法例如有：1)计算不同图像待匹配对应点之间像素灰度差的平方和(SSD,sumofsquareddifference)，寻找最小值；2)计算不同图像待匹配对应点之间过零平均像素灰度差的平方和(ZSSD,zeromeansumofsquareddifferences)，寻找最小值；3)计算不同图像待匹配对应点之间像素灰度差的绝对值和(SAD,sumofabsolutedifference)，寻找最小值；以及4)计算不同图像待匹配对应点之间过零平均像素灰度差的绝对值和(ZSAD,zeromeansumofsquareddifferences)，寻找最小值。5)计算不同图像待匹配对应点邻域之间归一化交叉相关(NCC,Normalizationcrosscorrelation)，寻找最大值；6)计算不同图像待匹配对应点邻域之间过零平均归一化交叉相关(ZNCC,zero-meannormalizedcrosscorrelation)，寻找最大值。以上筛选匹配特征点组的方法的一个共同特点是搜索一幅图像上的哪个特征点与另一幅图像上的待匹配特征点最相似，其存在的一个问题是在对复杂场景的图像的处理中匹配错误率往往很高。如在周期性结构的图像中，不属于同一物体或同一周期极次上的两个像点，很可能其邻域的归一化交叉相关最大，或像素差异最小，而真正的对应点组合可能处在归一化交叉相关值次大或像素差异次小的位置。当没有其他维度来检验匹配是否有效，则该种匹配错误会一直存在并传递。上述现有的筛选匹配特征点组的方法的另一问题在于其计算量非常大，从而造成处理时间过长以及/或者所需的计算设备难以小型化、成本高等问题。
技术实现思路
本专利技术的目的是提供一种三维测量方法以及用于实现该方法的装置和系统，其至少部分地解决了现有技术中存在的上述问题。根据本专利技术的一个方面，提供一种基于视差定比关系的三维测量方法，该方法包括：接收分别来自第一相机、第二相机和第三相机的第一图像、第二图像和第三图像，第一相机、第二相机和第三相机具有相同的焦距以及彼此平行的光轴，并且第一相机、第二相机和第三相机的光心布置在垂直于光轴的同一平面上；分别在所述第一图像、第二图像和第三图像中提取特征点；对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括基于以下视差定比关系筛选匹配特征点组：对于同一物点，在第一图像和第二图像之间产生的、在第一方向上的第一视差d1与在第二图像和第三图像之间产生的、在第二方向上的第二视差d2满足d1:d2＝D1:D2，其中D1为第一相机的光心相对于第二相机的光心在所述第一方向上的偏移量，D2为第二相机的光心相对于第三相机的光心在所述第二方向上的偏移量，其中第一方向为平行于所述平面且非垂直于第一相机和第二相机的光心连线的方向，第二方向为平行于所述平面且非垂直于第二相机和第三相机的光心连线的方向；以及计算匹配特征点组对应的物点的三维坐标。根据本专利技术的另一个方面，提供一种三维测量装置，其包括：处理器；和存储程序指令的存储器，其中当所述程序指令由所述处理器执行时，使得所述处理器执行下列操作：接收第一图像、第二图像和第三图像；分别在第一图像、第二图像和第三图像中提取特征点；对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值与第二图像中的所述特征点的横坐标与第三图像中的特征点的横坐标的差值成预定比例关系，并且第一图像和第三图像中的所述特征点具有相同的纵坐标；以及计算匹配特征点组对应的物点的三维坐标。根据本专利技术的又一个方面，提供一种三维测量装置，用于与相机阵列配合使用以进行三维测量。所述相机阵列至少包括第一相机、第二相机和第三相机，所述第一相机、第二相机和第三相机具有相同的焦距以及彼此平行的光轴，并且第一相机、第二相机和第三相机的光心布置在垂直于光轴的同一平面上。所述三维测量装置包括处理单元，其接收分别来自第一相机、第二相机和第三相机的第一图像、第二图像和第三图像，并被配置为进行以下处理：分别在所述第一图像、第二图像和第三图像中提取特征点；对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括基于以下视差定比关系筛选匹配特征点组：对于同一物点，在第一图像和第二图像之间产生的、在第一方向上的第一视差d1与在第二图像和第三图像之间产生的、在第二方向上的第二视差d2满足d1:d2＝D1:D2，其中D1为第一相机的光心相对于第二相机的光心在所述第一方向上的偏移量，D2为第二相机的光心相对于第三相机的光心在所述第二方向上的偏移量，其中第一方向为平行于所述平面且非垂直于第一相机和第二相机的光心连线的方向，第二方向为平行于所述平面且非垂直于第二相机和第三相机的光心连线的方向；以及计算匹配特征点组对应的物点的三维坐标。根据本专利技术又一个方面，提供一种基于视差定比关系的三维测量系统，该系统包括：相机阵列以及上述任何一种三维测量装置，所述相机阵列至少包括第一相机、第二相机和第三相机，所述第一相机、第二相机和第三相机具有相同的焦距以及彼此平行的光轴，并且第一相机、第二相机和第三相机的光心布置在垂直于光轴的同一平面上。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1A、图1B和图1C示出双目视差与相机光心相对位置的关系；图2示出设置在垂直于光轴的同一平面上的相机的视差定比关系；图3示出本专利技术的三维测量系统的一个示例的示意性结构框图；图4示出本专利技术的三维测量方法的示意性总流程图；图5示出可与根据本专利技术第一实施例的三维测量方法结合使用的相机阵列的示例；图6A、图6B和图6C示出图5所示相机之间的视差定比关系。图7示意性地示出图5所示相机阵列获得的图像的示例并图解了像点的坐标差值；图8示出根据本专利技术第一实施例的三维测量方法的示意性流程图；图9示出可用于根据本专利技术第一实施例的三维测量方法的筛选特征点组的处理的一个示例；图10示意性地对比了基于相似性计算的特征点匹配和根据本专利技术第一实施本文档来自技高网...

【技术保护点】
1.一种基于视差定比关系的三维测量方法，包括：接收分别来自第一相机、第二相机和第三相机的第一图像、第二图像和第三图像，第一相机、第二相机和第三相机具有相同的焦距以及彼此平行的光轴，并且第一相机、第二相机和第三相机的光心布置在垂直于光轴的同一平面上；分别在所述第一图像、第二图像和第三图像中提取特征点；对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括基于以下视差定比关系筛选匹配特征点组：对于同一物点，在第一图像和第二图像之间产生的、在第一方向上的第一视差d1与在第二图像和第三图像之间产生的、在第二方向上的第二视差d2满足d1:d2＝D1:D2，其中D1为第一相机的光心相对于第二相机的光心在所述第一方向上的偏移量，D2为第二相机的光心相对于第三相机的光心在所述第二方向上的偏移量，其中第一方向为平行于所述平面且非垂直于第一相机和第二相机的光心连线的方向，第二方向为平行于所述平面且非垂直于第二相机和第三相机的光心连线的方向；以及计算匹配特征点组对应的物点的三维坐标。

【技术特征摘要】
1.一种基于视差定比关系的三维测量方法，包括：接收分别来自第一相机、第二相机和第三相机的第一图像、第二图像和第三图像，第一相机、第二相机和第三相机具有相同的焦距以及彼此平行的光轴，并且第一相机、第二相机和第三相机的光心布置在垂直于光轴的同一平面上；分别在所述第一图像、第二图像和第三图像中提取特征点；对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括基于以下视差定比关系筛选匹配特征点组：对于同一物点，在第一图像和第二图像之间产生的、在第一方向上的第一视差d1与在第二图像和第三图像之间产生的、在第二方向上的第二视差d2满足d1:d2＝D1:D2，其中D1为第一相机的光心相对于第二相机的光心在所述第一方向上的偏移量，D2为第二相机的光心相对于第三相机的光心在所述第二方向上的偏移量，其中第一方向为平行于所述平面且非垂直于第一相机和第二相机的光心连线的方向，第二方向为平行于所述平面且非垂直于第二相机和第三相机的光心连线的方向；以及计算匹配特征点组对应的物点的三维坐标。2.如权利要求1所述的三维测量方法，其中，所述第一方向为第一相机和第二相机的光心连线方向，第二方向为第二相机和第三相机光心连线方向。3.如权利要求1所述的三维测量方法，其中，所述第一相机、第二相机和第三相机的光心依次布置在垂直于光轴的一条直线上，所述第一方向和第二方向为所述直线的方向；并且所述基于所述视差定比关系筛选匹配特征点组的处理包括：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值s1与第二图像中的所述特征点的横坐标与第三图像中的特征点的横坐标的差值s2满足s1:s2＝D1:D2，并且第一图像、第二图像和第三图像中的所述特征点具有相同的纵坐标，所述横坐标的方向对应于所述直线的方向。4.如权利要求3所述的三维测量方法，还包括：对第一图像、第二图像和第三图像进行校正处理，使得第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向都对应于所述直线的方向。5.如权利要求3所述的三维测量方法，其中，所述基于所述坐标关系筛选匹配特征点组的处理包括：在第一图像、第二图像和第三图像中的两者中分别选定第一特征点和第二特征点，所述第一特征点和第二特征点的纵坐标满足相对于一目标纵坐标位于预定范围内；计算第一图像、第二图像和第三图像中的第三者中与所述第一特征点和第二特征点匹配的第三特征点的期待横坐标，使得所述差值s1与所述差值s2满足s1:s2＝D1:D2；以及基于由第三特征点的期待横坐标和目标纵坐标构成的期待位置，在所述第三者中搜索第三特征点。6.如权利要求5所述的三维测量方法，其中，在第一图像、第二图像和第三图像中的两者中分别选定纵坐标为所述目标纵坐标的第一特征点和第二特征点。7.如权利要求5所述的三维测量方法，其中，所述基于所述期待位置搜索第三特征点的处理还包括：设定容差范围，该容差范围包括横坐标容差范围和纵坐标容差范围中的至少一者；以及在第一图像、第二图像和第三图像中的所述第三者中，在相对于所述期待位置位于所述容差范围内的区域内，搜索第三特征点。8.如权利要求5所述的三维测量方法，其中，所述基于所述坐标关系筛选匹配特征点组的处理还包括：计算第一图像、第二图像和第三图像中纵坐标相对于所述目标纵坐标位于预定范围内的特征点的数量；以及确定第一图像、第二图像和第三图像中的所述第三者为第一图像、第二图像和第三图像中具有给定纵坐标的特征点的数量最多的一者。9.如权利要求5所述的三维测量方法，其中，D1:D2＝1:1，并且所述计算第三特征点的期待横坐标的处理包括：计算所述期待横坐标，使得第一图像中的特征点与第三图像中的特征点的横坐标之和为第二图像中的特征点的横坐标的两倍。10.如权利要求2所述的三维测量方法，其中，第一相机和第二相机的光心布置在垂直于光轴的第一直线上，第二相机和第三相机的光心布置在垂直于光轴且垂直于所述第一直线的第二直线上，所述第一方向为第一直线的方向，所述第二方向为第二直线的方向；并且所述基于所述视差定比关系筛选匹配特征点组的处理包括：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值s3与第二图像中的所述特征点的纵坐标与第三图像中的特征点的纵坐标的差值s4满足s3:s4＝D1:D2，第一图像和第二图像的所述特征点具有相同的纵坐标，第二图像和第三图像的所述特征点具有相同的横坐标，所述横坐标的方向对应于所述第一方向，所述纵坐标的方向对应于所述第二方向。11.如权利要求10所述的三维测量方法，还包括：对第一图像、第二图像和第三图像的校正处理，该校正处理使得第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向对应于第一方向，纵坐标方向对应于第二方向。12.如权利要求10所述的三维测量方法，其中，所述基于所述坐标关系筛选匹配特征点组的处理包括：在第一图像和第二图像中分别选定第一特征点和第二特征点，所述第一特征点和第二特征点的纵坐标满足相对于一目标纵坐标位于预定范围内；计算第一特征点的横坐标与第二特征点的横坐标的差值s3；计算差值s4，使得s3:s4＝D1:D2；计算第三图像中与所述第一特征点和第二特征点匹配的第三特征点的期待纵坐标，使得第二特征点的纵坐标与第三特征点的期待纵坐标的差值为上述计算得到的第二差值s4；并且基于由所述第三特征点的期待纵坐标和第二特征点的横坐标构成的期待位置，在第三图像中搜索第三特征点。13.如权利要求12所述的三维测量方法，其中，所述基于所述期待位置搜索第三特征点的处理还包括：设定容差范围；以及在第三图像中，在相对于所述期待位置位于所述容差范围内的区域内，搜索第三特征点。14.如权利要求2所述的三维测量方法，其中，所述第一方向和第二方向均为第一相机和第三相机的光心连线方向。15.如权利要求14所述的三维测量方法，其中，所述基于所述视差定比关系筛选匹配特征点组的处理包括：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值s5与第二图像中的所述特征点的横坐标与第三图像中的特征点的横坐标的差值s6满足s5:s6＝D1:D2，第一图像和第三图像中的所述特征点具有相同的纵坐标，所述横坐标的方向对应于所述第一相机和第三相机的光心连线方向。16.如权利要求15所述的三维测量方法，还包括：对第一图像、第二图像和第三图像进行校正处理，使得第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向都对应于第一相机和第三相机的光心连线的方向。17.如权利要求15所述的三维测量方法，其中，所述基于所述坐标关系筛选匹配特征点组的处理包括：在第一图像和第三图像中分别选定第一特征点和第二特征点，第二特征点的纵坐标相对于第一特征点的纵坐标在预定范围内；计算第二图像中与第一特征点和第二特征点满足s5:s6＝D1:D2关系的第三特征点的期待横坐标；以及基于期待横坐标，在第二图像中搜索第三特征点。18.如权利要求1所述的三维测量方法，其中，所述对第一图像、第二图像和第三图像中的特征点进行匹配的处理还包括：对基于所述视差定比关系筛选出来的匹配特征点组，施用对像素或邻域像素群的相似性计算以进一步筛选匹配特征点组。19.如权利要求18所述的三维测量方法，其中，所述相似性计算仅施用于包含有相同特征点的两个以上特征点组。20.如权利要求1所述的三维测量方法，其中，所述对第一图像、第二图像和第三图像中的特征点进行匹配还包括：对特征点或其邻域像素群施用相似性计算以筛选匹配特征点组；并且所述基于所述视差定比关系筛选匹配特征点组的处理被施用于通过相似性计算筛选出来的匹配特征点组。21.如权利要求18-20中任一项所述的三维测量方法，其中，所述相似性计算包括对由像素灰度差的平方和、过零平均像素灰度差的平方和、像素灰度差的绝对值和、过零平均像素灰度差的绝对值和、邻域之间归一化交叉相关度、以及过零平均归一化交叉相关度构成的组中的至少一项的计算。22.如权利要求1所述的三维测量方法，还包括：基于第一图像、第二图像和第三图像生成校正矩阵，该校正矩阵用于被施用于以后接收的来自第一相机、第二相机和第三相机的图像，所述生成校正矩阵的处理包括：分别在所述第一图像、第二图像和第三图像中提取特征点；对第一图像、第二图像和第三图像中的特征点进行匹配，获得多个匹配特征点组；利用匹配特征点组中特征点在各图像中的坐标，根据校正矩阵被施用于各个图像之后匹配特征点组中的特征点之间满足的所述视差定比关系，建立超定方程组；以及解算所述超定方程组，得到校正矩阵。23.如权利要求1所述的三维测量方法，其中，所述基于匹配特征点组计算各个特征点组所对应的物点的三维坐标包括：基于一个匹配特征点组中的至少两对特征点计算深度值，并取所述深度值的平均值作为该匹配特征点组所对应的物点的深度值。24.如权利要求1所述的三维测量方法，还包括：以所述第一相机、第二相机和第三相机的工作波长范围内的波长的光向所述相机的拍摄区域投射图案。25.如权利要求24所述的三维测量方法，其中，所述图案包含条纹，所述条纹的方向与第一相机、第二相机和第三相机中至少两者的光心连线不平行。26.一种三维测量装置，包括：处理器；和存储程序指令的存储器，其中当所述程序指令由所述处理器执行时，使得所述处理器执行下列操作：接收第一图像、第二图像和第三图像；分别在第一图像、第二图像和第三图像中提取特征点；对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值与第二图像中的所述特征点的横坐标与第三图像中的特征点的横坐标的差值成预定比例关系，并且第一图像和第三图像中的所述特征点具有相同的纵坐标；以及计算匹配特征点组对应的物点的三维坐标。27.如权利要求26所述的三维测量装置，其中，所述坐标关系还包括：第二图像中的所述特征点具有与第一图像和第三图像中的所述特征点相同的纵坐标。28.如权利要求27所述的三维测量装置，其中，所述程序指令在被执行时使得所述处理...

【专利技术属性】
技术研发人员：黄正宇，周炜，
申请(专利权)人：蒋晶，
类型：发明
国别省市：北京,11