一种基于三维重建与点云匹配的定位方法和装置制造方法及图纸

本发明专利技术涉及一种基于三维重建与点云匹配的定位方法和装置，方法包括获取相机从不同角度拍摄的若干张包含目标物体的场景图像，场景中包括至少一个已知尺寸的二维码；根据目标物体实际大小，制作目标3D模型；对场景图像进行三维重建，得到场景的稠密点云，并得到稠密点云中三维点信息与场景图像中的像素点的对应关系；检测图像中二维码的角点，并根据对应关系获取角点在稠密点云中的三维点坐标，结合二维码的实际尺寸，更新稠密点云的尺度；从场景的稠密点云中分割出目标物体的稠密点云，并通过配准算法计算目标3D模型与目标物体的稠密点云的相对位姿；根据相对位姿，对目标3D模型进行位姿变换替换目标物体的稠密点云，并提取此时目标3D模型的任意点的坐标为真实物体坐标。与现有技术相比，本发明专利技术具有精度高、灵活性强等优点。强等优点。强等优点。

【技术实现步骤摘要】
一种基于三维重建与点云匹配的定位方法和装置


[0001]本专利技术涉及计算机视觉领域，尤其是涉及一种基于三维重建与点云匹配的定位方法和装置。

技术介绍

[0002]在很多场合下，在一个静态场景中，我们需要知道某个物体的准确位姿信息，即在空间中的坐标和方向，或者多个目标物体的相对位姿。比如一片建筑群中某两个建筑物准确的相对位姿，或者带有辐射的危险场景中某台工作设备的位置。这些场景的有一个共同点，受环境的制约，我们感兴趣的目标物体很难通过手动进行测量，无法得到准确的目标物体位置信息。

技术实现思路

[0003]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于三维重建与点云匹配的定位方法和装置。
[0004]本专利技术的目的可以通过以下技术方案来实现：
[0005]一种基于三维重建与点云匹配的定位方法，包括以下步骤：
[0006]S1、获取相机从不同角度拍摄的若干张包含目标物体的场景图像，场景中包括至少一个已知尺寸的二维码；
[0007]S2、根据目标物体实际大小，制作目标3D模型；
[0008]S3、对场景图像进行三维重建，得到场景的稠密点云，并得到稠密点云中三维点信息与场景图像中的像素点的对应关系；
[0009]S4、检测图像中二维码的角点，并根据对应关系获取角点在稠密点云中的三维点坐标，结合二维码的实际尺寸，更新稠密点云的尺度；
[0010]S5、从场景的稠密点云中分割出目标物体的稠密点云，并通过配准算法计算目标3D模型与目标物体的稠密点云的相对位姿；
[0011]S6、根据相对位姿，对目标3D模型进行位姿变换替换目标物体的稠密点云，并提取此时目标3D模型的坐标为真实物体坐标。
[0012]进一步地，所述三维重建包括以下步骤：
[0013]SS1、提取所有场景图像的特征点坐标，匹配所有场景图像之间的特征点；
[0014]SS2、使用对极几何算法计算相机位姿并根据相机位姿计算出特征点对应的三维点的坐标；
[0015]SS3、构建投影误差方程，通过光束平差法优化相机位姿和三维点的坐标；
[0016]SS4、输入优化后的相机位姿和整体图像，获取场景的稠密点云，并得到稠密点云中三维点信息与场景图像中的像素点的对应关系。
[0017]进一步地，所述三维点信息包括三维点ID、坐标、颜色、误差、对应的图像ID和对应的像素点ID。
[0018]进一步地，步骤SS1中所述特征点的类别包括FAST角点、SIFT角点、ORB角点和Harris角点。
[0019]进一步地，在匹配所有图像之间的特征点后，使用随机抽样一致性法去除错误的匹配对。
[0020]进一步地，步骤S4中获取二维码的角点在稠密点云中的三维坐标具体步骤如下：
[0021]A1、对场景图像进行预处理；
[0022]A2、使用二维码识别工具检测场景图像中的二维码并得到其角点坐标，根据步骤S4中得到的稠密点云中三维点信息与场景图像中的像素点的对应关系，得到二维码在稠密点云中的三维点坐标。
[0023]进一步地，所述预处理步骤包括：对图像进行二值化和滤波，并提取图像中四边形区域。
[0024]进一步地，步骤S5中所述相对位姿计算方法如下：
[0025]构建误差函数，通过ICP算法不断迭代计算，当误差函数最小时，输出此时相对位姿。
[0026]进一步地，所述误差函数f(R,T)的计算表达式如下：
[0027][0028]式中，p
i
表示目标3D模型中的所有点坐标，q
i
表示目标物体的稠密点云的三维点坐标，R，T表示相对位姿矩阵，m表示三维点的数量。
[0029]一种基于三维重建与点云匹配的定位装置，其特征在于，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现以下方法：
[0030]S1、获取相机从不同角度拍摄的若干张包含目标物体的场景图像，场景中包括至少一个已知尺寸的二维码；
[0031]S2、根据目标物体实际大小，制作目标3D模型；
[0032]S3、对场景图像进行三维重建，得到场景的稠密点云，并得到稠密点云中三维点信息与场景图像中的像素点的对应关系；
[0033]S4、检测图像中二维码的角点，并根据对应关系获取角点在稠密点云中的三维点坐标，结合二维码的实际尺寸，更新稠密点云的尺度；
[0034]S5、从场景的稠密点云中分割出目标物体的稠密点云，并通过配准算法计算目标3D模型与目标物体的稠密点云的相对位姿；
[0035]S6、根据相对位姿，对目标3D模型进行位姿变换替换目标物体的稠密点云，并提取此时目标3D模型的坐标为真实物体坐标。
[0036]1、本专利技术通过对场景内目标物体进行三维重建并点云匹配的方式，获取目标物体的定位信息，解决了人工难以测量定位信息的问题，且可对任意物体进行测量，提高了精确度，灵活性强；同时结合了目标3D模型和二维码，进一步优化了点云，确保了准确性。
[0037]2、本专利技术构建误差函数通过迭代计算的方式计算得到相对位姿，提高了准确性。
附图说明
[0038]图1为本专利技术的流程示意图。
[0039]图2为本专利技术场景图像示意图。
[0040]图3为本专利技术目标3D模型示意图。
[0041]图4为本专利技术稠密点云示意图。
[0042]图5为本专利技术存储的三维点信息示意图。
[0043]图6为本专利技术二维码检测示意图。
[0044]图7为本专利技术分割出的目标物体的稠密点云示意图。
[0045]图8为本专利技术目标3D模型与目标物体稠密点云匹配的示意图。
具体实施方式
[0046]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0047]本实施例提供了一种基于三维重建与点云匹配的定位方法，如图1所示，具体包括以下步骤：
[0048]步骤S1、使用相机采集场景图像，相机可选用单目相机或双目相机，因为在本专利技术所使用的三维重建步骤中，仅需要输入无序的图片，因此在选取图片时优选单目相机，操作简便且处理速度较快。使用相机从不同角度拍摄场景，获取若干张场景图像。采集过程中至少需要有二十张包含目标物体的图像，且尽可能充分包含目标的各种角度，以确保得到目标足够准确和丰富的点云信息，同时也应保证包含完整二维码的图像。相邻两张场景图像应包含不少于30％的重合部分。场景中包括至少一个已知尺寸的二维码，要求二维码和待定位目标无相互遮挡，在整个场景中处于可以明显观察到的位置，图像中要求能够充分体现二维码完整图像。
[0049]步骤S2、根据目标物体实际大小，用3D软件制作目标3D模型，如图3所示。
[0050]步骤S3、对场景图像进行三维重建，具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维重建与点云匹配的定位方法，其特征在于，包括以下步骤：S1、获取相机从不同角度拍摄的若干张包含目标物体的场景图像，场景中包括至少一个已知尺寸的二维码；S2、根据目标物体实际大小，制作目标3D模型；S3、对场景图像进行三维重建，得到场景的稠密点云，并得到稠密点云中三维点信息与场景图像中的像素点的对应关系；S4、检测图像中二维码的角点，并根据对应关系获取角点在稠密点云中的三维点坐标，结合二维码的实际尺寸，更新稠密点云的尺度；S5、从场景的稠密点云中分割出目标物体的稠密点云，并通过配准算法计算目标3D模型与目标物体的稠密点云的相对位姿；S6、根据相对位姿，对目标3D模型进行位姿变换替换目标物体的稠密点云，并提取此时目标3D模型的坐标为真实物体坐标。2.根据权利要求1所述的一种基于三维重建与点云匹配的定位方法，其特征在于，所述三维重建包括以下步骤：SS1、提取所有场景图像的特征点坐标，匹配所有场景图像之间的特征点；SS2、使用对极几何算法计算相机位姿并根据相机位姿计算出特征点对应的三维点的坐标；SS3、构建投影误差方程，通过光束平差法优化相机位姿和三维点的坐标；SS4、输入优化后的相机位姿和整体图像，获取场景的稠密点云，并得到稠密点云中三维点信息与场景图像中的像素点的对应关系。3.根据权利要求1所述的一种基于三维重建与点云匹配的定位方法，其特征在于，所述三维点信息包括三维点ID、坐标、颜色、误差、对应的图像ID和对应的像素点ID。4.根据权利要求2所述的一种基于三维重建与点云匹配的定位方法，其特征在于，步骤SS1中所述特征点的类别包括FAST角点、SIFT角点、ORB角点和Harris角点。5.根据权利要求2所述的一种基于三维重建与点云匹配的定位方法，其特征在于，在匹配所有图像之间的特征点后，使用随机抽样一致性法去除错误的匹配对。6.根据权利要求1所述的一种基于三维重建与点云匹配的定位方法，其特征在于，步骤S4中获取...

【专利技术属性】
技术研发人员：董延超，龚佩，
申请(专利权)人：同济大学，
类型：发明
国别省市：