三维重建的方法和装置制造方法及图纸

本申请提供了一种三维重建的方法和装置，该方法包括：获取与第一图像对应的第一三维点云和与第二图像对应的第二三维点云，该第一图像成像于第一坐标系中，该第二图像成像于第二坐标系中；对第一三维点云进行第一射影变换，得到第一索引图，该第一索引图中的每个坐标点对应于第一三维点云中的一个三维点，并指示所对应的三维点在第一三维点云中的索引；对第二三维点云进行第二射影变换，得到第二索引图，该第二索引图中的每个坐标点对应于第二三维点云中的一个三维点，并指示所对应的三维点在第二三维点云中的索引；从第一索引图和第二索引图中确定至少一个目标点，并对该至少一个目标点所指示的第一三维点和第二三维点进行融合处理。

【技术实现步骤摘要】
三维重建的方法和装置
本申请涉及图像处理领域，并且更具体地，涉及一种三维重建的方法和装置。
技术介绍
随着彩色和深度(redgreenblueanddepth，RGBD)相机的兴起，利用彩色图像和深度图像获得场景的三维重建成为可能。目前，已知一种三维重建的方法，能够充分利用RGBD传感器中的深度信息进行三维重建。具体地，在进行图像处理之前，首先需要获取三维物体(即，被拍摄物)的二维图像(即，拍摄得到的照片)，可以理解，该三维模型对应的二维图像可以为多个。其后，根据二维图像中每个像素的像素点坐标和深度坐标，通过相机的内参数，求解出二维图像中每个像素点的三维空间坐标(即，三维点云)。其后，找出同一物理三维点在两幅不同图像中对应的成像点，并将对应的成像点进行融合，以获得与该二维图像对应的三维模型。但是，在进行三维重建的过程中，找出同一物理三维点在不同图像中对应的成像点的过程需要通过比较复杂的空间坐标转换来实现，即，需要将参考三维点云和当前三维点云转换到同一个空间坐标系(例如，转换到当前三维点云的空间坐标系)来进行比较和计算，以获得对应点。而三维点云往往需要占用较大的存储空间，对三维点云的移动操作则需要花费较长的时间处理来实现，由此大大影响了三维重建的处理效率。
技术实现思路
本申请提供一种三维重建的方法和装置，能够提高计算效率。第一方面，提供了一种三维重建的方法，包括：获取与第一图像对应的第一三维点云和与第二图像对应的第二三维点云，所述第一图像成像于第一坐标系中，所述第二图像成像于第二坐标系中，所述第一图像和所述第二图像为终端设备拍摄到的两幅图像，且所述第一图像和所述第二图像具有至少一对对应点；对所述第一三维点云进行第一射影变换，得到所述第一坐标系中的第一索引图，所述第一索引图中的每个坐标点对应于所述第一三维点云中的一个三维点，每个坐标点用于指示所对应的三维点在所述第一三维点云中的索引；对所述第二三维点云进行第二射影变换，得到所述第一坐标系中的第二索引图，所述第二索引图中的每个坐标点对应于所述第二三维点云中的一个三维点，每个坐标点用于指示所对应的三维点在所述第二三维点云中的索引；从所述第一索引图和所述第二索引图中确定具有相同二维坐标的至少一个目标点，并确定每个目标点所指示的所述第一三维点云中的第一三维点和所述第二三维点云中的第二三维点；对所述至少一个目标点所指示的第一三维点和第二三维点进行融合处理，得到三维模型中的至少一个三维点。可选地，所述对所述第一三维点云进行第一射影变换，得到所述第一坐标系中的第一索引图，包括：根据第一射影变换函数对所述第一三维点云中的每个三维点进行射影变换，得到所述第一索引图；所述对所述第二三维点云进行第二射影变换，得到所述第一坐标系中的第二索引图，包括：确定目标变换矩阵，所述目标变换矩阵用于将第二坐标系中的图像转换为第一坐标系中的图像；根据所述目标变换矩阵，对所述第一射影变换函数进行坐标系变换，得到第二射影变换函数；根据所述第二射影变换函数对所述第二三维点云中的每个三维点进行射影变换，得到所述第二索引图。通过将对第二三维点云中每个三维点的坐标系变换转移到了对第一射影变换函数上，以避免了对第二三维点云的移动操作，也就是避免了空间变换操作，不需要做内存操作，减小了内存开销，有利于提高计算效率。可选地，所述确定目标变换矩阵，包括：在[1，N]内对i遍历取值，以循环执行以下操作，并将确定的用于第N+1次操作的变换矩阵确定为所述目标变换矩阵：根据第i次确定的变换矩阵，对所述第一射影变换函数进行第i次坐标系变换，得到经所述第i次坐标系变换后的第三射影变换函数；根据经所述第i次坐标系变换得到的第三射影变换函数，对所述第二三维点云中的每个三维点进行第i次射影变换，得到经所述第i次射影变换后的第三索引图；从所述第一索引图和所述第i次射影变换后的第三索引图中确定具有相同二维坐标的至少一个目标点，并确定每个目标点所指示的所述第一三维点云中的第一三维点和所述第二三维点云中的第三三维点；确定所述至少一个目标点所指示的第一三维点和第三三维点的距离加权值；根据所述距离加权值，确定用于第i+1次操作的变换矩阵；其中，N为预先设定的循环操作次数，N＞1，i、N均为自然数。通过多次循环操作，使得得到的变换矩阵更加准确，从而使得用于重建三维模型的、待融合的对应点(即，第一三维点和第二三维点)不仅距离上接近，并且法向量也接近。可选地，在N次循环操作的第i次循环操作中，从所述第一索引图和所述第三索引图中确定的所述至少一个目标点中任意一个目标点满足以下至少一个条件：所指示的第一三维点和第三三维点的距离小于或等于第一预设门限；所指示的第一三维点的曲率和第三三维点的曲率均小于或等于第二预设门限；所指示的第一三维点与第三三维点的曲率比值大于或等于第三预设门限，且小于或等于第四预设门限，所述第三预设门限小于所述第四预设门限；所指示的第一三维点与邻域三维点所构成的拟合平面的法向量与所指示的第三三维点与邻域三维点所构成的拟合平面的法向量的夹角小于或等于第五预设门限。通过上述条件的限制，可以进一步减少对应点的数量，使得循环操作过程中当前三维点云和参考三维点云中的对应点的数量减小，即减少了计算量，节省内存开销。可选地，所述确定所述至少一个目标点所指示的第一三维点和第三三维点的距离加权值，包括：根据每个目标点所指示的第一三维点的邻域三维点，拟合所述第一三维点在所述第一坐标系中的拟合平面，并确定所述拟合平面的法向量；所述第一三维点与邻域三维点的距离，以及所述拟合平面的法向量，确定信息矩阵，所述信息矩阵定义了所述至少一个目标点在用于计算所述距离加权值时每个目标点的权重；根据每个目标点所指示的第一三维点的三维坐标和第三三维点的三维坐标、所述目标变换矩阵，以及所述信息矩阵，确定所述至少一个目标点所指示的第一三维点和第三三维点的距离加权值。由于在对对应点求解距离加权值时考虑了对应点距离以及法向量的影响，因此可以减小三维点所受到的噪声影响，鲁棒性更好。可选地，所述第一三维点云为当前三维点云，所述第二三维点云为参考三维点云。可选地，所述获取与第一图像对应的第一三维点云和与第二图像对应的第二三维点云，包括：分别对所述第一图像和所述第二图像进行降噪处理，使得所述第一图像或所述第二图像中的任意一个像素点与相邻的任意一个像素点的深度值之差小于或等于第六预设门限；获取经所述降噪处理后的所述第一图像对应的第一三维点云和经所述降噪处理后的所述第二图像对应的第二三维点云。可选地，所述对所述至少一个目标点所指示的第一三维点和第二三维点进行融合处理，得到三维模型中的至少一个三维点，包括：对所述至少一个目标点所指示的第一三维点和第二三维点进行约点处理；对经所述约点处理之后的第一三维点和第二三维点进行融合处理，得到三维模型中的至少一个三维点。通过上述约点处理，可以降低该空间中的三维点的冗余度，有利于降低内存消耗，提高后续图像的处理速度。可选地，在所述对所述至少一个对应点所指示的第一三维点和第二三维点进行融合处理，得到三维模型中的至少一个三维点之后，所述方法还包括：将融合处理得到的所述三维模型中的至少一个三维点确定为用于下一帧三维重建的参考三维点云。可选地，所述方法还包括本文档来自技高网...

【技术保护点】
一种三维重建的方法，其特征在于，包括：获取与第一图像对应的第一三维点云和与第二图像对应的第二三维点云，所述第一图像成像于第一坐标系中，所述第二图像成像于第二坐标系中，所述第一图像和所述第二图像为终端设备拍摄到的两幅图像，且所述第一图像和所述第二图像具有至少一对对应点；对所述第一三维点云进行第一射影变换，得到所述第一坐标系中的第一索引图，所述第一索引图中的每个坐标点对应于所述第一三维点云中的一个三维点，每个坐标点用于指示所对应的三维点在所述第一三维点云中的索引；对所述第二三维点云进行第二射影变换，得到所述第一坐标系中的第二索引图，所述第二索引图中的每个坐标点对应于所述第二三维点云中的一个三维点，每个坐标点用于指示所对应的三维点在所述第二三维点云中的索引；从所述第一索引图和所述第二索引图中确定具有相同二维坐标的至少一个目标点，并确定每个目标点所指示的所述第一三维点云中的第一三维点和所述第二三维点云中的第二三维点；对所述至少一个目标点所指示的第一三维点和第二三维点进行融合处理，得到三维模型中的至少一个三维点。

【技术特征摘要】
1.一种三维重建的方法，其特征在于，包括：获取与第一图像对应的第一三维点云和与第二图像对应的第二三维点云，所述第一图像成像于第一坐标系中，所述第二图像成像于第二坐标系中，所述第一图像和所述第二图像为终端设备拍摄到的两幅图像，且所述第一图像和所述第二图像具有至少一对对应点；对所述第一三维点云进行第一射影变换，得到所述第一坐标系中的第一索引图，所述第一索引图中的每个坐标点对应于所述第一三维点云中的一个三维点，每个坐标点用于指示所对应的三维点在所述第一三维点云中的索引；对所述第二三维点云进行第二射影变换，得到所述第一坐标系中的第二索引图，所述第二索引图中的每个坐标点对应于所述第二三维点云中的一个三维点，每个坐标点用于指示所对应的三维点在所述第二三维点云中的索引；从所述第一索引图和所述第二索引图中确定具有相同二维坐标的至少一个目标点，并确定每个目标点所指示的所述第一三维点云中的第一三维点和所述第二三维点云中的第二三维点；对所述至少一个目标点所指示的第一三维点和第二三维点进行融合处理，得到三维模型中的至少一个三维点。2.根据权利要求1所述的方法，其特征在于，所述对所述第一三维点云进行第一射影变换，得到所述第一坐标系中的第一索引图，包括：根据第一射影变换函数对所述第一三维点云中的每个三维点进行射影变换，得到所述第一坐标系中的第一索引图；所述对所述第二三维点云进行第二射影变换，得到所述第一坐标系中的第二索引图，包括：确定目标变换矩阵，所述目标变换矩阵用于将第二坐标系中的图像转换为第一坐标系中的图像；根据所述目标变换矩阵，对所述第一射影变换函数进行坐标系变换，得到第二射影变换函数；根据所述第二射影变换函数对所述第二三维点云中的每个三维点进行射影变换，得到所述第一坐标系中的第二索引图。3.根据权利要求2所述的方法，其特征在于，所述确定目标变换矩阵，包括：在[1，N]内对i遍历取值，以循环执行以下操作，并将确定的用于第N+1次操作的变换矩阵确定为所述目标变换矩阵：根据第i次确定的变换矩阵，对所述第一射影变换函数进行第i次坐标系变换，得到经所述第i次坐标系变换后的第三射影变换函数；根据经所述第i次坐标系变换得到的第三射影变换函数，对所述第二三维点云中的每个三维点进行第i次射影变换，得到经所述第i次射影变换后的第三索引图；从所述第一索引图和所述第i次射影变换后的第三索引图中确定具有相同二维坐标的至少一个目标点，并确定每个目标点所指示的所述第一三维点云中的第一三维点和所述第二三维点云中的第三三维点；确定所述至少一个目标点所指示的第一三维点和第三三维点的距离加权值；根据所述距离加权值，确定用于第i+1次操作的变换矩阵；其中，N为预先设定的循环操作次数，N＞1，i、N均为自然数。4.根据权利要求3所述的方法，其特征在于，在N次循环操作的第i次循环操作中，从所述第一索引图和所述第三索引图中确定的所述至少一个目标点中任意一个目标点满足以下至少一个条件：所指示的第一三维点和第三三维点的距离小于或等于第一预设门限；所指示的第一三维点的曲率和第三三维点的曲率均小于或等于第二预设门限；所指示的第一三维点与第三三维点的曲率比值大于或等于第三预设门限，且小于或等于第四预设门限，所述第三预设门限小于所述第四预设门限；所指示的第一三维点与邻域三维点所构成的拟合平面的法向量与所指示的第三三维点与邻域三维点所构成的拟合平面的法向量的夹角小于或等于第五预设门限。5.根据权利要求3或4所述的方法，其特征在于，所述确定所述至少一个目标点所指示的第一三维点和第三三维点的距离加权值，包括：根据每个目标点所指示的第一三维点的邻域三维点，拟合所述第一三维点在所述第一坐标系中的拟合平面，并确定所述拟合平面的法向量；所述第一三维点与邻域三维点的距离，以及所述拟合平面的法向量，确定信息矩阵，所述信息矩阵定义了所述至少一个目标点在用于计算所述距离加权值时每个目标点的权重；根据每个目标点所指示的第一三维点的三维坐标和第三三维点的三维坐标、所述目标变换矩阵，以及所述信息矩阵，确定所述至少一个目标点所指示的第一三维点和第三三维点的距离加权值。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第一三维点云为当前三维点云，所述第二三维点云为参考三维点云。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述获取与第一图像对应的第一三维点云和与第二图像对应的第二三维点云，包括：分别对所述第一图像和所述第二图像进行降噪处理，使得所述第一图像或所述第二图像中的任意一个像素点与相邻的任意一个像素点的深度值之差小于或等于第六预设门限；获取经所述降噪处理后的所述第一图像对应的第一三维点云和经所述降噪处理后的所述第二图像对应的第二三维点云。8.根据权利要求1至7中任一项该所述的方法，其特征在于，所述对所述至少一个目标点所指示的第一三维点和第二三维点进行融合处理，得到三维模型中的至少一个三维点，包括：对所述至少一个目标点所指示的第一三维点和第二三维点进行约点处理；对经所述约点处理之后的第一三维点和第二三维点进行融合处理，得到三维模型中的至少一个三维点。9.根据权利要求1至8中任一项所述的方法，其特征在于，在所述对所述至少一个对应点所指示的第一三维点和第二三维点进行融合处理，得到三维模型中的至少一个三维点之后，所述方法还包括：将融合处理得到的所述三维模型中的至少一个三维点确定为用于下一帧三维重建的参考三维点云。10.根据权利要求1至9中任一项所述的方法，其特征在于，所述方法还包括：在所述终端设备...

【专利技术属性】
技术研发人员：刘畅，高伟，
申请(专利权)人：华为技术有限公司，中国科学院自动化研究所，
类型：发明
国别省市：广东,44