三维点云重构方法和装置、服务器及可读存储介质制造方法及图纸

本发明专利技术涉及一种三维点云重构方法和装置、服务器及可读存储介质。该方法包括：利用两张图像的特征点之间的匹配关系获取本质矩阵，通过分解本质矩阵得到两张图像之间的相对旋转矩阵和相对位移方向向量；基于相对旋转矩阵计算全局旋转矩阵；基于相对位移方向向量计算全局位移方向向量；以及基于两张图像的特征点之间的匹配关系、全局旋转矩阵和全局位移方向向量，获取目标场景的三维点云。本发明专利技术通过分解获取到的本质矩阵，能够同时得到两张图像之间的相对旋转矩阵和相对位移方向向量，因此，简化了计算过程，节省了计算时间。

3D point cloud reconstruction method and device, server and readable storage medium

The invention relates to a method of 3D point cloud reconstruction and a device, a server and a readable storage medium. The method includes: obtaining the essential matrix using matching between two images of the feature points, through the decomposition of essential matrix to get the relative rotation matrix and displacement direction vector between two images; relative rotation matrix calculation based on global rotation matrix; relative displacement direction vector calculation based on global displacement direction vector; and based on the two the image feature points matching relations, global rotation matrix and global displacement direction vector, 3D point cloud acquisition target scene. The invention can get the relative rotation matrix and relative displacement direction vector between two images simultaneously by decomposing the essential matrix obtained, thus simplifying the calculation process and saving computing time.

【技术实现步骤摘要】
三维点云重构方法和装置、服务器及可读存储介质
本专利技术涉及虚拟现实技术和计算机视觉领域，正向深度约束尤其涉及一种三维点云重构方法和装置、服务器及可读存储介质。
技术介绍
近年来，在计算机视觉领域兴起的运动恢复结构(StructurefromMotion，SFM)方法能够利用一定数量的、具有重叠的图像恢复出运动相机的位置、姿态以及所拍摄的场景的三维结构，该方法对图像数据要求低、不受摄影测量理论中的许多假定前提条件的约束、通用性好、自动化程度高，因而在三维重构中取得了比较成功的应用。目前，按照初始位置和姿态的计算方式，SFM方法可分为增量式SFM(IncrementalSFM，ISFM)方法和全局SFM(GlobalSFM，GSFM)方法。增量式SFM方法在特征点匹配的基础上选择初始图像对以得到两张图像的初始化模型，然后不断添加图像，并对新增加的公共特征点进行三角化，以及重新平差解算模型坐标和相机参数，直到所有图像添加完毕。然而，在重构场景的过程中，增量式SFM方法需要进行多次光束法平差(BundleAdjustment，BA)的迭代运算，即在给定由不同视点拍摄得到场景图像集的情况下，按最小化重投影误差的标准同时优化场景几何关系与相机参数，这导致计算过程复杂、繁琐且耗时严重，因而计算效率不高。全局SFM方法不依赖于迭代式优化框架，而是仅需要一次性优化即可完成整个三维重构过程，即利用约束条件一次性求解图像的旋转和平移。然而，在计算相机位姿时，全局SFM方法需要首先估计相对旋转矩阵和全局旋转矩阵，然后采用计算出来的全局旋转矩阵结合三焦点张量估计出相对位移方向向量，这导致计算过程复杂、繁琐，并且计算过程使用了随机抽样一致(RandomSampleConsensus，RANSAC)算法，因而耗时严重。
技术实现思路
有鉴于此，本专利技术的一个目的在于提供一种三维点云重构方法和装置、服务器及可读存储介质，能够简化计算过程，节省计算时间。本专利技术的一个方面提供一种三维点云重构方法，该方法包括：利用两张图像的特征点之间的匹配关系获取本质矩阵，通过分解本质矩阵得到两张图像之间的相对旋转矩阵和相对位移方向向量；基于相对旋转矩阵计算全局旋转矩阵；基于相对位移方向向量计算全局位移方向向量；以及基于两张图像的特征点之间的匹配关系、全局旋转矩阵和全局位移方向向量，获取目标场景的三维点云。在本专利技术的一个实施例中，在获取本质矩阵之前，该方法还包括：获取目标场景的多张图像，多张图像包括两张图像；以及检测多张图像中的两张图像的特征点，并基于特征点对两张图像进行特征点匹配，得到两张图像的特征点之间的匹配关系。在本专利技术的一个实施例中，在通过分解本质矩阵得到两张图像之间的相对旋转矩阵和相对位移方向向量之后、基于相对旋转矩阵计算全局旋转矩阵之前，该方法还包括：计算相对旋转矩阵的旋转误差；以及基于旋转误差对相对旋转矩阵进行滤波，其中，基于相对旋转矩阵计算全局旋转矩阵，包括：基于滤波后的相对旋转矩阵计算全局旋转矩阵。在本专利技术的一个实施例中，旋转误差的预设阈值设定在1°到15°的范围内，其中，基于旋转误差对相对旋转矩阵进行滤波，包括：基于旋转误差和预设阈值对相对旋转矩阵进行滤波。在本专利技术的一个实施例中，基于滤波后的相对旋转矩阵计算全局旋转矩阵，采用的公式如下：其中，Ri表示图像i对应的全局旋转矩阵，表示图像j对应的全局旋转矩阵的逆矩阵，Rij表示图像i和图像j之间的相对旋转矩阵，1≤i≤N，1≤j≤N，N为正整数。本专利技术的另一个方面提供一种三维点云重构装置，该装置包括：获取模块，用于利用两张图像的特征点之间的匹配关系获取本质矩阵，通过分解本质矩阵得到两张图像之间的相对旋转矩阵和相对位移方向向量；以及计算模块，用于基于相对旋转矩阵计算全局旋转矩阵，并基于相对位移方向向量计算全局位移方向向量，其中，获取模块还基于两张图像的特征点之间的匹配关系、全局旋转矩阵和全局位移方向向量，获取目标场景的三维点云。在本专利技术的一个实施例中，该装置还包括：检测模块，其中获取模块还获取目标场景的多张图像，多张图像包括两张图像，检测模块用于检测多张图像中的两张图像的特征点，并基于特征点对两张图像进行特征点匹配，得到两张图像的特征点之间的匹配关系。在本专利技术的一个实施例中，该装置还包括：滤波模块，其中计算模块还计算相对旋转矩阵的旋转误差，滤波模块用于基于旋转误差对相对旋转矩阵进行滤波，计算模块还基于滤波后的相对旋转矩阵计算全局旋转矩阵。在本专利技术的一个实施例中，旋转误差的预设阈值设定在1°到15°的范围内，其中，滤波模块还基于旋转误差和预设阈值对相对旋转矩阵进行滤波。在本专利技术的一个实施例中，基于滤波后的相对旋转矩阵计算全局旋转矩阵，采用的公式如下：其中，Ri表示图像i对应的全局旋转矩阵，表示图像j对应的全局旋转矩阵的逆矩阵，Rij表示图像i和图像j之间的相对旋转矩阵，1≤i≤N，1≤j≤N，N为正整数。本专利技术的再一个方面提供一种服务器，包括：存储器、处理器及存储在存储器中并可在处理器中运行的可执行指令，处理器执行可执行指令时实现如上所述的任一种方法。本专利技术的又一个方面提供一种计算机可读存储介质，其上存储有计算机可执行指令，可执行指令被处理器执行时实现如上所述的任一种方法。根据本专利技术实施例提供的技术方案，通过利用两张图像的特征点之间的匹配关系获取本质矩阵，并通过分解本质矩阵得到两张图像之间的相对旋转矩阵和相对位移方向向量，基于相对旋转矩阵计算全局旋转矩阵，基于相对位移方向向量计算全局位移方向向量，以及基于两张图像的特征点之间的匹配关系、全局旋转矩阵和全局位移方向向量，获取目标场景的三维点云，能够简化计算过程，进而节省计算时间。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是根据本专利技术一示例性实施例示出的一种三维点云重构方法的流程图。图2是根据本专利技术另一示例性实施例示出的一种三维点云重构方法的流程图。图3是使用相机拍摄的学校教学楼的场景图。图4是基于图3的场景图得到的三维点云结果。图5是根据本专利技术一示例性实施例示出的一种三维点云重构装置的框图。图6是根据本专利技术一示例性实施例示出的用于三维点云重构的装置600的框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。根据本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在计算机视觉中，多视图几何的三维重构理论已经有了比较成熟的发展。安徽大学出版社2002年8月出版的“计算机视觉中的多视图几何(Multipleviewgeometryincomputervision)”全面讲述了相关的理论和算法。运动恢复结构(StructurefromMotion，SFM)是多视图三维重构的核心技术，这里，“Structure”代表“3Dpointcloudofthescene(场景的三维点云)”，“Motion”代表“Cameraloc本文档来自技高网...

【技术保护点】
一种三维点云重构方法，其特征在于，所述方法包括：利用两张图像的特征点之间的匹配关系获取本质矩阵，通过分解所述本质矩阵得到所述两张图像之间的相对旋转矩阵和相对位移方向向量；基于所述相对旋转矩阵计算全局旋转矩阵；基于所述相对位移方向向量计算全局位移方向向量；以及基于所述两张图像的特征点之间的匹配关系、所述全局旋转矩阵和所述全局位移方向向量，获取目标场景的三维点云。

【技术特征摘要】
1.一种三维点云重构方法，其特征在于，所述方法包括：利用两张图像的特征点之间的匹配关系获取本质矩阵，通过分解所述本质矩阵得到所述两张图像之间的相对旋转矩阵和相对位移方向向量；基于所述相对旋转矩阵计算全局旋转矩阵；基于所述相对位移方向向量计算全局位移方向向量；以及基于所述两张图像的特征点之间的匹配关系、所述全局旋转矩阵和所述全局位移方向向量，获取目标场景的三维点云。2.根据权利要求1所述的方法，其特征在于，在所述获取本质矩阵之前，所述方法还包括：获取所述目标场景的多张图像，所述多张图像包括所述两张图像；以及检测所述多张图像中的所述两张图像的特征点，并基于所述特征点对所述两张图像进行特征点匹配，得到所述两张图像的特征点之间的匹配关系。3.根据权利要求1所述的方法，其特征在于，在所述通过分解所述本质矩阵得到所述两张图像之间的相对旋转矩阵和相对位移方向向量之后、所述基于所述相对旋转矩阵计算全局旋转矩阵之前，所述方法还包括：计算所述相对旋转矩阵的旋转误差；以及基于所述旋转误差对所述相对旋转矩阵进行滤波，其中，所述基于所述相对旋转矩阵计算全局旋转矩阵，包括：基于滤波后的相对旋转矩阵计算所述全局旋转矩阵。4.根据权利要求3所述的方法，其特征在于，所述旋转误差的预设阈值设定在1°到15°的范围内，其中，所述基于所述旋转误差对所述相对旋转矩阵进行滤波，包括：基于所述旋转误差和所述预设阈值对所述相对旋转矩阵进行滤波。5.根据权利要求3所述的方法，其特征在于，所述基于滤波后的相对旋转矩阵计算所述全局旋转矩阵，采用的公式如下：其中，Ri表示图像i对应的全局旋转矩阵，表示图像j对应的全局旋转矩阵的逆矩阵，Rij表示图像i和图像j之间的相对旋转矩阵，1≤i≤N，1≤j≤N，N为正整数。6.一种三维点云重构装置，其特征在于，所述装置包括：获取模块，用于利用两张图像的特征点之间的匹配关系获取本...

【专利技术属性】
技术研发人员：那日松，齐越，李楠，
申请(专利权)人：北京康邦科技有限公司，
类型：发明
国别省市：北京,11