三维全景模型构建方法、装置及可读存储介质制造方法及图纸

本发明专利技术实施例提出三维全景模型构建方法、装置及可读存储介质。方法包括：对每个拍摄点的点云数据和图像数据进行特征提取，得到该拍摄点的点云特征点及其对应的点云特征描述子，以及图像特征点及其对应的图像特征描述子；对于任一拍摄点A，根据该拍摄点的点云特征点及其对应的点云特征描述子，在其它拍摄点中寻找匹配拍摄点B，若找到，计算A的全局坐标转换矩阵；若未找到，根据该拍摄点A的图像特征点及其对应的图像特征描述子，在其它拍摄点中寻找匹配拍摄点B，若找到，计算A的全局坐标转换矩阵；当为所有拍摄点都寻找到匹配拍摄点时，根据所有拍摄点的全局坐标转换矩阵，进行三维全景模型构建。本发明专利技术提高了三维全景模型构建的准确性。

Three-dimensional Panoramic Model Construction Method, Device and Readable Storage Media

【技术实现步骤摘要】
三维全景模型构建方法、装置及可读存储介质
本专利技术涉及三维全景
，尤其涉及三维全景模型构建方法、装置及可读存储介质。
技术介绍
三维全景是基于全景图像的真实场景虚拟现实技术。全景是把相机多角度拍摄的一组或多组照片拼接成一个全景图像。在室内三维全景模型的数据采集阶段会使用专门的硬件设备，收集不同拍摄点的数据。在完成对数据收集以后，需要找出不同拍摄点的全局坐标，才能将这些拍摄点的数据配准融合成一个完整的三维全景模型。目前一般使用ICP(IterativeClosestPoints，迭代最近点)算法对不同拍摄点的三维点云数据信息进行点云配准，在进行配准前，对于每个拍摄点需要提供一个初始相对准确的点位初始位姿矩阵，位姿矩阵用于将每个拍摄点的相机坐标系转换到全局坐标系，初始位姿矩阵为人为设置的，效率较低，且出错概率较大，从而会造成三维全景模型初始拼接位置错误，且由于ICP算法强依赖初始位置，很可能导致该初始拼接错误不可被算法修复。
技术实现思路
本专利技术实施例提出三维全景模型构建方法、装置及可读存储介质，以提高三维全景模型构建的准确性。本专利技术实施例的技术方案是这样实现的：一种三维全景模型构建方法，该方法包括：对于三维全景模型构建场景中的每个拍摄点，对该拍摄点的点云数据进行特征提取，得到该拍摄点的点云特征点及其对应的点云特征描述子；同时，对该拍摄点的全景图像进行特征提取，得到该拍摄点的图像特征点及其对应的图像特征描述子；对于任一拍摄点A，根据该拍摄点的点云特征点及其对应的点云特征描述子，在其它拍摄点中寻找匹配拍摄点B，若寻找到，则根据A和B的匹配点云特征点对的三维相机坐标，计算A到B的相机旋转矩阵，并根据该相机旋转矩阵和设定的全局坐标系，计算A的全局坐标转换矩阵；若未寻找到，则根据该拍摄点A的图像特征点及其对应的图像特征描述子，在其它拍摄点中寻找匹配拍摄点B，若寻找到，则根据A和B的匹配图像特征点对的三维相机坐标，计算A到B的相机旋转矩阵，并根据该相机旋转矩阵和设定的全局坐标系，计算A的全局坐标转换矩阵；当为所有拍摄点都寻找到匹配拍摄点，并计算得到所有拍摄点的全局坐标转换矩阵时，根据所有拍摄点的全局坐标转换矩阵，进行三维全景模型构建。所述对于任一拍摄点，根据该拍摄点的点云特征点及其对应的点云特征描述子，在其它拍摄点中寻找匹配拍摄点B之前进一步包括：建立未匹配拍摄点队列Q和已匹配拍摄点集合P，其中，未匹配拍摄点队列Q中初始包含了所有的拍摄点标识，已匹配拍摄点集合初始为空；所述对于任一拍摄点，根据该拍摄点的点云特征点及其对应的点云特征描述子，在其它拍摄点中寻找匹配拍摄点B包括：对于未匹配拍摄点队列Q中的第一个拍摄点q1，将该拍摄点q1从Q中取出直接放入已匹配拍摄点集合P中，且，将该拍摄点q1的相机坐标系设定为全局坐标系，记录该拍摄点q1的全局坐标转换矩阵为单位矩阵；对于未匹配拍摄点队列Q中的其它拍摄点，从未匹配拍摄点队列Q中顺序取出一个拍摄点A，根据A中的各点云特征点及其点云特征描述子，以及已匹配拍摄点集合P中的各拍摄点的点云特征点及其点云特征描述子，在已匹配拍摄点集合P中寻找A的匹配拍摄点B；且，若寻找到，所述根据该相机旋转矩阵和设定的全局坐标系，计算A的全局坐标转换矩阵包括：根据该相机旋转矩阵和B的全局坐标转换矩阵，计算A的全局坐标转换矩阵，并将A放入已匹配拍摄点集合P中。当根据A中的各点云特征点及其点云特征描述子，未在已匹配拍摄点集合P中寻找到A的匹配拍摄点B时，所述根据该拍摄点A的图像特征点及其对应的图像特征描述子，在其它拍摄点中寻找匹配拍摄点B包括：根据A中的各图像特征点及其图像特征描述子，以及已匹配拍摄点集合P中的各拍摄点的图像特征点及其图像特征描述子，在已匹配拍摄点集合P中寻找A的匹配拍摄点B；且，若寻找到，所述根据该相机旋转矩阵和设定的全局坐标系，计算A的全局坐标转换矩阵包括：根据该相机旋转矩阵和B的全局坐标转换矩阵，计算A的全局坐标转换矩阵，并将A放入已匹配拍摄点集合P中。当根据A中的各图像特征点及其图像特征描述子，未在已匹配拍摄点集合P中寻找到A的匹配拍摄点B时，所述方法进一步包括：将A重新放入Q的队尾。所述得到该拍摄点的图像特征点及其对应的图像特征描述子之后进一步包括：对该拍摄点的全景图像进行物体提取，得到该拍摄点的所有物体的类型和位置；当根据该拍摄点A的图像特征点及其对应的图像特征描述子，在其它拍摄点中未寻找到匹配拍摄点B时，所述方法进一步包括：根据该拍摄点A的所有物体的类型，以及已匹配拍摄点集合P中的各拍摄点的所有物体的类型，在其它拍摄点中寻找匹配的拍摄点B，根据A和B的匹配物体对的位置的三维相机坐标，计算A到B的相机旋转矩阵，并根据该相机旋转矩阵和设定的全局坐标系，计算A的全局坐标转换矩阵。所述根据所有拍摄点的全局坐标转换矩阵，进行三维全景模型构建包括：将所有拍摄点的全局坐标转换矩阵作为迭代最近点ICP算法中各拍摄点的初始位姿矩阵，执行ICP算法，得到三维全景模型。一种三维全景模型构建装置，该装置包括：特征提取模块，对于三维全景模型构建场景中的每个拍摄点，对该拍摄点的点云数据进行特征提取，得到该拍摄点的点云特征点及其对应的点云特征描述子；同时，对该拍摄点的全景图像进行特征提取，得到该拍摄点的图像特征点及其对应的图像特征描述子；特征匹配模块，对于任一拍摄点A，根据特征提取模块提取的该拍摄点的点云特征点及其对应的点云特征描述子，在其它拍摄点中寻找匹配拍摄点B，若寻找到，则根据A和B的匹配点云特征点对的三维相机坐标，计算A到B的相机旋转矩阵，并根据该相机旋转矩阵和设定的全局坐标系，计算A的全局坐标转换矩阵；若未寻找到，则根据特征提取模块提取的该拍摄点A的图像特征点及其对应的图像特征描述子，在其它拍摄点中寻找匹配拍摄点B，若寻找到，则根据A和B的匹配图像特征点对的三维相机坐标，计算A到B的相机旋转矩阵，并根据该相机旋转矩阵和设定的全局坐标系，计算A的全局坐标转换矩阵；全景模型构建模块，当特征匹配模块为所有拍摄点都寻找到匹配拍摄点，并计算得到所有拍摄点的全局坐标转换矩阵时，根据所有拍摄点的全局坐标转换矩阵，进行三维全景模型构建。所述特征匹配模块对于任一拍摄点，根据该拍摄点的点云特征点及其对应的点云特征描述子，在其它拍摄点中寻找匹配拍摄点B之前进一步用于：建立未匹配拍摄点队列Q和已匹配拍摄点集合P，其中，未匹配拍摄点队列Q中初始包含了所有的拍摄点标识，已匹配拍摄点集合初始为空；所述特征匹配模块对于任一拍摄点，根据该拍摄点的点云特征点及其对应的点云特征描述子，在其它拍摄点中寻找匹配拍摄点B包括：对于未匹配拍摄点队列Q中的第一个拍摄点q1，将该拍摄点q1从Q中取出直接放入已匹配拍摄点集合P中，且，将该拍摄点q1的相机坐标系设定为全局坐标系，记录该拍摄点q1的全局坐标转换矩阵为单位矩阵；对于未匹配拍摄点队列Q中的其它拍摄点，从未匹配拍摄点队列Q中顺序取出一个拍摄点A，根据A中的各点云特征点及其点云特征描述子，以及已匹配拍摄点集合P中的各拍摄点的点云特征点及其点云特征描述子，在已匹配拍摄点集合P中寻找A的匹配拍摄点B；且，若寻找到，所述特征匹配模块根据该相机旋转矩阵和设定的全局坐标系，计算A的全局本文档来自技高网...

【技术保护点】
1.一种三维全景模型构建方法，其特征在于，该方法包括：对于三维全景模型构建场景中的每个拍摄点，对该拍摄点的点云数据进行特征提取，得到该拍摄点的点云特征点及其对应的点云特征描述子；同时，对该拍摄点的全景图像进行特征提取，得到该拍摄点的图像特征点及其对应的图像特征描述子；对于任一拍摄点A，根据该拍摄点的点云特征点及其对应的点云特征描述子，在其它拍摄点中寻找匹配拍摄点B，若寻找到，则根据A和B的匹配点云特征点对的三维相机坐标，计算A到B的相机旋转矩阵，并根据该相机旋转矩阵和设定的全局坐标系，计算A的全局坐标转换矩阵；若未寻找到，则根据该拍摄点A的图像特征点及其对应的图像特征描述子，在其它拍摄点中寻找匹配拍摄点B，若寻找到，则根据A和B的匹配图像特征点对的三维相机坐标，计算A到B的相机旋转矩阵，并根据该相机旋转矩阵和设定的全局坐标系，计算A的全局坐标转换矩阵；当为所有拍摄点都寻找到匹配拍摄点，并计算得到所有拍摄点的全局坐标转换矩阵时，根据所有拍摄点的全局坐标转换矩阵，进行三维全景模型构建。

【技术特征摘要】
1.一种三维全景模型构建方法，其特征在于，该方法包括：对于三维全景模型构建场景中的每个拍摄点，对该拍摄点的点云数据进行特征提取，得到该拍摄点的点云特征点及其对应的点云特征描述子；同时，对该拍摄点的全景图像进行特征提取，得到该拍摄点的图像特征点及其对应的图像特征描述子；对于任一拍摄点A，根据该拍摄点的点云特征点及其对应的点云特征描述子，在其它拍摄点中寻找匹配拍摄点B，若寻找到，则根据A和B的匹配点云特征点对的三维相机坐标，计算A到B的相机旋转矩阵，并根据该相机旋转矩阵和设定的全局坐标系，计算A的全局坐标转换矩阵；若未寻找到，则根据该拍摄点A的图像特征点及其对应的图像特征描述子，在其它拍摄点中寻找匹配拍摄点B，若寻找到，则根据A和B的匹配图像特征点对的三维相机坐标，计算A到B的相机旋转矩阵，并根据该相机旋转矩阵和设定的全局坐标系，计算A的全局坐标转换矩阵；当为所有拍摄点都寻找到匹配拍摄点，并计算得到所有拍摄点的全局坐标转换矩阵时，根据所有拍摄点的全局坐标转换矩阵，进行三维全景模型构建。2.根据权利要求1所述的方法，其特征在于，所述对于任一拍摄点，根据该拍摄点的点云特征点及其对应的点云特征描述子，在其它拍摄点中寻找匹配拍摄点B之前进一步包括：建立未匹配拍摄点队列Q和已匹配拍摄点集合P，其中，未匹配拍摄点队列Q中初始包含了所有的拍摄点标识，已匹配拍摄点集合初始为空；所述对于任一拍摄点，根据该拍摄点的点云特征点及其对应的点云特征描述子，在其它拍摄点中寻找匹配拍摄点B包括：对于未匹配拍摄点队列Q中的第一个拍摄点q1，将该拍摄点q1从Q中取出直接放入已匹配拍摄点集合P中，且，将该拍摄点q1的相机坐标系设定为全局坐标系，记录该拍摄点q1的全局坐标转换矩阵为单位矩阵；对于未匹配拍摄点队列Q中的其它拍摄点，从未匹配拍摄点队列Q中顺序取出一个拍摄点A，根据A中的各点云特征点及其点云特征描述子，以及已匹配拍摄点集合P中的各拍摄点的点云特征点及其点云特征描述子，在已匹配拍摄点集合P中寻找A的匹配拍摄点B；且，若寻找到，所述根据该相机旋转矩阵和设定的全局坐标系，计算A的全局坐标转换矩阵包括：根据该相机旋转矩阵和B的全局坐标转换矩阵，计算A的全局坐标转换矩阵，并将A放入已匹配拍摄点集合P中。3.根据权利要求2所述的方法，其特征在于，当根据A中的各点云特征点及其点云特征描述子，未在已匹配拍摄点集合P中寻找到A的匹配拍摄点B时，所述根据该拍摄点A的图像特征点及其对应的图像特征描述子，在其它拍摄点中寻找匹配拍摄点B包括：根据A中的各图像特征点及其图像特征描述子，以及已匹配拍摄点集合P中的各拍摄点的图像特征点及其图像特征描述子，在已匹配拍摄点集合P中寻找A的匹配拍摄点B；且，若寻找到，所述根据该相机旋转矩阵和设定的全局坐标系，计算A的全局坐标转换矩阵包括：根据该相机旋转矩阵和B的全局坐标转换矩阵，计算A的全局坐标转换矩阵，并将A放入已匹配拍摄点集合P中。4.根据权利要求3所述的方法，其特征在于，当根据A中的各图像特征点及其图像特征描述子，未在已匹配拍摄点集合P中寻找到A的匹配拍摄点B时，所述方法进一步包括：将A重新放入Q的队尾。5.根据权利要求1所述的方法，其特征在于，所述得到该拍摄点的图像特征点及其对应的图像特征描述子之后进一步包括：对该拍摄点的全景图像进行物体提取，得到该拍摄点的所有物体的类型和位置；当根据该拍摄点A的图像特征点及其对应的图像特征描述子，在其它拍摄点中未寻找到匹配拍摄点B时，所述方法进一步包括：根据该拍摄点A的所有物体的类型，以及已匹配拍摄点集合P中的各拍摄点的所有物体的类型，在其它拍摄点中寻找匹配的拍摄点B，根据A和B的匹配物体对的位置的三维相机坐...

【专利技术属性】
技术研发人员：谢哲，
申请(专利权)人：贝壳技术有限公司，
类型：发明
国别省市：北京,11