一种基于视觉三维重建的古建筑模型生成方法和装置制造方法及图纸

本发明专利技术涉及一种基于视觉三维重建的古建筑模型生成方法和装置。该方法包括：1)获取不同视角的古建筑图像；2)对古建筑图像进行特征提取，并进行特征匹配；3)根据特征匹配的结果，计算图像拍摄时刻的摄像机相对位置姿态和古建筑稀疏三维点云；4)根据图像拍摄时刻的摄像机相对位置姿态和古建筑稀疏三维点云，利用图像面片匹配获取古建筑稠密三维点云；5)根据古建筑稠密三维点云，生成古建筑三角面片模型；6)利用古建筑三角面片模型，根据三维点与图像的匹配关系，计算纹理映射并生成古建筑三维模型。本发明专利技术能够快速有效的实现从图像到三维模型的自动生成，具有安全、成本低、可实施性强等优点，能够满足目前古建筑数字化的需求。

A method and device for generation of ancient building models based on 3D Vision Reconstruction

The invention relates to a method and a device for generating ancient building models based on 3D vision reconstruction. The method includes: 1) acquiring images of ancient buildings from different perspectives; 2) extracting features from the images of ancient buildings and matching them; 3) calculating the relative position and attitude of cameras and sparse 3D point clouds of ancient buildings according to the results of feature matching; 4) calculating the relative position and attitude of cameras according to the photographing time. Thick 3D point clouds of ancient buildings are obtained by matching with sparse 3D point clouds of ancient buildings. 5) Triangular patch models of ancient buildings are generated from dense 3D point clouds of ancient buildings. 6) According to the matching relationship between 3D points and images, texture mapping is calculated and 3D models of ancient buildings are generated by using triangular patch models of ancient buildings. The invention can quickly and effectively realize the automatic generation from image to 3D model, has the advantages of safety, low cost and strong practicability, and can meet the requirements of digitization of ancient buildings at present.

【技术实现步骤摘要】
一种基于视觉三维重建的古建筑模型生成方法和装置
本专利技术属于计算机视觉领域，具体涉及一种基于视觉三维重建技术的古建筑三维模型生成方法和装置。
技术介绍
古代建筑作为特殊的文化信息载体，是人类文明的艺术瑰宝，保护它们是当代义不容辞的责任。中国古代建筑具有悠久的历史传统和光辉的成就，但中国古建筑多为木质结构，并且辅以彩绘和雕刻，通常结构复杂精巧。然而中国古建筑的木质特征使得对其保护面临巨大挑战。对中国古代建筑进行三维数字化保护是对中国建筑精髓传承和文物保护的重要手段。基于图像的三维重建是指结合多视角几何理论和计算机视觉与算法理论，从若干副图像中恢复物体或场景的三维模型的技术。近年来基于图像的三维重建技术在文物保护的应用需求越来越多，其中一个主要应用是对古建筑的数字化建模研究。基于图像的三维重建技术相比传统的激光扫描技术，具有安全、成本低、可实施性强等优点，在古文物的数字化研究中逐渐被广泛采用。但目前还没有能够生成古建筑三维模型的有效方法。
技术实现思路
本专利技术的目的在于提供一种基于视觉三维重建的古建筑三维模型生成方法和装置，能够快速有效的实现从图像到三维模型的自动生成。本专利技术所采用的技术方案是：一种基于视觉三维重建的古建筑三维模型生成方法，包括以下步骤：步骤一、获取不同视角的古建筑图像；步骤二、对步骤一中获得的古建筑图像进行特征提取，并进行特征匹配；步骤三、利用步骤二中特征匹配的结果，计算图像拍摄时刻的摄像机相对位置姿态和古建筑稀疏三维点云；步骤四、根据图像拍摄时刻的摄像机相对位置姿态和古建筑稀疏三维点云，利用图像面片匹配获取古建筑稠密三维点云；步骤五、根据古建筑稠密三维点云，生成古建筑三角面片模型；步骤六、利用古建筑三角面片模型，根据三维点与图像的匹配关系，计算纹理映射，并生成古建筑三维模型。进一步地，步骤一利用定焦摄像机从不同角度采集古建筑的图像，摄像机运动方向尽量保持水平移动，保证每一个细节至少有两张图像覆盖。进一步地，步骤二所述特征为Sift(Scale-InvariantFeatureTransform，尺度不变特征转换)特征、SURF(SpeededUpRobustFeature，加速鲁棒性特征)、ORB(OrientedFASTandRotatedBRIEF)特征等。进一步地，步骤三包括以下子步骤，其中S表示古建筑图像集合，Ps表示点云集合，S1为已计算姿态的图像集合，Q为摄像机姿态集合：1)利用张正友标定法，标定出定焦摄像机的内参数K；2)选取两张匹配点最多的图像I0，I1，利用8点算法，令I0的姿态为T0＝[I0]，其中I为单位阵，0为3维列向量，计算该两张图像之间的相对刚体变换T1，将I0，I1加入集合S1；利用T0，T1以及图像匹配结果，利用三角化方法计算三维点，将三维点加入集合Ps；T0和T1加入集合Q；3)对于S-S1中的其他图像Ii，查找Ii与S1中图像匹配点最多的图像Ij，获取Ii与Ij的匹配点集Pij，根据已重建三维点的位置，计算Ii相对I0的刚体变换Ti，同时计算Ii与S1中其他图像的匹配点的三维位置，加入集合Ps，Ti加入集合Q；4)对于集合Q和集合Ps，利用SBA捆绑调整算法进行优化，最小化Ps中每一个点Pi在对应图像上的重投影误差，获取最优的摄像机姿态集和稀疏三维点集。进一步地，步骤四根据摄像机姿态，利用PMVS算法或CMVS算法获取古建筑稠密三维点云。进一步地，步骤五根据古建筑稠密三维点云，利用泊松算法进行三角网格剖分，生成古建筑三角面片模型。一种基于视觉三维重建的古建筑三维模型生成装置，其包括：古建筑图像获取模块，负责获取不同视角的古建筑图像；特征匹配模块，负责对古建筑图像进行特征提取，并进行特征匹配；摄像机姿态和稀疏三维点云计算模块，负责根据特征匹配的结果，计算图像拍摄时刻的摄像机相对位置姿态和古建筑稀疏三维点云；稠密三维点云计算模块，负责根据图像拍摄时刻的摄像机相对位置姿态和古建筑稀疏三维点云，利用图像面片匹配获取古建筑稠密三维点云；古建筑三角面片模型生成模块，负责根据古建筑稠密三维点云，生成古建筑三角面片模型；古建筑三维模型生成模块，负责利用古建筑三角面片模型，根据三维点与图像的匹配关系，计算纹理映射并生成古建筑三维模型。本专利技术的有益效果如下：本专利技术能够快速有效的实现从图像到三维模型的自动生成，具有安全、成本低、可实施性强等优点，能够满足目前古建筑数字化的需求。附图说明图1是实施例中计算摄像机相对位置姿态和古建筑稀疏三维点云的流程图。图2是实施例中获取的不同角度的古建筑图像示例图。图3是实施例中生成的三维模型图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清晰，以下结合附图对本专利技术进一步详细说明。本实施例主要利用大量古建筑图像，通过视觉三维重建的方法，自动化生成古建筑三维模型。该方法具有安全、成本低、可实施性强等优点，能够满足目前古建筑数字化的需求。本实施例的基于视觉三维重建技术的古建筑三维模型生成方法，包括以下步骤：1、获取不同角度古建筑的图像利用定焦摄像机从不同角度采集古建筑的图像S，摄像机运动方向尽量保持水平移动，保证每一个细节至少有两张图像覆盖。图2是实施例中获取的不同角度的古建筑图像示例图，包括(a)～(d)四张图像。2、对古建筑图像进行特征提取和特征匹配。分别对每一张图像提取Sift特征，分别匹配每两张图像的Sift特征。3、根据特征匹配结果计算摄像机姿态与稀疏三维点云。其具体流程如图1所示，包括以下步骤：3.1利用张正友标定法，标定出定焦摄像机的内参数K。3.2计算初始点云集合Ps，选取两张匹配点最多的图像I0，I1，利用8点算法，令I0的姿态为T0＝[I0]，其中I为单位阵，0为3维列向量，计算两张图像之间的相对刚体变换T1，将I0，I1加入已计算姿态的图像集合S1，利用T0，T1以及图像匹配结果，利用三角化方法计算三维点，将三维点加入集合Ps，T0和T1加入姿态集合Q。3.3对于S-S1(表示集合S和集合S1相减)中的其他图像Ii，查找Ii与S1中图像匹配点最多的图像Ij，获取Ii与Ij的匹配点集Pij，根据已重建三维点(加入集合Ps的三维点)的位置，计算Ii相对I0的刚体变换Ti，同时计算Ii与S1中其他图像的匹配点的三维位置，加入点云集合Ps，Ti加入集合Q。3.4对于所有计算获得的摄像机姿态集合Q，以及三维点集Ps，利用SBA(SparseBundleAdjustment)捆绑调整算法进行优化，最小化Ps中每一个点Pi在对应图像上的重投影误差，获取最优的姿态集和稀疏三维点集。其中，m，n分别为集合Q和集合Ps的元素个数，aj代表第j幅图像，bi代表第i个三维点，vij是一个二值变量，当第i个三维点在第j幅图像可见，vij＝1，反之vij＝0，π为第j幅图像的投影方程，d(x,y)为图像欧式距离，xij表示第i个三维点在第j副图像上的图像坐标。4、根据摄像机姿态获取古建筑稠密点云。根据摄像机PoseT0，…,Tn，利用PMVS(Patch-basedMulti-viewStereo)算法，获取稠密三维点云Pd。5、根据稠密点云生成并优化古建筑三角面片模型。利用稠密三维点云，利用泊松算法进行三角网格剖分，生成古建筑面片三角本文档来自技高网...

【技术保护点】
1.一种基于视觉三维重建的古建筑三维模型生成方法，其特征在于，包括以下步骤：1)获取不同视角的古建筑图像；2)对古建筑图像进行特征提取，并进行特征匹配；3)根据特征匹配的结果，计算图像拍摄时刻的摄像机相对位置姿态和古建筑稀疏三维点云；4)根据图像拍摄时刻的摄像机相对位置姿态和古建筑稀疏三维点云，利用图像面片匹配获取古建筑稠密三维点云；5)根据古建筑稠密三维点云，生成古建筑三角面片模型；6)利用古建筑三角面片模型，根据三维点与图像的匹配关系，计算纹理映射并生成古建筑三维模型。

【技术特征摘要】
1.一种基于视觉三维重建的古建筑三维模型生成方法，其特征在于，包括以下步骤：1)获取不同视角的古建筑图像；2)对古建筑图像进行特征提取，并进行特征匹配；3)根据特征匹配的结果，计算图像拍摄时刻的摄像机相对位置姿态和古建筑稀疏三维点云；4)根据图像拍摄时刻的摄像机相对位置姿态和古建筑稀疏三维点云，利用图像面片匹配获取古建筑稠密三维点云；5)根据古建筑稠密三维点云，生成古建筑三角面片模型；6)利用古建筑三角面片模型，根据三维点与图像的匹配关系，计算纹理映射并生成古建筑三维模型。2.如权利要求1所述的方法，其特征在于，步骤1)利用定焦摄像机从不同角度采集古建筑的图像，摄像机运动方向尽量保持水平移动，保证每一个细节至少有两张图像覆盖。3.如权利要求1所述的方法，其特征在于，步骤2)所述特征为Sift特征、SURF或ORB特征。4.如权利要求1所述的方法，其特征在于，步骤3)包括以下子步骤，其中S表示古建筑图像集合，Ps表示点云集合，S1为已计算姿态的图像集合，Q为摄像机姿态集合：3.1)利用张正友标定法，标定出定焦摄像机的内参数K；3.2)选取两张匹配点最多的图像I0，I1，利用8点算法，令I0的姿态为T0＝[I0]，其中I为单位阵，0为3维列向量，计算该两张图像之间的相对刚体变换T1，将I0，I1加入集合S1；利用T0，T1以及图像匹配结果，利用三角化方法计算三维点，将三维点加入集合Ps；T0和T1加入集合Q；3.3)对于S-S1中的其他图像Ii，查找Ii与S1中图像匹配点最多的图像Ij，获取Ii与Ij的匹配点集Pij，根据已重建三维点的位置，计算Ii相对I0的刚体变换Ti，同时计算Ii与S1中其他图像的匹配点的三维位置，加入集合Ps，Ti加入集合Q；3.4)对于集合Q和集合Ps，利用SBA捆绑调整算法进行优化，最小化Ps中每一个点Pi在对应图像上的重投影误差，获取最优的摄像机姿态集和稀疏三维点集。5.如权利要求4所述的方法，其特征在于，步骤3-4)采用以下公式进行优化：其中，m，n分别为集合Q和集合Ps的元素个数；aj代表第j幅图像；bi代表第i个三维点；vij是一个二值变量，当第i个三维点在第j幅图像可见，vij＝1，反之vij＝0；π为第j幅图像的投影方程；d表示图像欧...

【专利技术属性】
技术研发人员：陈占军，龚咏喜，王耀武，林姚宇，周青峰，
申请(专利权)人：哈尔滨工业大学深圳研究生院，
类型：发明
国别省市：广东,44