从单幅图像重建三维建筑模型的方法技术

本发明专利技术提出一种从单幅图像重建三维建筑模型的方法，该方法重建更灵活的、具有语义的、可变化的三维建筑模型。使用单幅图像，通过用户简单的交互，标定相机参数，将建筑楼层分割成网格结构，将建筑三维立面曲面展开，通过校正平面恢复其初始三维尺寸，基于三维立面曲面的对称性，用Levenberg–Marquardt方法优化三维曲面及相机参数。最后采用基于过程的方法生成三维建筑模型。

【技术实现步骤摘要】

本专利技术属于计算机虚拟现实、基于图像建模
，具体属于识别图像标定分害!]，建筑组件生成，生成三维建筑模型领域，特别涉及一种从单幅图像生成建筑模型的方法。
技术介绍
基于单幅图像的建模无法通过三角形法求得三维点，因此从单幅图像恢复三维模型是一个病态问题，需要额外的信息才可能求解。为此，研究人员利用对称、平行和垂直关系、平行六面体等约束条件重建三维模型。Muller基于过程建模的方式，从单幅图像构建现代建筑的立面模型。用单幅图像作为约束，Xu使用数据驱动的方法，将 模型库中候选模型变形，得到目标模型。Jiang提出了采用单幅图像生成对称模型的方法，如图3所示，基于棱台标定图像，但是建筑结构需要用户交互地画出来。Wu等提出了利用建筑的重复性，从单幅图像重建稠密的三维点云。如图4所示，输入一张建筑图像，自动找到其中的重复结构，然后匹配重复元素之间的对应点，并且用GraphCut方法优化包含几何重复性、一致性、图像相似性和空间一致性的能量函数。Hong W, Yang AY, Huang K, et al. On Symmetry and Multiple-ViewGeometry:Structure, Pose, and Calibration from a Single Image. Int. J. Comput.Vision,2004，60:241265.Liebowitz D,Criminisi A, Zisserman A.Creating Architectural Modelsfom Images. Proceedings of Annual Conference of the European Association forComputer Graphics (Eurographics), volumel8, 1999. 39-50.Wilczkowiak M, Sturm P, Boyer E.Using geometric constraints throughparallelepipeds for calibration and3D modeling. IEEE Trans. Pattern Anal.Mach. Intell.，2005，27 (2) : 194 - 207.MulIer P, Zeng G, Wonka P, et al. Image-based procedural modeling offacades. ACM Trans. Graph. , 2007, 26(3):85.Xu K, Zheng H, Zhang H, et al. Photo-inspired model-driven3D objectmodeling. ACM Trans. Graph.,2011, 30:80:1 - 80:10.Wu C, Frahm J, Pollefeys M. Repetition-based dense single-viewreconstruction . Proceedings of Computer Vision and PatternRecognition (CVPR), 2011IEEE Conference on,2011.3113 - 3120.
技术实现思路
本专利技术要解决的技术问题在于提供一种，克服上述现有技术中存在的问题。本专利技术的技术方案为，包括如下步骤步骤(I)将建筑分割成网格结构，并恢复相机焦距后，通过校正平面，初步恢复建筑立面三维曲面。步骤(2)使用Levenberg - Marquardt方法优化建筑三维曲面和相机参数。步骤(3)生成建筑规则和建筑组件，生成建筑模型。其中，所述步骤(I)中，将建筑分割成网格结构，并恢复相机焦距后，通过校正平面，初步恢复建筑立面三维曲面，方法为根据水平方向与竖直方向的垂直性，标定相机焦距。分割建筑楼层和窗户，得到网格模式，最后依次校正每个平面，初步恢复三维曲面。其中，所述步骤(2)中，使用Levenberg-Marquardt方法优化建筑三维曲面和相机参数，方法为根据二维和三维对应点恢复相机投影矩阵，使用PCA计算对称平面。建立包含对称约束和二维三维点对应约束的能量函数，用Levenberg - Marquardt方法优化该函数，优化同时三维建筑曲面和相机参数。 其中，所述步骤(3)中，生成建筑规则和建筑组件，生成建筑模型，方法为生成窗户等建筑组件，生成建筑规则，最后生成可变化的建筑模型。本专利技术与现有技术相比的优点在于I、提出一种从单幅图像中恢复三维曲面的方法；2、我们提出一种基于组件的建模方法。附图说明图I将建筑图像分割成楼层和窗户；图2优化后生成的三维曲面；图3生成的三维建筑模型；图4本专利技术方法的步骤。具体实施例方式下面结合附图详细介绍本专利技术的具体实施方式。本专利技术解决现有技术存在的技术问题采用的技术方案为一种，该方法具体实现步骤如下步骤(I)将建筑分割成网格结构，并计算相机焦距后，通过校正平面，初步恢复建筑立面三维曲面。根据水平和竖直方向的正交性，计算相机焦距。/ 二卜)(I) I Αν, +其中llX+l2y+l3z = O和(vx，vy)分别是水平消影线和竖直消影点。图I使用相机对建筑物拍照，如其所示，每条曲线是分段线性且平行的，可以看作是由多组平行线段组成。已知相机内参，我们旋转相机，使相机成像平面依次与这些线段平行，这样将图像依次校正，计算这些线段的长度和线段之间的夹角，从而得到二维分割曲线的三维曲线。即得到分割线交点的三维坐标。步骤(2)使用Levenberg - Marquardt方法优化建筑三维曲面和相机参数。得到图I中分割线交点的三维点{巧丨^后，根据三维点和二维点的对应关系，计算相机投影矩阵Prο对于对称的建筑，我们用PCA (Principal Component Analysis)方法计算其对称平面Psym,通过最小化函数d优化变量仍，Pr和Psym，d = aZ plane — dis2((Pi + P/ ) / 2) +β^ angle2 (Pi - P/ ) i i+ ,Σ po 土时―dis2 (P1P1, P1) + curve — dis2(P}.' ) II其中Pi'是？1的对称点，Pi是？1在图像上的对应点。plantdisUPi+Pi’)/^)为空间点Pi和P/连线的中点到对称平面Psym的距离，angle (Pi-Pi')为向量Pi-P/与对称平面 Psym法线的夹角的正弦；point_dis(Pr Pi, Pi)为点P1Pi与点Pi的距离；curve_dis2 (Pi')为点Pi'到由点巧} =1构成曲线的最小距离。其中前两项约束？1与？/是关于Psym对称的，第三项约束Pi投影点与Pi是对应的，第四项约束Pi'在由丨构成的曲面上。我们硬约束在同一水平高度上的点坐标在同一水平面上，同一竖直线上的点共线且与水平面垂直。Pi'初始化为三维曲线上与Pi关于Psym对称点距离最近的点。使用Levenberg-Marquardt方法优化函数d。每次优化迭代中，依次优化变量，Psyffl和Pp其它变量固定，直到收敛为止。其中α，β，Y和δ为权重系数,试验中我们本文档来自技高网...

【技术保护点】
一种从单幅图像重建三维建筑模型的方法，其特征在于：包括如下步骤：步骤（1）将建筑分割成网格结构，并恢复相机焦距后，通过校正平面，初步恢复建筑立面三维曲面；步骤（2）使用Levenberg–Marquardt方法优化建筑三维曲面和相机参数；步骤（3）生成建筑规则和建筑组件，生成建筑模型。

【技术特征摘要】

【专利技术属性】
技术研发人员：齐越，侯飞，
申请(专利权)人：北京天人同达软件科技有限公司，
类型：发明
国别省市：