基于图像的三维模型的重建模方法技术

本发明专利技术提供了一种基于图像的三维模型的重建模方法。一方面，提供了一种建模系统。该建模系统包括处理器，用于产生与一栋或者多栋建筑结构相关的重建模图像；过程模型，用于整合源自所述一栋或者多栋建筑结构的航拍图像的近似模型以及源自所述一栋或者多栋建筑结构的摄于地面的图像的三维重构模型。

【技术实现步骤摘要】

本申请总的来说涉及计算机建模，具体地讲，涉及将多维模型应用于图像以更加 准确地显现建筑物结构的应用。
技术介绍
大型城市三维模型建模有许多重要的应用，研究者对于基于图像的半自动或全自 动的三维建模方法已经有一定程度的探索。基于图像的三维建模方法的优势在于能够得到 接近现实的某些纹理。但是，这些方法也有其局限性，就是它们只能恢复能够被传感器采集 到数据的建筑物部分。对于高层建筑的不可见部分却无能为力。如果利用一些先验知识， 其实可以根据能被传感器采集到的部分来推断出未被采集到的部分。然而到目前为止，只 有几个简单的先验被研究者使用，比如平面度，平滑度和建筑物的规整度等。但利用这些简 单先验得到的结果往往缺乏高层次的语义描述，这样就很难再重用已有的结果去大规模产 生更多的三维模型。形状文法规被广泛应用于大规模批量生成建筑模型，但这些方法很难 产生具有真实感的建筑模型。因此，现有的系统不能够胜任从已有的建筑图像中提取语义 信息以及创建形状文法规库并将其用于产生大规模具有真实感的建筑模型的需求。对于特定的应用，重新创建一个新的模型显得不是很有必要，因为许多时候现有 的模型足以应付相应的应用。这些需要的模型基本可以从网络或者已有的模型库中找到。 比如，三维的可视化地球的平台，其中就包括大批量的城市模型。而这些城市模型是在花费 了大量人力物力之后才得以建成的。不足的是这些模型一般都是用航拍图像创建的，因为 它们顶部的纹理都相对清晰，但几何形状的细节和纹理的质地都较差。另外，现有的街景服 务比如Google街景提供了清楚的拍摄于地面的街道全景图，但是它们并不能提供建筑物 的几何模型，而只是简单的图像信息。现有的建模方法包括基于产生式规则的建筑方法和基于图像的建模方法。基于产 生式规则的建筑方法是以乔姆斯基语法和形状语法为基础。其几何解释和推导控制是专门 为实现图形建模的要求而设计的。L系统就是其中的一种，现已被广泛用于建立植物模型。 对于建筑建模而言，基于产生式规则的建筑方法一般是由分裂规则结合其他语法规则并依 赖于用户提供的配置参数，进而产生建筑模型的。虽然文法系统本身得到了充分的研究，但 如何从已知信息中自动提取文法信息还几乎未被探索。现有的自动语法提取方案一般采用 了自上而下的图像分割方法来提取一组分割规则。然而，这些提取语法规则的方法仅仅局 限于具有非常规则结构的建筑物外墙，它们一般要求整个墙面只有一个格子状结构。基于图像的建模利用图像作为输入来重建出物体的三维几何模型和表示。从运动 中恢复出结构的办法(Structure from Motion, SFM)和多视点立体视觉是这种基于图像建模的方法的根基。通过规整这些算法重构出的三维点云，模型规整化过程可以最终产生 一个规则的三维网格模型。这个规整过程中的根本任务是对点云进行分析，即从非结构化 的三维点云中提取出结构化的三维网格模型。但在实际中会遇到各种各样的问题，比如通 常只有部分点云可以用于这个过程。规整过程一般需要人为设定一些先验假设。相对于传 统的光滑表面假设，最近越来越多的特定领域的知识也被用于这个分析过程中。比如有些 方法从可见的树枝提取结构信息进而合成出一棵完整树的模型；还有些方法使用了可展曲 面来模拟建筑物外观表面，并对模型边缘加以直线规则化限制来得到更加规则的建筑物模 型。上边对当前三维建模算法的描述仅仅是为了提供一个对已有算法各种不足之处 的简单总结，但并不是全面的概括和分析。与传统系统的比较以及在此所述的各种非限制 性实施例的对应优点将会在接下来的文章中得到进一步阐述。
技术实现思路
接下来是对此方法简单的整体阐述以及一些基本的技术描述。本概要并非一个全 面的概括。它的目的既不确定主要或关键的要素，也没有划定范围方面的透露。它的唯一 目的就是对于以下更详尽描述的总起和铺垫。本专利技术提供了用以基于图像的模型重建模的系统和方法。一方面，提供了一种建 模系统。该系统包括用于产生与一栋或者多栋建筑结构相关的重建模图像的处理器；以及 用于整合源自所述一栋或者多栋建筑结构的航拍图像的近似模型和源自所述一栋或者多 栋建筑结构的摄于地面的图像的三维重构模型的过程模型。另一个方面，提供了一种方法， 该方法包括接收一张或者多张建筑物结构的航拍图像和一张或者多张与建筑物结构相关 的从地面拍摄的图像。该方法包括对三维模型以及从航拍图像和从地面拍摄的图像的至少 一个运动序列重构出的三维结构进行配准(register)。该方法包括把三维模型以及从至少 一个运动序列重构出的三维结构分解成建筑物单元。该方法还包括从建筑单元中产生文法 规则以用于辅助建筑物结构的重建模成像。附图说明图1是基于图像的过程重建模系统的示意性框图。图2至图4展示了图1示出的系统所处理的示例性建模方面和图像。图5展示了图像的三维配准和重构。图6描述了使用包含规则(contain rule)来产生建筑物正墙纹理的过程。图7描述了使用采样点来产生建筑物正墙纹理的过程。图8展示了结合三维网格模型的原始纹理以及从地面拍摄图像进而抽取产生式 文法规则的过程。图9展示了被遮挡的不完全的纹理的合成以及补全。图10展示了从现有模型重建模图像的示例。图11展示了用于重建模建筑的示例性方法。图12展示了用于产生重建模的建筑或者其他结构的图像的系统。图13展示了一组用于触发计算机生成重建模建筑或者其他结构三维模型的计算机可读介质的指令。 具体实施例方式提供了用于对建筑进行重建模的系统和方法。一方面，提供了一种用于改善已有 模型的建模系统。该系统运行于计算机处理器并用于对一栋或者多栋的建筑模型进行重建 模。该系统的输入是一个建筑物的简单近似模型以及一张或者多张与此模型相关的图像。 系统的输出是对原来模型进行重建模并且改善后的具有丰富细节和真实纹理的建筑模型。在接下来的阐述中，相关词汇比如“组件”、“系统”、“模型”、“规则”、“网格”、“合成” 等都是倾向于指计算机领域的事物，尤其是计算机视觉和图形学相关的。比如，一个“组件” 的含义可以是，但不限于，一个运行于处理器的处理过程，一个处理器，一个物体或者一个 可执行文件，一个进程，一个程序或者是一台计算机。首先参照图1，展示了一种基于图像的过程重建模系统100，其用于改善已有模 型。系统100包括了一个预处理级110，预处理级110用于接收输入图像120以及运动恢复 结构(SFM)数据(相关的三维点云数据)130。相对应的近似三维模型140并行于预处理级 110被分析处理。尽管没有被显式的指出，系统100可以包括处理器以及其他电脑组件用于 执行各种系统模块，比如包括有形的计算机可读介质来存储元器件的各自的执行指令。预 处理级110以及简单三维模型140的输出被馈送到一个配准模块150。配准模块150细节 将会在以下文章给出。注册模块150的输出会被分解模块160进行处理。处理过程中，分解 模块160会从三维网格以及与其配准的纹理中分别提取出建筑物的产生式规则170和180。 三维网格的规则170以及纹理中包含的规则180作为纹理合成190的输入。纹理合成190 输出一个改善过的纹理并且包含建筑物的结构信息。这些纹理和信息作为重建模模块194 的输入，重建模模块本文档来自技高网...

【技术保护点】
１．一种建模系统，包括：处理器，用于产生与一栋或者多栋建筑结构相关的重建模图像；以及过程模型，用于整合源自所述一栋或者多栋建筑结构的航拍图像的近似三维网格模型以及源自所述一栋或者多栋建筑结构的摄于地面的图像的三维重构模型。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：权龙，赵鹏，方天，张宏辉，
申请(专利权)人：香港科技大学，
类型：发明
国别省市：HK