基于地基图像和从天上拍摄的图像的组合的三维模型方法技术

本发明专利技术涉及一种基于地基图像(54)和从天上拍摄的图像(44)的组合的三维模型方法。根据本发明专利技术，基于从天上拍摄的图像(44)的现有3D模型(46)与从地面水平拍摄的图像(54)匹配，所有图像包含关于当来自地面水平的图像(54)和从天上拍摄的图像(44)被拍摄时相机的位置和空间方位角以及每个像素的方向的信息。该方法提供了一种自动实施的成像，从而解决或者至少减轻了遮挡问题。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种基于地基(ground based)图像和从天上(from above)拍摄的图像的组合的三维模型方法。在此上下文中，地基图像将包含直接从地面拍摄的图像以及例如通过低空飞行直升机从低高度拍摄的图像。
技术介绍
将从地基设备拍摄的图像与借助例如飞机从空中拍摄的图像组合的基本思想例如尤其从US2008/0221843A1是已知的，并且从Fruhe C.等人在2003年IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition(CVPR' 03)的会议录中的文章〃Constructing 3D City Model by Merging Ground-Based and Airborn views〃也是已知的。根据这两篇文献的将从地基设备拍摄的图像和从空中拍摄的图像组合的解决方案是相当复杂的，并且涉及手动处理所述图像信息。再者，没有关于由遮挡(occlusion)引起的问题的复杂度的讨论。导致遮挡成为遮蔽(obscuration)的对象的示例为来自树木、灯杆、汽车等的遮蔽。还可以注意到，目前有可用的解决方案以根据从街道拍摄的图像建立视图，并且所述图像经常称为〃街道视图〃。这些解决方案是基于从具有已知方向的已知地理参考位置拍摄的图像，该图像经常涵盖了 360度。通过选择例如在地图上的特定点，有可能从该点查看环境。除了在观察者的眼睛中进行的解释(interpretation),未建立其它的三维模型。本专利技术的目的是获得一种三维模型方法，该三维模型方法实施起来较不复杂，自动地实施，可以考虑到问题的遮挡复杂度，并且该三维模型方法可以建立现实或真实三维世界的详尽模型。
技术实现思路
本专利技术的目的是通过根据第一段的三维方法来实现，该三维方法特征在于，基于从天上拍摄的图像的现有3D模型与基于从地面水平拍摄的图像的3D模型匹配从而改进整个3D模型。从地面拍摄的图像优选地包含关于来自地面水平的图像被拍摄时相机的位置和空间方位角以及每个像素的方向的信息。基于从天上拍摄的图像并且与从地面水平拍摄的图像匹配的三维模型使能处理例如在树木位于建筑物前方时通过分裂对树木和建筑物的观察从地基系统看到的多个深度。优选地，基于从地面水平拍摄的图像的3D模型是由基于从天上拍摄的图像的现有3D模型控制。根据优选方法，通过使用基于从地面水平拍摄的图像的图像来替换基本上竖直和向下倾斜的表面，具有高分辨纹理的从地面水平拍摄的图像信息被用于增强基于从天上拍摄的图像的现有3D模型的图像。使用从地面拍摄的高分辨图像作为整个模型中的纹理导致整个模型的增加的图像质量。根据又一优选方法，基于从天上拍摄的图像的现有3D模型与从地面水平拍摄的图像的匹配是基于所拍摄的图像的位置和空间方位角信息。根据另一优选方法，所有从地面水平可得到的图像以及从天上拍摄的图像被考虑用于从几何和纹理两个方面评估三维模型。这种方法在建立最后三维模型中利用了最多的图像信息。有利地，诸如屋顶的高水平表面根据从天上拍摄的图像被评估和纹理化，并且诸如房屋立面的竖直表面根据从地面水平拍摄的可用图像被评估并且根据这些图像被纹理化。这种评估方式确保在建立最后三维模型中使用了高质量图像信息。 当从地面水平以及从天上拍摄图像时，图像的确切位置和确切空间方位角之间很可能出现一些偏差。为了最小化这种偏差，提出将从地面拍摄的图像互相关联以补偿位置和空间方位角偏差。还提出在3D模型中从地面拍摄的图像与在3D模型中从天上拍摄的图像关联，从而补偿位置和空间方位角偏差。用于来自地面水平的相互的图像以及与来自天上的图像组合的拟合过程是有可能的。附图说明现在将参考附图更详细描述本专利技术，在附图中 图Ia-Id示意性说明涉及遮蔽的遮挡问题并且使得 图Ia为说明通过地基相机成像的来自天上的房屋的视图， 图Ib为图Ia的房屋的地基视图， 图Ic为将从天上成像的图Ia和Ib的房屋的从天上的视图，以及 图Id为房屋的地基视图，说明通过从天上进行相机成像的成像。图2示意性说明从天上捕获图像。图3a说明用于收集数据的已知立体方案的示例。图3b说明将用于收集数据的提出的立体方案。图4示意性说明基于地基图像和从天上拍摄的图像的组合的模型方法的示例。具体实施例方式现在将参考图Ia-Id描述遮蔽问题，图Ia-Id示出了房屋I以及位于房屋I前方的树木2。根据图la，相机被定位以在位置3. 1-3. 4拍摄图像并且图像视场用角度指示4.1-4. 4标示。这些图像用于形成三维地基模型。从所示的角度指示明显看出，树木2特别是通过其树冠8挡住部分的房屋立面9。另外，取决于光照条件，树木2将在房屋立面9上产生未示出的阴影。根据图Ic和ld，说明从天上成像。同样，示出四个相机位置5. 1-5. 4，相应角度指示6. 1-6. 4标示所拍摄图像的图像视场。这些图像用于形成从天上拍摄的三维模型。当从空中(airborne)系统从天上成像时,真实环境的某些部分被排除不被成像。这种情况下，树木2的树干7是不可见的。然而通过组合来自地基图像的图像信息和来自空中系统的图像，大多数遮挡和遮蔽问题被满足。如果基于空中图像的三维模型是可用的，此先验知识可以用于处理树木2的遮蔽，即在观察方向上若干不同深度必须被处理。另一方面，从天上拍摄的三维模型无法观察到树木树干7，该树木树干7可以从地基三维模型建模。现在讨论用于收集将用于立体成像的图像的原理。根据图2，设有相机12的飞机11在景观13上方用实线在第一位置示出并且用虚线在第二位置示出。如图中说明，景观高度不同并且存在诸如房屋的陡峭配置14以及诸如绵延山峦的更绵延的配置15。在第一位置的相机的位置用X、I、Z表示并且空间方位角用α、β、Y表示。因此,旋转和位置的所有6个自由度是可用的。所示的第二相机位置的相应位置和空间方位角用x’、y’、z’和α’、β’、Y’表示。相机12对景观的覆盖对于第一位置用线16、17标示并且对于第二位置用线16’、17’标示。当比较景观的从第一位置拍摄的图像和从第二位置拍摄的图像时，交叠部分18可以被识别。如果交叠18部分被观察到，则可以看出从第一位置拍摄的图像缺少有关陡峭配置14的竖直右部14. I的图像信息，而相同的竖直右部14. I容易从第二位置成像。因此，拥有覆盖同一场景位置的多个图像增大了构建与真实世界更一致的三维图像的可能性。 图3a示出已知立体方案的示例。通过在景观上方飞行设有向下看的相机的飞机或其它空中交通工具，使得在飞行方向上存在大约50-60%的交叠，并且对于相邻飞行大体上没有交叠以及实践中大约10%的交叠从而避免空洞，由此获得这种方案。在图中，上灰色条带19说明第一飞行的足印并且下灰色条带20说明第二飞行的足印。在条带19、20中，来自每隔一个图像的足印被说明为实矩形23-30，而位于它们之间的来自每隔一个图像的足印被说明为由垂直于飞行方向22的虚线界定的矩形31-36。通过所示的方案，地面上的每个点用两个图像覆盖并且根据这些图像可以计算立体评估。图3b示出可以使用的立体方案的另一提出的示例。在所提出的方案中，上和下条带19、20说明在飞行方向22上80%的交叠以本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：L哈格伦，J博格，I安德森，F伊萨克森，
申请(专利权)人：萨博股份公司，
类型：
国别省市：