用于产生三维特征数据的设备、用于产生三维特征数据的方法、以及其上记录有用于产生三维特征数据的程序的记录介质技术

立体视差计算单元(40)计算立体视差的预测值。线提取单元(50)在图像中执行线提取。线分类单元(60)将提取的线分类为不同的线类型，作为特征的内部屋顶线、特征的外部轮廓线、阴影区域的轮廓线等。无意义线消除单元(70)通过下面的处理来消除不存在于真实世界中的线。立体视差校正单元(90)基于由线对确定单元(80)确定的线对来校正视差的预测值。线对聚类单元(110)将属于相同特征的所有线对聚类为一个群集。平面组合单元(130)找出由平面提取单元(120)提取的每一个特征的所有平面在三维空间中的位置关系，并且产生描述每一个特征的整体结构的三维模型。

【技术实现步骤摘要】
【国外来华专利技术】用于产生三维特征数据的设备、用于产生三维特征数据的方法、以及其上记录有用于产生三维特征数据的程序的记录介质
本专利技术涉及用于产生三维特征数据的设备、用于产生三维特征数据的方法、以及其上记录有用于产生三维特征数据的程序的记录介质，它们均能以低成本来产生反映详细的屋顶结构的高精度三维特征数据。
技术介绍
产生特征(自然或人造的所有陆地对象)的三维模型的传统技术作为以下技术已知:采用通过航空激光扫描仪获得的地表的三维点云数据作为输入数据并且基于其不同的频率特性将其分类为两个部分(即，特征和地面)，然后计算通过分类获得的每一个特征的轮廓多边形的三维地理坐标从而产生所有特征的三维模型。作为上述技术的示例，专利文献I公开了通过利用来自激光扫描仪的数据来产生三维城市空间模型的方法和系统。根据专利文献I中公开的技术，一般地说，产生的三维特征模型由于激光数据的有限分辨率而粗糙，且在该情况下，缺点在于:具体地，不能高度精确地表达特征的屋顶结构。例如，基于具有Im分辨率的激光数据所产生的三维特征模型的屋顶部分不能表达实际建筑物的屋顶结构的细节。近年来，通过以与输入的高分辨率立体航空照片对相同的分辨率产生数字表面模型(DSM)(这使得能够产生比激光数据更精细的三维数据并且还能够产生特征的屋顶结构的更精细的表达)，出现了新的技术。此外，航空摄影测量的成本低于激光数据的成本。此外，专利文献2公开了以下技术:首先拍摄地面上的建筑物的图像，同时记录拍摄图像的位置的经度和纬度、然后允许操作员指定建筑物的结构平面的顶点、最后基于图像和GPS信息来计算指定的顶点的三维坐标，从而产生建筑物的三维模型。根据专利文献2的技术，针对每一个建筑物的大量手动工作是必需的，例如，图像拍摄、顶点指定等，且因此成本变高，特别是在例如具有高密度的住宅建筑物的宽阔的住宅街道的情况下。此外，对地面进行图像拍摄具有一些限制，使得不能处理市区中的高建筑物。在这些情况下，例如，非专利文献I公开了用于通过使用立体航空照片对来产生特征的三维模型的三维重构技术。非专利文献I公开了以下技术:第一，从立体航空照片对中检测线，第二，通过分析在立体对的左图像和右图像中的线与其相邻线之间的几何关系，通过称作感知分组的技术来提取具有诸如平行或垂直关系等的特殊几何关系的线组，随后提取具有矩形轮廓的特征，以及第三，通过立体匹配获得特征轮廓的三维坐标，从而产生所有特征的三维模型。此外，非专利文献2公开了与非专利文献I中的技术类似的技术，该技术通过感知分组仅收集与每一个特征相关联的边缘，以得到每一个矩形建筑物的轮廓，并且基于通过立体匹配所提前计算的视差图(disparity map)来获得三维建筑物模型。引用列表专利文献专利文献1:日本专利申请公开N0.2002-074323专利文献2:日本专利申请公开N0.2004-102474非专利文献非专利文献1:R.Mohan, R.Nevatia, Using Perceptual Organization toExtract 3-D Structures , IEEE Transactions on Pattern Recognition and MachineIntelligence, vol.11,n0.11, pp.1121 to 1139, Nov.1989。非专利文献2:T.Dang, 0.Jamet, H.Maitre, Applying Perceptual Groupingand Surface Models to the Detection and Stereo Reconstruction of Buildingin Aerial Imagery , XVIII Congress of ISPRS, Comm.1ll, Int.Archives ofPhotogrammetry and Remote Sensing, Vol.30,pp.165 to 172,Sep.1994。
技术实现思路
技术问题上文解释的传统技术具有以下缺点。如作为示例的专利文献I中的技术等的技术具有以下缺点:这种技术难以反映图像中的特征(即，建筑物、建筑结构等)的屋顶上的精细结构。这是因为由于如上文所解释的激光数据的有限分辨率，因此不能获得高精度的屋顶息。如作为示例的专利文献2中的技术等的技术需要高人力成本，特别是当处理具有高建筑物密度的住宅街道时，并且由于对地面上的图像拍摄的限制，因此该技术也不能处理高建筑物。因此，为了处理宽区域中的各种建筑物，必须基于航空照片或卫星图像来产生三维数据。如非专利文献I和2中的技术等的技术仅能够通过感知分组来产生具有简单成形轮廓(例如，矩形屋顶)的特征的三维模型。然而，当在具有高住宅建筑物密度的住宅街道的情况下提取的线的数量非常高时，感知分组将存在问题。此外，因为相同街区中的大多数住宅建筑物通常被建在与道路平行的相同方向上，因此与住宅建筑物的每一个提取的线具有平行关系和垂直关系的线的数量变得相当大，因而难以仅基于简单的几何关系来提取每一个住宅建筑物的轮廓。此外，在高建筑物的情况下，视差非常大，因此存在以下缺点:不能找到分别处于右图像和左图像中的一对相应线，而是将这对相应线分别与其它线错误地关联。提出了本专利技术以处理这些缺点，并且本专利技术的目的是使得能够以低成本来产生反映详细屋顶结构的高精度三维特征数据。问题的解决方案本专利技术的第一示例方案提供了一种三维特征数据产生设备，其根据立体图像来产生特征(即，住宅建筑物、建筑结构等)的三维数据，以及所述三维特征数据产生设备包括:立体视差计算单元，计算与地形和所有特征的高度信息有关的立体视差的预测值；线提取单元，从图像中提取线，所述线是表示每一个特征的屋顶的内部结构的特征线、表示每一个特征的外部形状的轮廓线、和每一个非特征对象的特征线；线分类单元，根据由所述线提取单元提取的线在真实世界中的相应意义来将所述线分为三类，即，特征的内部屋顶线、特征的外部轮廓线、和阴影区域的轮廓线；无意义线消除单元，消除不存在于真实世界中而是由于阴影或图像噪声的影响而产生的线；线对确定单元，针对立体图像对中的一个图像中的每一条线，基于来自所述立体视差计算单元的视差信息、每一条线周围的相邻区域的颜色分布图案和纹理分布图案、以及线分类结果，来确定所述每一条线在所述立体图像对中的另一图像中的相应线；立体视差校正单元，基于由所述线对确定单元获得的每一个线对的对应关系来计算更精确的视差值，以校正由所述立体视差计算单元获得的预测立体视差值；线对聚类单元，首先在由所述线对确定单元获得的所有线对中仅选择与包括住宅建筑物、建筑结构等在内的特征有关的线对，然后利用每一个线对的视差信息和若干线对的几何关系，以最终将属于相同特征的线对聚类为一个线对群集；平面提取单元，基于由所述线对聚类单元获得的每一个线对群集中的线对的几何关系和视差信息来提取构成特征的基本平面；以及平面组合单元，计算由所述平面提取单元提取的每一个特征的平面之间的三维相对位置关系，以产生表示每一个特征的整体结构的三维模型。本专利技术的第二示例方案提供了一种三维特征数据产生方法，用于根据立体图像来产生特征(即，住宅建筑物、建筑结构等)的三维数据，以及所本文档来自技高网...

【技术保护点】
一种三维特征数据产生设备，根据立体图像来产生特征，即，住宅建筑物、建筑结构等的三维数据，以及所述三维特征数据产生设备包括：立体视差计算单元，计算与地形和所有特征的高度信息有关的立体视差的预测值；线提取单元，从图像中提取线，所述线是表示每一个特征的屋顶的内部结构的特征线、表示每一个特征的外部形状的轮廓线、和每一个非特征对象的特征线；线分类单元，根据由所述线提取单元提取的线在真实世界中的相应意义来将所述线分为三类，即，特征的内部屋顶线、特征的外部轮廓线、和阴影区域的轮廓线；无意义线消除单元，消除不存在于真实世界中而是由于阴影或图像噪声的影响而产生的线；线对确定单元，针对立体图像对中的一个图像中的每一条线，基于来自所述立体视差计算单元的视差信息、每一条线周围的相邻区域的颜色分布图案和纹理分布图案、以及线分类结果，来确定所述每一条线在所述立体图像对中的另一图像中的相应线；立体视差校正单元，基于由所述线对确定单元获得的每一个线对的对应关系来计算更精确的视差值，以校正由所述立体视差计算单元获得的预测立体视差值；线对聚类单元，首先在由所述线对确定单元获得的所有线对中仅选择与包括住宅建筑物、建筑结构等在内的特征有关的线对，然后利用每一个线对的视差信息和若干线对的几何关系，以最终将属于相同特征的线对聚类为一个线对群集；平面提取单元，基于由所述线对聚类单元获得的每一个线对群集中的线对的几何关系和视差信息来提取构成特征的基本平面；以及平面组合单元，计算由所述平面提取单元提取的每一个特征的平面之间的三维相对位置关系，以产生表示每一个特征的整体结构的三 维模型。...

【技术特征摘要】
【国外来华专利技术】2011.06.29 JP 2011-1438351.一种三维特征数据产生设备，根据立体图像来产生特征，即，住宅建筑物、建筑结构等的三维数据，以及所述三维特征数据产生设备包括: 立体视差计算单元，计算与地形和所有特征的高度信息有关的立体视差的预测值；线提取单元，从图像中提取线，所述线是表示每一个特征的屋顶的内部结构的特征线、表示每一个特征的外部形状的轮廓线、和每一个非特征对象的特征线； 线分类单元，根据由所述线提取单元提取的线在真实世界中的相应意义来将所述线分为三类，即，特征的内部屋顶线、特征的外部轮廓线、和阴影区域的轮廓线； 无意义线消除单元，消除不存在于真实世界中而是由于阴影或图像噪声的影响而产生的线； 线对确定单元，针对立体图像对中的一个图像中的每一条线，基于来自所述立体视差计算单元的视差信息、每一条线周围的相邻区域的颜色分布图案和纹理分布图案、以及线分类结果，来确定所述每一条线在所述立体图像对中的另一图像中的相应线； 立体视差校正单元，基于由所述线对确定单元获得的每一个线对的对应关系来计算更精确的视差值，以校正由所述立体视差计算单元获得的预测立体视差值； 线对聚类单元，首先在由所述线对确定单元获得的所有线对中仅选择与包括住宅建筑物、建筑结构等在内的特征有关的线对，然后利用每一个线对的视差信息和若干线对的几何关系，以最终将属于相同特征的线 对聚类为一个线对群集； 平面提取单元，基于由所述线对聚类单元获得的每一个线对群集中的线对的几何关系和视差信息来提取构成特征的基本平面；以及 平面组合单元，计算由所述平面提取单元提取的每一个特征的平面之间的三维相对位置关系，以产生表示每一个特征的整体结构的三维模型。2.根据权利要求1所述的三维特征数据产生设备，其中，所述立体视差计算单元产生当前处理立体图像的多个尺度的下采样立体图像，在每一个尺度上计算视差，并且将多个尺度的视差信息进行组合以获得原始尺寸的图像中的视差的预测值。3.根据权利要求1所述的三维特征数据产生设备，其中，多尺度线提取单元根据以多尺度方式从所述立体图像中的一个图像获得的若干下采样图像来构造图像金字塔，从所述图像金字塔上的每一个层的图像中提取线，在特定限制下将从多个图像层中提取的线进行组合， 以最终输出原始尺寸的图像中的一个线集合。4.根据权利要求1至3中任意一项所述的三维特征数据产生设备，其中，所述线分类单元基于由所述立体视差计算单元获得的视差和输入的立体图像将由所述线提取单元提取的线分为两类，作为与特征有关的线和与特征无关的线；并且还基于与屋顶结构有关的线的不同特性将所述与特征有关的线分为两类，即，特征的内部屋顶线和特征的外部轮廓线；并且还将所述与特征无关的线分为三类，即，阴影区域的轮廓线、道路标线、和其它线。5.根据权利要求1或3所述的三维特征数据产生设备，其中，所述无意义线消除单元从由所述线提取单元提取的所有线的集合中消除由于图像噪声和阴影区域的影响所产生的线，所述所有线不仅包括上面消除的线，而且还包括在真实世界中有意义的线。6.根据权利要求1或3所述的三维特征数据产生设备，其中，所述无意义线消除单元接收从外部输入的包括与所述立体图像中表示的区域相同的区域在内的地图信息，将地图与立体图像对齐以保证其相同位置的对应关系，基于所述地图信息来确定无效区域，以及将所述无效区域中的所有线作为噪声线进行消除。7.根据权利要求1或3所述的三维特征数据产生设备，其中，所述线对确定单元针对由所述线提取单元在所述立体图像中的一个图像中提取的每一条线，在搜索其在另一图像中的相应线时，基于由所述线分类单元分类的线类型，根据包括匹配分数在内的标准来...

【专利技术属性】
技术研发人员：王晶，
申请(专利权)人：NEC软件系统科技有限公司，
类型：发明
国别省市：日本;JP