基于多尺度三维先验信息的屋顶分割方法、系统与设备技术方案

本发明专利技术涉及计算机视觉领域，具体涉及一种基于多尺度三维先验信息的屋顶分割方法、系统与设备，旨在提高屋顶分割的准确度和精细度。本发明专利技术的屋顶分割方法，首先对航拍图像进行多尺度超像素分割，得到多尺度的分割图层；然后针对每个尺度的分割图层，计算基于混合暗通道先验的逐像素深度信息、对应分割区域的近邻对比度信息、对应分割区域的形状先验信息，并计算近邻对比度信息和形状先验信息的混合概率图；接下来利用概率图模型融合多个尺度的混合概率图得到最终概率图，并根据最终概率图结合自动阈值分割方法获得初始屋顶分割结果；最后根据初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果。本发明专利技术提高了屋顶分割的准确度和精细度。

Roof segmentation method, system and equipment based on multi-scale three-dimensional prior information

The invention relates to the field of computer vision, in particular to a roof segmentation method, system and equipment based on multi-scale three-dimensional prior information, aiming at improving the accuracy and precision of roof segmentation. The roof segmentation method of the present invention firstly carries out multi-scale super-pixel segmentation of aerial image to obtain multi-scale segmentation layers, and then calculates the pixel-by-pixel depth information based on the mixed dark channel prior, the near-neighbor contrast information of the corresponding segmentation area and the shape prior information of the corresponding segmentation area for each scale segmentation layer, and calculates the near-neighbor contrast information and the shape prior information of the corresponding segmentation area. Mixed probability maps of prior information; then the final probability maps are obtained by fusing the mixed probability maps of multiple scales with the probability map model, and the initial roof segmentation results are obtained by combining the final probability maps with the automatic threshold segmentation method; finally, according to the initial roof segmentation results, the precise roof segmentation results are generated by using higher-order conditional random fields. The invention improves the accuracy and precision of roof segmentation.

【技术实现步骤摘要】
基于多尺度三维先验信息的屋顶分割方法、系统与设备
本专利技术涉及计算机视觉领域，具体涉及一种基于多尺度三维先验信息的屋顶分割方法、系统与设备。
技术介绍
从航拍数据中提取建筑物在城市规划、三维城市重建等领域有着广泛的用途。尽管该方面的研究在最近几年取得了较大的进展，但是想要设计一个通用、鲁棒的方法仍然十分具有挑战性。因为随着光照条件、反射率、图像分辨率和图像质量的变化，建筑物往往呈现出不同的外观。大部分现有的建筑物提取方法都是基于一些设定对图像特征进行分析和处理。作为人造物体，建筑物往往具有规则的形状、一致的颜色分布以及与周围环境明显区分等特点。尽管上述特点的有效性在很多研究中得到证明，问题在于图像特征和设定都存在不确定性。一方面，这些设定并不是对每一个建筑物都正确的，另一方面，从图像中提取的用于支撑这些设定的特征也往往存在错误信息，而且这些错误难以完全避免。有鉴于此，特提出本专利技术。
技术实现思路
为了解决现有技术中的上述问题，本专利技术提出了一种基于多尺度三维先验信息的屋顶分割方法、系统与设备，提高了屋顶分割的精度。本专利技术的一方面，提出一种基于多尺度三维先验信息的屋顶分割方法，包括以下步骤：对航拍图像进行多尺度超像素分割，得到多尺度的分割图层；针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息，并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图；利用概率图模型融合多个尺度的所述混合概率图得到最终概率图，并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果；根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果。优选地，“对航拍图像进行多尺度超像素分割，得到多尺度的分割图层”的步骤包括：利用均值漂移分割算法(Mean-shift)将所述航拍图像初始分割成多个过分割区域；计算每个过分割区域的最大内切圆直径，以该直径的大小作为该过分割区域的尺度；根据预先设定的3个递增的尺度阈值{th1,th2,th3}，先后对尺度小于所述尺度阈值的过分割区域进行近邻超像素区域融合，每次融合的输入都是上一层的输出，最终生成3个尺度递增的分割图层；其中，所述近邻超像素区域融合利用基于密度的聚类算法DBSCAN(Density-BasedSpatialClusteringofApplicationswithNoise)计算相应的超像素特征，将位置相邻且特征欧式距离最小的两个超像素融合成一个超像素。优选地，针对每个尺度的所述分割图层，计算所述基于混合暗通道先验的逐像素深度信息，具体包括：将所述航拍图像中暗通道值小于暗通道阈值的区域划分为近景区域，其余部分划分为远景区域；计算所述近景区域中各像素点的R、G、B颜色通道中的最小值；计算所述远景区域中预设大小的近邻区域内所有像素包含的R、G、B颜色通道中的最小值；将所述航拍图像中亮度大于亮度阈值的像素区域内的暗通道值进行衰减；将所述航拍图像各个像素的暗通道值取倒数，得到所述基于混合暗通道先验的逐像素深度信息d。优选地，针对每个尺度的所述分割图层，根据下式计算所述分割图层对应分割区域的近邻对比度信息：其中，w(rj)为近邻区域rj的权重，D(ri,rj)为两个近邻区域ri、rj之间的颜色及深度距离，i、j为近邻区域的序号，且i≠j；δ为近邻区域距离的标准差；xi、xj分别为两个近邻区域的中心点坐标；vi、vj分别为两个近邻区域的颜色与深度的组合变量；vi、vj均包含4个分量[r,g,b,d]，r、g、b分别为三个通道的颜色值，d为所述基于混合暗通道先验的逐像素深度信息。优选地，针对每个尺度的所述分割图层，计算所述分割图层对应分割区域的形状先验信息，具体包括：将所述分割图层重新标记为4邻域相连的区块；计算每一个区块的偏心率先验信息，并归一化为0到255范围内的值；计算每一个区块的紧致性先验信息，并归一化为0到255范围内的值；其中，所述分割区域的形状先验信息包括：偏心率先验信息和紧致性先验信息；所述每一个区块的偏心率先验信息为与该区块具有相同二次矩的椭圆的短轴长度与长轴长度之比；所述每一个区块的紧致性为c＝4A/P2，A和P代表该区块的面积和周长。优选地，针对每个尺度的所述分割图层，根据下式计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图：S＝II(Src+Set×Scp)其中，S为所述混合概率图中的初始概率值；Src为所述分割图层对应分割区域的近邻对比度信息；Set为所述偏心率先验信息；Scp为所述紧致性先验信息；II代表混合概率图的归一化操作，用于将混合概率图取值范围归一化为0到255。优选地，“利用概率图模型融合多个尺度的所述混合概率图得到最终概率图”具体包括：利用下式的多级推理概率图模型融合多个尺度的所述混合概率图，对每个所述分割图层中各分割区域的概率值进行最小优化更新：其中，S为融合概率值的集合；l为分割图层的序号；i为分割区域的序号；Nl为第l个分割图层对应的分割区域总数；为要计算的集合S中第l个分割图层中第i个分割区域的概率值；为数据项，为所述混合概率图中第l个分割图层中第i个分割区域的初始概率值；为多级推理项；分别为第l个、第l+1个分割图层对应分割区域的集合；选取第1个所述分割图层中各分割区域最小优化更新后的概率值，构成多尺度推理得到的所述最终概率图。优选地，“根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果”具体包括：根据下式计算概率阈值：基于计算得到的概率阈值τ，根据下式从概率图中区分屋顶区域与非屋顶区域，获得所述初始屋顶分割结果：其中，P(i)为所述最终概率图中的概率值；R(x,y)＝1表示位置(x,y)上的像素分类为屋顶，S(x,y)表示所述最终概率图中位置(x,y)处的概率值，i表示像素的序号。优选地，“根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果”具体包括：根据所述初始屋顶分割结果，利用下式的高阶条件随机场模型计算出所述精确屋顶分割结果：其中，一元项为所述初始屋顶分割结果中像素i被分为屋顶的概率值的对数似然的负值；二元项为光滑项，用于使相邻的像素具有相同的标记：高阶项为区域一致项，用来保证属于同一超像素内的像素具有相同的标记；V表示图像中所有像素的集合，F为8邻域像素点对集，P为过分割区域的集合，yi、yj分别表示像素i和j的标记，yc为分割区域c中所有像素标记的集合；Ii和Ij表示像素i和j的颜色向量，θλ为常量，用来控制各个项之间的平衡关系。本专利技术的另一发面，提出一种基于多尺度三维先验信息的屋顶分割系统，基于上面所述的基于多尺度三维先验信息的屋顶分割方法；所述系统包括：超像素分割模块、混合概率图计算模块、初始屋顶分割模块、精确屋顶分割模块；所述超像素分割模块配置为：对航拍图像进行多尺度超像素分割，得到多尺度的分割图层；所述混合概率图计算模块配置为：针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息，并计算所述分割图层对应本文档来自技高网...

【技术保护点】
1.一种基于多尺度三维先验信息的屋顶分割方法，其特征在于，包括以下步骤：对航拍图像进行多尺度超像素分割，得到多尺度的分割图层；针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息，并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图；利用概率图模型融合多个尺度的所述混合概率图得到最终概率图，并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果；根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果。

【技术特征摘要】
1.一种基于多尺度三维先验信息的屋顶分割方法，其特征在于，包括以下步骤：对航拍图像进行多尺度超像素分割，得到多尺度的分割图层；针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息，并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图；利用概率图模型融合多个尺度的所述混合概率图得到最终概率图，并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果；根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果。2.根据权利要求1所述的屋顶分割方法，其特征在于，“对航拍图像进行多尺度超像素分割，得到多尺度的分割图层”的步骤包括：利用均值漂移分割算法将所述航拍图像初始分割成多个过分割区域；计算每个过分割区域的最大内切圆直径，以该直径的大小作为该过分割区域的尺度；根据预先设定的3个递增的尺度阈值{th1,th2,th3}，先后对尺度小于所述尺度阈值的过分割区域进行近邻超像素区域融合，每次融合的输入都是上一层的输出，最终生成3个尺度递增的分割图层；其中，所述近邻超像素区域融合利用基于密度的聚类算法计算相应的超像素特征，将位置相邻且特征欧式距离最小的两个超像素融合成一个超像素。3.根据权利要求1所述的屋顶分割方法，其特征在于，针对每个尺度的所述分割图层，计算所述基于混合暗通道先验的逐像素深度信息，具体包括：将所述航拍图像中暗通道值小于暗通道阈值的区域划分为近景区域，其余部分划分为远景区域；计算所述近景区域中各像素点的R、G、B颜色通道中的最小值；计算所述远景区域中预设大小的近邻区域内所有像素包含的R、G、B颜色通道中的最小值；将所述航拍图像中亮度大于亮度阈值的像素区域内的暗通道值进行衰减；将所述航拍图像各个像素的暗通道值取倒数，得到所述基于混合暗通道先验的逐像素深度信息d。4.根据权利要求1所述的屋顶分割方法，其特征在于，针对每个尺度的所述分割图层，根据下式计算所述分割图层对应分割区域的近邻对比度信息：其中，w(rj)为近邻区域rj的权重，D(ri,rj)为两个近邻区域ri、rj之间的颜色及深度距离，i、j为近邻区域的序号，且i≠j；δ为近邻区域距离的标准差；xi、xj分别为两个近邻区域的中心点坐标；vi、vj分别为两个近邻区域的颜色与深度的组合变量；vi、vj均包含4个分量[r,g,b,d]，r、g、b分别为三个通道的颜色值，d为所述基于混合暗通道先验的逐像素深度信息。5.根据权利要求1所述的屋顶分割方法，其特征在于，针对每个尺度的所述分割图层，计算所述分割图层对应分割区域的形状先验信息，具体包括：将所述分割图层重新标记为4邻域相连的区块；计算每一个区块的偏心率先验信息，并归一化为0到255范围内的值；计算每一个区块的紧致性先验信息，并归一化为0到255范围内的值；其中，所述分割区域的形状先验信息包括：偏心率先验信息和紧致性先验信息；所述每一个区块的偏心率先验信息为与该区块具有相同二次矩的椭圆的短轴长度与长轴长度之比；所述每一个区块的紧致性为c＝4A/P2，A和P代表该区块的面积和周长。6.根据权利要求5所述的屋顶分割方法，其特征在于，针对每个尺度的所述分割图层，根据下式计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图：S＝II(Src+Set×Scp)其中，S为所述混合概率图中的初始概率值；Src为所述分割图层对应分割区域的近邻对比度信息；S...

【专利技术属性】
技术研发人员：徐士彪，孟维亮，郭建伟，张晓鹏，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11