基于多分辨率三维统计信息的屋顶分割方法、系统及设备技术方案

本发明专利技术涉及计算机视觉领域，具体涉及一种基于多分辨率三维统计信息的屋顶分割方法、系统及设备，旨在提供一种快速、鲁棒的屋顶分割方法。本发明专利技术的屋顶分割方法包括：从多视角航拍图像获取高精度深度及稠密三维点云信息；根据三维点云信息提取不同分辨率的三维点云特征统计信息，利用全局能量优化对三维点云场景进行语义分类，得到建筑物的点云；将建筑物的点云作为初始先验，对多视角航拍图像进行精细建筑物分割；基于深度信息的建筑物过渡区域计算，从精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰，得到精细屋顶分割结果。本发明专利技术实现了快速、鲁棒、通用地进行屋顶分割，而且有效去除了建筑物侧面过渡区域的影响，提高了分割精细度。

【技术实现步骤摘要】
基于多分辨率三维统计信息的屋顶分割方法、系统及设备
本专利技术涉及计算机视觉领域，具体涉及一种基于多分辨率三维统计信息的屋顶分割方法、系统及设备。
技术介绍
建筑物是航拍图像中一个重要的组成部分，基于航拍图像的建筑物提取在城市规划、城市场景三维重建及虚拟飞行模拟等各个领域有着广泛的用途。然而虽然针对建筑物的提取取得了很大的进步，但是如何快速、鲁棒、通用地提取建筑物仍然是一个非常具有挑战性的问题。这是因为随着光照条件的变化、阴影条件的不一致以及图像分辨率和质量的差异，建筑物的外观特征往往呈现出丰富的多样性。同时，建筑物往往具有复杂的形状结构，而且会被建筑物周围的建筑侧面、其他建筑物或者树木遮挡，导致屋顶分割会出现错误。有鉴于此，特提出本专利技术。
技术实现思路
为了解决现有技术中的上述问题，本专利技术提出了一种基于多分辨率三维统计信息的屋顶分割方法、系统及设备，实现了快速、鲁棒地进行屋顶分割。本专利技术的一方面，提出了一种基于多分辨率三维统计信息的屋顶分割方法，所述方法包括：从多视角航拍图像获取高精度深度及稠密三维点云信息；根据所述三维点云信息提取不同分辨率的三维点云特征统计信息，利用全局能量优化对三维点云场景进行语义分类，得到建筑物的点云；将所述建筑物的点云作为初始先验，对所述多视角航拍图像进行精细建筑物分割；基于深度信息的建筑物过渡区域计算，从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰，得到精细屋顶分割结果。优选地，“从多视角航拍图像获取高精度深度及稠密三维点云信息”的步骤具体包括：多视角航拍图像立体匹配图像对计算、基于片元匹配的高精度稠密深度估计、基于多视角深度信息融合的三维点云重建。优选地，所述多视角航拍图像立体匹配图像对计算具体包括：根据所述多视角航拍图像，计算摄像机i和j的主视图方向之间的角度θij；计算摄像机i和j的光学中心之间的距离dij；在满足θ1≤θij≤θ2的所述多视角航拍图像中，删除dij>d1或dij<d2的图像，得到剩余图像；若所述剩余图像的数量小于k1，则将所述剩余图像作为第i个图像的相邻图像集，记为N(i)；否则，将所述剩余图像根据θij·dij的值进行升序排序，并选取前k1个图像作为相邻图像集N(i)；在相邻图像集N(i)中选取θij·dij最小的图像，作为第i个图像的参考图像，从而形成立体图像对。优选地，所述基于片元匹配的高精度稠密深度估计具体包括：根据下式计算图像对间的单应性变换矩阵：其中，Ii为所述多视角航拍图像集中第i个输入图像，Ij为图像Ii的参照图像，图像Ii和Ij对应的摄像机参数分别为{Ki,Ri,Ci}和{Kj,Rj,Cj}，Ki、Kj为摄像机内参数，Ri、Rj为旋转矩阵，Ci、Cj为摄像机中心，ni为当前像素在空间的法线，Xi为当前像素在空间的三维坐标；在输入图像Ii中，以像素p为中心设定一个矩形窗口B＝W×W；对窗口B中的每个像素q，使用单应性矩阵Hij(q)寻找在参考图像Ij中对应的像素；根据下式计算每个像素p在代价函数最小时对应的深度值：其中，fp为像素在空间的平面表示，同时包含三维坐标点和法线。优选地，所述基于多视角深度信息融合的三维点云重建具体包括：对每个视图进行深度优化，得到优化后的深度图；对每个所述优化后的深度图去除冗余信息；将所有去除冗余信息后的深度图投影到三维形式，进而合并成一个单一完整的点云。优选地，“对每个视图进行深度优化，得到优化后的深度图”的步骤具体包括：对于图像Ii的每个像素点p，根据该像素对应的深度信息λ和相机参数，利用下式的反投影方程将该像素点反投影到三维空间：其中，p为像素的齐次坐标，X为像素点p反投影到世界坐标系上的三维点；将X重新投影到图像Ii的相邻图像集N(i)；对于相邻图像集N(i)中第k个相邻图像，若满足则确定X在图像Ii和图像Nk中是一致的；其中，d(X,Nk)为图像Nk的深度信息，κ(X,Nk)为重投影后的深度值，τ2为阈值；若X在相邻图像集N(i)中至少有2个相邻图像是一致的，则X被认为是一个可靠的场景点，将图像Ii中对应像素p的深度值保留，否则将对应像素p的深度值去除。优选地，“对每个所述优化后的深度图去除冗余信息”的步骤具体包括：对于第i个所述优化后的深度图中的每个像素，重新利用所述反投影方程将该像素反投影到三维空间，得到点X；将点X重新投影到相邻图像集N(i)；若X的深度相对于某个相邻图像的深度较小，则证明第i个图像在该相邻图像中的投影X被遮挡，进而从该相邻图像的深度图中删除对应像素的深度值；若这两个深度差值小于预设的阈值，则证明在该相邻图像中的投影X表示相同的点，进而从该相邻图像的深度图中删除对应像素的深度值。优选地，“根据所述三维点云信息提取不同分辨率的三维点云特征统计信息，利用全局能量优化对三维点云场景进行语义分类，得到建筑物的点云”的步骤具体包括：多分辨率三维点云特征的统计分析、基于全局能量优化的点云分类标记。优选地，所述多分辨率三维点云特征的统计分析具体包括：通过将点云映射到地面上，获得相应的2D支撑网格，并对每个网格单元计算出投射到该网格单元的点的属性；根据下式的三个鉴定函数测量某个网格单元属于三种不同的预设类别的概率：Ftree＝min(α·σH+β·σNz,1)其中，所述预设类别包括：建筑物、地面和植被；Fground、Fbuilding和Ftree分别表示当前网格单元属于建筑物、地面和植被的概率；hi表示从网格单元中的点集到地面的最大高度，hi＝max{pi→z}-zground，pi为网格单元中的像素，z为对应像素的高度，Zground为地平面的标准高度；为建筑物类别的高度阈值；α、β和γ为权重；σNz为网格单元中点的法线向量z分量绝对值的标准偏差；σH为点在网格单元中高度的标准偏差。优选地，所述基于全局能量优化的点云分类标记包括：通过对下式能量函数的代价值最小化求解，对点云进行语义标签分配：其中，E(f)为能量函数；fc为类别标签；c为网格单元的标号；C为网格单元的集合；ξ为权重；p和q为两个相邻网格单元；N为相邻网格单元集合；I(p,q)为一个示性函数，当相邻网格单元p和q拥有相同标签时该函数值为0，否则为1；γ′为权重，用于保持数据代价函数D(c,fc)和平滑代价函数Vp,q数量级的一致性；hp、hq分别为网格单元p和q的高度。优选地，“将所述建筑物的点云作为初始先验，对所述多视角航拍图像进行精细建筑物分割”的步骤具体包括：以所述建筑物的点云为初始先验，将所述建筑物的点云在所述多视角航拍图像中的对应像素标记为前景建筑物，其他像素随机采样标记为背景区域，从而对所述多视角航拍图像中的像素进行初始分类；利用所述初始分类的像素分别对图像前景区域和背景区域训练高斯混合模型和进而完成对前景建筑物和背景的初步概率估计；结合所述高斯混合模型，根据下式获得精确建筑物分割结果：其中，Ec(xp,xq)＝|xp-xq|Ed(xp)为数据项，用来计算像素p分类为xp的概率；ζ为权重；Ec(xp,xq)为平滑项，用来确保近邻像素分类的一致性；高斯混合模型用于计算像素p属于前景建筑物的概率；高斯混合模型用于计算像素p属于背景区域的概率；xp、xq分别为对应像素的本文档来自技高网...

【技术保护点】
1.一种基于多分辨率三维统计信息的屋顶分割方法，其特征在于，所述方法包括：从多视角航拍图像获取高精度深度及稠密三维点云信息；根据所述三维点云信息提取不同分辨率的三维点云特征统计信息，利用全局能量优化对三维点云场景进行语义分类，得到建筑物的点云；将所述建筑物的点云作为初始先验，对所述多视角航拍图像进行精细建筑物分割；基于深度信息的建筑物过渡区域计算，从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰，得到精细屋顶分割结果。

【技术特征摘要】
1.一种基于多分辨率三维统计信息的屋顶分割方法，其特征在于，所述方法包括：从多视角航拍图像获取高精度深度及稠密三维点云信息；根据所述三维点云信息提取不同分辨率的三维点云特征统计信息，利用全局能量优化对三维点云场景进行语义分类，得到建筑物的点云；将所述建筑物的点云作为初始先验，对所述多视角航拍图像进行精细建筑物分割；基于深度信息的建筑物过渡区域计算，从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰，得到精细屋顶分割结果。2.根据权利要求1所述的屋顶分割方法，其特征在于，“从多视角航拍图像获取高精度深度及稠密三维点云信息”的步骤具体包括：多视角航拍图像立体匹配图像对计算、基于片元匹配的高精度稠密深度估计、基于多视角深度信息融合的三维点云重建。3.根据权利要求2所述的屋顶分割方法，其特征在于，所述多视角航拍图像立体匹配图像对计算具体包括：根据所述多视角航拍图像，计算摄像机i和j的主视图方向之间的角度θij；计算摄像机i和j的光学中心之间的距离dij；在满足θ1≤θij≤θ2的所述多视角航拍图像中，删除dij>d1或dij<d2的图像，得到剩余图像；若所述剩余图像的数量小于k1，则将所述剩余图像作为第i个图像的相邻图像集，记为N(i)；否则，将所述剩余图像根据θij·dij的值进行升序排序，并选取前k1个图像作为相邻图像集N(i)；在相邻图像集N(i)中选取θij·dij最小的图像，作为第i个图像的参考图像，从而形成立体图像对。4.根据权利要求3所述的屋顶分割方法，其特征在于，所述基于片元匹配的高精度稠密深度估计具体包括：根据下式计算图像对间的单应性变换矩阵：其中，Ii为所述多视角航拍图像集中第i个输入图像，Ij为图像Ii的参照图像，图像Ii和Ij对应的摄像机参数分别为{Ki,Ri,Ci}和{Kj,Rj,Cj}，Ki、Kj为摄像机内参数，Ri、Rj为旋转矩阵，Ci、Cj为摄像机中心，ni为当前像素在空间的法线，Xi为当前像素在空间的三维坐标；在输入图像Ii中，以像素p为中心设定一个矩形窗口B＝W×W；对窗口B中的每个像素q，使用单应性矩阵Hij(q)寻找在参考图像Ij中对应的像素；根据下式计算每个像素p在代价函数最小时对应的深度值：其中，fp为像素在空间的平面表示，同时包含三维坐标点和法线。5.根据权利要求4所述的屋顶分割方法，其特征在于，所述基于多视角深度信息融合的三维点云重建具体包括：对每个视图进行深度优化，得到优化后的深度图；对每个所述优化后的深度图去除冗余信息；将所有去除冗余信息后的深度图投影到三维形式，进而合并成一个单一完整的点云。6.根据权利要求5所述的屋顶分割方法，其特征在于，“对每个视图进行深度优化，得到优化后的深度图”的步骤具体包括：对于图像Ii的每个像素点p，根据该像素对应的深度信息λ和相机参数，利用下式的反投影方程将该像素点反投影到三维空间：其中，p为像素的齐次坐标，X为像素点p反投影到世界坐标系上的三维点；将X重新投影到图像Ii的相邻图像集N(i)；对于相邻图像集N(i)中第k个相邻图像，若满足则确定X在图像Ii和图像Nk中是一致的；其中，d(X,Nk)为图像Nk的深度信息，κ(X,Nk)为重投影后的深度值，τ2为阈值；若X在相邻图像集N(i)中至少有2个相邻图像是一致的，则X被认为是一个可靠的场景点，将图像Ii中对应像素p的深度值保留，否则将对应像素p的深度值去除。7.根据权利要求6所述的屋顶分割方法，其特征在于，“对每个所述优化后的深度图去除冗余信息”的步骤具体包括：对于第i个所述优化后的深度图中的每个像素，重新利用所述反投影方程将该像素反投影到三维空间，得到点X；将点X重新投影到相邻图像集N(i)；若X的深度相对于某个相邻图像的深度较小，则证明第i个图像在该相邻图像中的投影X被遮挡，进而从该相邻图像的深度图中删除对应像素的深度值；若这两个深度差值小于预设的阈值，则证明在该相邻图像中的投影X表示相同的点，进而从该相邻图像的深度图中删除对应像素的深度值。8.根据权利要求1所述的屋顶分割方法，其特征在于，“根据所述三维点云信息提取不同分辨率的三维点云特征统计信息，利用全局能量优化对三维点云场景进行语义分类，得到建筑物的点云”的步骤具体包括：多分辨率三维点云特征的统计分析、基于全局能量优化的点云分类标记。9....

【专利技术属性】
技术研发人员：徐士彪，孟维亮，郭建伟，张晓鹏，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11