低空图像DSM生成建筑物边缘精细化方法技术

本申请的低空图像DSM生成建筑物边缘精细化方法，一是提出线特征提取算法与线段优化策略，解析各线提取算法在速度、稳定性、精度等方面的特征，针对低空图像对经典线特征提取算法LSD进行改进，使之更适用于低空图像的线特征提取，并最大程度提高其速度和稳定性；二是分析线特征匹配的各种约束条件和匹配测度，采用原始点云引导线特征匹配的策略；三是线特征匹配时，结合多种匹配测度提出一种附加权的匹配关联度判别函数，综合考虑多种测度，提高匹配可靠性；四是在精细化DSM时，利用光束面前交法得到3D线段，建立直线缓冲区，删除边缘点，对缓冲区内的点云精细化到3D线段上来，方法快速简单、高效易行且对DSM有较好的精细化效果。高效易行且对DSM有较好的精细化效果。高效易行且对DSM有较好的精细化效果。

【技术实现步骤摘要】
低空图像DSM生成建筑物边缘精细化方法


[0001]本申请涉及一种DSM建筑物边缘精细化方法，特别涉及一种低空图像DSM生成建筑物边缘精细化方法，属于DSM边缘精细化方法


技术介绍

[0002]伴随数字城市的发展，DSM(数字表面模型)以其丰富的空间信息、真实直观的实物表达方式，使用户能在3D环境下对城市实体进行浏览和分析。但由于多方面的原因，城市区域DSM的获取无法满足实时性要求，获取速度慢。对于DSM的获取方式，主要可分为硬件直接获取和软件计算获取。LiDAR属于利用硬件直接获取，这种方法有较好的实时性，自动化程度高，无需地面控制点，软件计算获取主要是结合摄影测量的理论方法，虽然LiDAR技术拥有许多优势，但并未得到大范围使用，且通过对航空图像进行密集匹配获取高密度的3D点云来生成DSM的方法，具有成本低廉且自动化程度高的优势，因此当前使用全数字摄影测量的方法来获取DSM较为普遍。
[0003]而对于低空图像来说，虽仍存在稳定性不够、效率偏低以及难以获取大面积图像的缺点，但由于其独特性，既拥有类似LiDAR机动快速的优势，又兼备低廉的成本，非常便于数字表面模型的获取。
[0004]从常规航空摄影测量获取的DSM来看，传统DSM获取精度并不高，建筑物存在边界不清晰、形状不明显等问题，尤其是关于建筑物边缘信息不够准确，边缘容易出现漏洞或错误。建筑物是城市区域不可缺少的组成部分，而建筑物的边缘信息又是其必要属性，建筑物的边缘出现模糊、错误，将直接造成DSM的精度下降，从而导致许多依赖于精确DSM的应用无法完成，如城市建模、3D地理信息系统等重大应用。为了DSM能够更好的服务大众，保证后续应用正常开展，亟需构建高精度的DSM。
[0005]现有技术的线特征提取：线特征是图像几何特征的重要组成部分，运用线特征可以在不干扰人类视觉感知的条件下简化图像表达，减少图像数据量。直线特征的表示虽然简单，但由于许多人工地物都具有直线特征，直线可作为一个基本特征用于描述和检测复杂的形状，因此线特征提取是特征提取的基础。现阶段的线特征提取方法大致分三类：第一类是基于变换域的方法，此类方法是一个坐标变换，通过坐标变换算得参数在另一空间的极值点提取直线，代表算法为Hough变换法，此类方法具有算法简单、受噪声影响小的优点，但存在计算量大、检测精度低等缺陷。第二类是基于梯度相位特征的方法，通过计算图像的梯度及其方向角并量化编码后，将梯度方向相同的相邻点构成边缘线支撑区，通过最小二乘拟合直线，代表算法为相位编组法。该类算法内存消耗小，原理简单易行，但该算法对图像亮度变化较为敏感，且当分组误差大时极易产生分裂的短直线。第三类是分割边缘的方法，首先对图像进行边缘提取，然后对边缘进行跟踪，并将曲线分割成直线。此类算法原理简单，能够检测图像局部的直线段，易于理解，但不足之处是其结果依赖图像边缘跟踪算法的性能，当选择的边缘跟踪算法性能不佳时，结果会受到很大影响，且运行时间较长。
[0006]此外，当前也出现了一些较新的线特征提取算法，包括基于Hough变换提出一种子
像素级的线特征提取算法，通过hough变换获得的直线与图像线特征的进行最小二乘匹配提取直线，此方法虽然能达到较高的精度，但提取速度比较慢，不适用于实时化的应用。基于LOG算子线段抽取法，可以较好的提取弱梯度的直线特征，虽然可以使得定位精确到子像素级，但由于错误直线段的存在，加大了不必要的计算量，使得原本效率不高的提取更加耗时。链码提取直线的方法提取速度较快，但对于直线密集复杂地区线特征提取效果不太理想，而且得到的边缘跟踪链码不能保证为直线。启发式链接法以相邻边缘像素的关系为基础，使用梯度等测度进行边缘线的连接，但此方法也非常依赖边缘检测的精度，鲁棒性不高，当边缘检测的精度不佳时，提取直线质量会受到很大的影响，不能满足自动化的需求，且极易出现错误检测。
[0007]现有技术的线特征匹配：线特征匹配是特征识别、3D重建等应用的重要步骤，总结现阶段线特征匹配的难点可归结为：一是由于拍摄角度、光照等原因，不能保证一条直线同时存在于相邻图像中；二是由于噪声和提取算法等原因，所提取直线段端点的不一致，导致线段的完整性难以保证；三是由于线特征匹配算法等原因，匹配缺乏严格的约束，会出现相似度极高的直线段，一对多的情况经常发生。对于这些问题，现有技术通过建立顶层金字塔图像匹配得到的DSM进行约束，减少直线搜索范围，但这种方法的参数计算量大，占用内存较高，对于被遮挡的直线来说，其拓扑关系无法表述，将直接影响匹配结果。
[0008]现有技术通过概率松弛法得到同名点并构建三角网，由三角网来约束搜索直线范围，计算灰度相关系数，拥有最大灰度相关系数的直线对为正确匹配，但此方法只能匹配同名点附近的直线且对于旋转角较大的图像匹配效果不太理想，忽略了不与地面相接触的地物，具有一定的局限性，过分依赖图像灰度，对噪声较为敏感。另外，现有技术还有一些方法受光照影响较大且无法用于灰度图像等无明显颜色差异的图像，没有考虑仿射不变性，只能适用于视场角较小的短基线图像，依赖匹配同名点的精度，且算法通用性不强，有些算法较为复杂，难于理解。
[0009]综上所述，现有技术的DSM边缘精细化方法存在不足，本申请的难点和待解决的问题主要集中在以下方面：
[0010]第一，现有技术DSM获取精度不高，建筑物存在边界不清晰、形状不明显等问题，尤其是关于建筑物边缘信息不够准确，边缘容易出现漏洞或错误，建筑物是城市区域不可缺少的组成部分，而建筑物的边缘信息又是其必要属性，建筑物的边缘出现模糊、错误，将直接造成DSM的精度下降，从而导致许多依赖于精确DSM的应用无法完成，如城市建模、3D地理信息系统等重大应用；同时又考虑到低空图像的特征，不能直接使用传统的航空图像处理方法来获取DSM；
[0011]第二，现有技术的线特征提取存计算量大、检测精度低等缺陷，对图像亮度变化较为敏感，且当分组误差大时极易产生分裂的短直线，结果依赖图像边缘跟踪算法的性能，当选择的边缘跟踪算法性能不佳时，结果会受到很大影响，且运行时间较长，提取速度比较慢，不适用于实时化的应用，对于直线密集复杂地区线特征提取效果不太理想，而且得到的边缘跟踪链码不能保证为直线，鲁棒性不高，当边缘检测的精度不佳时，提取直线质量会受到很大的影响，不能满足自动化的需求，且极易出现错误检测；
[0012]第三，现有技术的线特征匹配由于拍摄角度、光照等原因，不能保证一条直线同时存在于相邻图像中；由于噪声和提取算法等原因，所提取直线段端点的不一致，导致线段的
完整性难以保证；由于线特征匹配算法等原因，匹配缺乏严格的约束，会出现相似度极高的直线段，一对多的情况经常发生，参数计算量大，占用内存较高，对于被遮挡的直线来说，其拓扑关系无法表述，将直接影响匹配结果，过分依赖图像灰度，对噪声较为敏感，只能适用于视场角较小的短基线图像，依赖匹配同名点的精度，且算法通用性不强，有些算法较为复杂，难于理解；
[0013]第四，相比于近景图像，低空图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.低空图像DSM生成建筑物边缘精细化方法，其特征在于，针对图像中建筑物边缘的直线，获得精确的边缘线并用获得的边缘线进行DSM边缘的精细化，包括：一是提出适合低空图像提取有效线特征的算法，对低空图像分块改进LSD线特征提取，考察提取线段的长度，方向属性，对分块提取得到的线段进行筛选合并，最终得到符合匹配条件的线特征数据；二是通过密集匹配得到原始点云数据，将提取的直线投影至密集匹配点云，并利用外方位元素反投至相邻图像上，投影的线特征在第一图像定范围内得到一个匹配备选集，计算相邻图像在备选集内的线段与投影线段的附加权匹配关联度判别函数，匹配的同名直线需进一步满足双向一致性准则；三是采用光束面前交获取3D线段点云数据，并提出进行基于临界值的精细化密集匹配点云的方法，设定内外临界值两个临界值，以3D线段为中心确定3D线段圆柱形内外缓冲区，删除在两缓冲区之间的边缘点云数据，将缓冲区内的点云数据纠正到3D线段上，构建三角网内插，最终得到精细化的DSM；第一步，改进LSD提取线特征包括：低空图像分块、改进提取线特征；解析线特征提取算法与线段优化策略，并对经典线特征提取算法LSD在速度、稳定性和精度方面进行改进，通过改进LSD提取线特征；第二步，基于原始点云匹配线特征包括：匹配前置处理、基于原始点云的线特征投影约束；提出一种由密集匹配得到原始点云引导线特征匹配的策略，采用基于原始点云匹配线特征，基于原始点云的线特征匹配通过线特征匹配的各约束条件和匹配测度规避直线段端点不一致的影响，生成原始匹配点云，根据低空图像特征，提出基于原始点云的像方
‑
物方
‑
像方投影约束，并采用合适的匹配测度组成附加权的匹配关联度判别函数；第三步，线段精细化点云匹配包括：构建3D直线段、精细化DSM；利用匹配线段进行DSM精细化，采用光束面前交重构3D线段的方法，在光束面前交之后得到更合理的3D点云，并划定3D线段缓冲区精细化缓冲区内的点云，最后采用先构建三角网再内插的方法生成规则格网DSM，保留地物地貌信息并得到精度高的DSM。2.根据权利要求1所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，改进LSD提取线特征：低空图像分块后，提取线特征，得到线段两端点的坐标；第一，初步筛选：删除过短的线段，先删除线段长度小于5个像素的线段；第二，考察两条线段的方向夹角，当夹角大于临界值时不进行合并，设提取线段Y1的方向角为β1，线段Y2的方向角为β2，则判断线段夹角：β＝|β1‑
β2|≤5
°ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式1如果满足，两条线段即可合并，反之，则不能合并；第三，计算线段两端点到另一线段的垂距，若线段之间相互的垂距都较大，则不合并；只有当线段之间相互的垂距都小于1时，两条子线段才合并；第四，计算两线段最近端点间距，如果间距超过临界值则不合并；分别求解四点间的距离，最短距离小于5的线段合并；第五，将符合合并条件的线段重新优化拟合，合并线段，标记被合并的线段为从属性线段，标记后的线段不参与其它的线段优化操作，优化拟合过程为：将直线的一般形式方程ax+by+c＝0，化为x+Ay+B＝0，其中A＝(b/a)，B＝(c/a)，取W函数：
其中M为参与优化拟合的总点数，当W函数取最小值时，A、B的值即为所求直线参数,函数极值方程：由此可得式3：求解式3，得A，B的值，即可确定拟合直线的表达式；第六，清除合并后线段长度仍较短的线段，较长线段的结构性较短线段结构性好，统计合并后的线段长度，小于45像素大小的线段舍弃，最终得到线段优化后的LSD线特征提取结果。3.根据权利要求1所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，基于原始点云匹配线特征：经改进LSD提取线特征已经得到两幅图像较准确的有效直线段，匹配使用的原始点云通过对金字塔图像逐层进行特征点匹配得到，其方法为：经过图像水平纠正的前置处理之后，构建图像金字塔的、提取点特征，接着采用SIFT特征匹配对金字塔顶层的小幅影像匹配得到粗略DSM作为后续密集匹配的初值，在进行密集匹配时，对于每个特征点，通过粗略DSM确定纠正图像上某点在其搜索图像上的一维搜索区域，在该搜索区域内进行相关系数法图像匹配得到同名点的概略点位，然后再以该点位为初值进行最小二乘法图像匹配，得到同名点的精确点位，逐点匹配之后，即完成图像的密集匹配，前交即得本申请的原始点云结果。4.根据权利要求1所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，匹配前置处理包括以下方面：第一方面：纠正图像水平，给定某一合适高程值，利用已知的图像方位元素，使用数字微分纠正法将图像纠正到这一水平平面上；第二方面：对纠正后的图像进行重采样，构建图像金字塔，基于低空图像像幅小的特征，采用双三次卷积法构建图像金字塔；第三方面：为提升图像的清晰度及便于分析处理，利用Wallis滤波进行图像增强；第四方面：对金字塔各层除顶层外图像采用Harris算子进行点特征提取，提取大量密集的特征点，用于后续密集匹配。5.根据权利要求1所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，基于原始点云的线特征投影约束：原始DSM数据无需根据同名点解求单应性矩阵进行约束，直接进行基于原始点云的像方
‑
物方
‑
像方投影约束，通过给定的原始高程值对原始DSM三角网内插迭代计算得到精细化的高程信息，利用摄影测量中的共线条件方程，完成像方
‑
物方
‑
像方坐标系的转换，最终得到直线在相邻图像上的投影，坐标系的变换如式：其中，(X,Y,Z)为像点物方空间坐标，(x,y,
‑
g)为像点像空间坐标，T为旋转矩阵，δ是投影系数，(X
S
,Y
S
,Z
S
)为摄影中心物方空间坐标，如果提供物方高程初值Z0，有：
得到原始的像点的物方坐标XY，将匹配得到的原始点云构建三角网后，XY内插得高程值Z1，便可由三角网根据解算的物方坐标X、Y，计算区域内任意一点的高程Z，其中，三角网内插步骤为：(1)第一步，三角网中格网点的检索：设已知W点的X、Y坐标，需要在三角网内插值得到Z值，第一步求得W点所在的平面位置，即所在的三角格网的方法是：根据构建三角网时的数据分块检索文件计算W(X,Y)在哪个检索块中，依次计算W(X,Y)和检索块中每一个网点间的距离，得到距离最近的点H1，然后统计包含H1点的所有三角形，考察W点在其中哪个三角形内，如果当考察完所有的以H1为顶点的三角形时，发现W均为未包含在内，则取距离W点次最小的点继续考察，直到找出W点所在三角形，利用此三角形的三个顶点坐标即可内插出W点的高程；(2)第二步，高程内插：如果W(X,Y)所在的三角形为ΔH1H2H3，三个顶点坐标为(X1,Y1,Z1)，(X2,Y2,Z2),(X3,Y3,Z3)，则由H1，H2与H3确定的平面方程为：则W点高程为：其中X
21
＝X2‑
X1，X
31
＝X3‑
X1，Y
21
＝Y2‑
Y1，Y
31
＝Y3‑
Y1，Z
21
＝Z2‑
Z1，Z
31
＝Z3‑
Z1。6.根据权利要求5所述的低空图像DSM生成建筑物边缘精细化方法，其特征在于，基于原始点云的像方
‑
物方
‑
像方投影约束方法的步骤为：步骤一，参考点的平均高程确定原始高程Z0；步骤二，根据第一图像提取直线段一端点d、第一图像摄影中心S1、对应物方点三点共线关系，由式5和式6，得到原始高程Z0对应的物方坐标(X
D0
，Y
D0
，Z0)；步骤三，取物方坐标(X
D0
，Y
D0
)，按式8在原始点云构成的三角网上进行内插，得到高程Z1；步骤四，将得到的Z1代替原始高程Z0，重复步骤二、步骤三，得到更加精确的高程值，计算：ΔZ＝Z
i+1
‑
Z
i
(i＝0，1，2，
…
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式9直到两次得到高程的差值小于临界值(0.01m)，取此时得到的物方坐标为(X
D
，Y
D
，Z
D
)；步骤五，同样，根据物方点D、第二图像摄影中心S2、第二图像对应同名点d
’
三点共线，由共线方程得第二图像对应像点d
’
坐标(x
d
’
，y
d
’
)：
步骤六，取第一图像提取直线段另一端点e，按照上述方法解算对应像点(x
e...

【专利技术属性】
技术研发人员：王彬，
申请(专利权)人：荆门汇易佳信息科技有限公司，
类型：发明
国别省市：