基于无人机激光和视觉融合的高速施工监测方法和系统技术方案

本发明专利技术公开了一种基于无人机激光和视觉融合的高速施工监测方法和系统，包括如下步骤：步骤1：利用无人机采集不同时相的影像；步骤2：对无人机影像利用多测度半全局匹配算法匹配得到影像点云；步骤3：利用无人机采集不同时相LiDAR点云；步骤4：对LiDAR点云进行噪声去除；步骤5：利用迭代最近点算法对两种点云数据进行配准；步骤6：采用局部分箱算法建立其数字表面模型。步骤7：计算不同时相数字表面模型之间的差值，进行变化检测。本发明专利技术具有能够以相对较低成本自动化对无人机激光和视觉进行融合并完成高速施工监测的优点。合并完成高速施工监测的优点。合并完成高速施工监测的优点。

【技术实现步骤摘要】
基于无人机激光和视觉融合的高速施工监测方法和系统


[0001]本专利技术涉及工程监测领域，更具体地说是涉及一种基于无人机激光和视觉融合的高速施工监测方法。

技术介绍

[0002]高速公路的建设极大地促进了交通物流行业、区域经济等的快速发展，可以有效减少运营成本，缩短运输时间，加快产业建设，对于生产生活投资、日常交通出行等都带来了巨大的影响。因此，对于高速施工建设的质量和可靠性提出了更高的要求，如何准确有效地对高速施工过程进行监测显得十分重要。
[0003]传统的高速施工监测方法主要采用水准仪、全站仪等设备进行测量，该类方法需要耗费大量的人力物力，工作效率十分低下，并且存在一定的危险性。随着遥感技术的快速发展，大大提升了施工监测的工作效率。遥感影像具有覆盖范围广、语义信息丰富、几何精度高等优点，是目前进行变化检测最常用的数据源。但由于地物内部的复杂构造、混合像元、影像分辨率较低等问题，使得基于遥感影像的变化检测精度难以得到有效保证。与此同时，遥感影像更多体现的是地物的二维信息，难以对地物三维属性变化进行有效的检测。激光雷达(Light Detection and Ranging，LiDAR)技术可以快速获取地物的三维空间信息，具有高精度、高效率、高密度等优点，在地物复杂结构拓扑关系的三维表征上具有无可比拟的优势。但由于LiDAR数据采集难度大、成本高，处理较为困难，一定程度上限制了其在变化检测研究中的应用。为了弥补以上方法存在的不足，可利用无人机拍摄航空像片，通过多视影像密集匹配的方式生成三维点云数据，表征地物的三维结构信息。但是，通过影像视觉获得的三维点云数据相对于LiDAR采集的点云数据的精度较低，且易受密集匹配算法的影响。
[0004]因此，融合无人机激光和影像数据，充分利用二者的优势，以相对较低成本的方式快速高效地获得高精度的变化检测结果用以高速施工监测是很有必要的。

技术实现思路

[0005]本专利技术的目的是为了提一种基于无人机激光和视觉融合的高速施工监测方法，能够以相对较低成本自动化对无人机激光和视觉进行融合并完成高速施工监测。
[0006]为了实现上述目的，本专利技术的技术方案为：一种基于无人机激光和视觉融合的高速施工监测方法，其特征在于：包括如下步骤，
[0007]步骤1：不同时相无人机影像数据采集；
[0008]操作无人机，多次在高速施工路段进行常规的拍摄，得到不同时相的高速施工路段无人机影像；
[0009]步骤2：利用步骤1得到的不同时相无人机影像数据，利用多测度半全局匹配算法进行匹配，并进一步处理得到影像点云；
[0010]步骤3：LiDAR点云数据采集，执行步骤1同时，对LiDAR点云数据进行采集，得到不同时相的高速施工路段LiDAR点云数据；
[0011]步骤4：LiDAR点云去噪，对步骤3获得的点云数据进行去噪；
[0012]步骤5：点云数据配准，利用迭代最近点算法对步骤2和步骤4得到的点云数据进行配准；
[0013]步骤6：数字表面模型的建立，根据步骤5得到的配准后的点云数据，采用局部分箱算法建立数字表面模型；
[0014]步骤7：施工变化监测，在不同时间重复步骤1～6，得到不同时相的数字表面模型，计算不同时相之间DSM之间的差值，与设定的阈值进行对比，得到变化检测结果。
[0015]优选的，步骤2中，多测度半全局匹配算法的具体过程是：
[0016](1)采用自动色阶法对原始影像进行增强，然后生成核线影像并建立影像金字塔，将影像层级由下至上分别定义为r0,1,
…
r
n
。
[0017](2)在影像金字塔最高层级r
n
采用Census相似性测度，遍历每个像素p，计算其在视差搜索范围d
range
内视差为d时的匹配代价C(p,d)。
[0018](3)依次计算像素p在不同方向的路径代价，并计算得到累积代价S(p,d)，选取累积代价最小时对应的视差作为该像素的视差结果。
[0019](4)对视差d、d
‑
1和d+1处的累积代价采用二次抛物线进行拟合，计算最优子像素级别视差，以提高匹配精度。
[0020](5)依据相邻像素视差的变化值小于某一阈值的原则，对视差图进行分割，若分割面积小于某阈值，则认为存在误差并将其剔除。
[0021](6)动态调整下一层级影像中像素的视差搜索范围d
range
，从第r
n
‑1层级开始采用互信息作为相似性测度，其视差初值为上一层级视差结果，重复进行过程(2)至(5)，直到匹配至最底层金字塔影像时结束匹配。
[0022](7)通过多测度半全局匹配算法匹配得到视差图后，依次对每张影像进行处理，对其视差图进行融合，进而得到离散的三维点云数据。
[0023]优选的，步骤5中，迭代最近点算法的具体过程是：
[0024](1)对于待配准点云P＝{p0,p1,
…
p
m
}中的每个点，在参考点云Q＝{q0,q1,
…
q
n
}中寻找与其欧式距离最近的点构成点对集合C
k
＝{(p
ik
,q
ik
)|i＝1,2,
…
,N}，N为点对数，k为迭代次数。
[0025](2)以式(1)作为目标函数，令其误差值最小，计算得到新的旋转矩阵R
k
和平移矩阵T
k
。
[0026][0027](3)利用计算得到的变换矩阵参数R
k
和T
k
对待配准点云进行变换，得到新的待配准点云p
ik+1
如下：
[0028]p
ik+1
＝R
k
p
ik
+T
k
ꢀꢀ
(2)
[0029](4)计算新的待配准点云与参考点云对应点对之间的距离平均值d
k+1
如下：
[0030][0031](5)若迭代次数k达到指定的最大迭代次数、d
k+1
‑
dk<ε或d
k
<ξ，则停止迭代，否则重复进行上述过程，ε为相邻两次迭代的点对距离平均值的差值阈值，ξ为单次迭代的点对距离平均值阈值。
[0032]优选的，步骤6中，局部分箱算法的过程是：
[0033]将配准后的点云投影至XY平面上建立虚拟格网，每个格网均为正方形，其边长为Res，可计算得到格网的行数m和列数n分别为：
[0034][0035]式中：X
max
、X
min
、Y
max
、Y
min
分别为点云X、Y坐标的最大值和最小值，ceil(*)表示向上取整运算。由此可得到每个格网角点的坐标(X本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机激光和视觉融合的高速施工监测方法，其特征在于：包括如下步骤，步骤1，不同时相无人机影像数据采集；操作无人机，多次在高速施工路段进行常规的拍摄，得到不同时相的高速施工路段无人机影像；步骤2，利用步骤1得到的不同时相无人机影像数据，利用多测度半全局匹配算法进行匹配，并进一步处理得到影像点云；步骤3，LiDAR点云数据采集，执行步骤1同时，对LiDAR点云数据进行采集，得到不同时相的高速施工路段LiDAR点云数据；步骤4，LiDAR点云去噪，对步骤3获得的点云数据进行去噪；步骤5，点云数据配准，利用迭代最近点算法对步骤2和步骤4得到的点云数据进行配准；步骤6，数字表面模型的建立，根据步骤5得到的配准后的点云数据，采用局部分箱算法建立数字表面模型；步骤7，施工变化监测，在不同时间重复步骤1～6，得到不同时相的数字表面模型，计算不同时相之间DSM之间的差值，与设定的阈值进行对比，得到变化检测结果。2.根据权利要求1所述的一种基于无人机激光和视觉融合的高速施工监测方法，其特征在于：步骤2中，多测度半全局匹配算法的具体过程是：(21)采用自动色阶法对原始影像进行增强，然后生成核线影像并建立影像金字塔，将影像层级由下至上分别定义为r0,r1,
…
r
n
；(22)在影像金字塔最高层级r
n
采用Census相似性测度，遍历每个像素p，计算其在视差搜索范围d
range
内视差为d时的匹配代价C(p,d)；(23)依次计算像素p在不同方向的路径代价，并计算得到累积代价S(p,d)，选取累积代价最小时对应的视差作为该像素的视差结果；(24)对视差d、d
‑
1和d+1处的累积代价采用二次抛物线进行拟合，计算最优子像素级别视差，以提高匹配精度；(25)依据相邻像素视差的变化值小于某一阈值的原则，对视差图进行分割，若分割面积小于某阈值，则认为存在误差并将其剔除；(26)动态调整下一层级影像中像素的视差搜索范围d
range
，从第r
n
‑1层级开始采用互信息作为相似性测度，其视差初值为上一层级视差结果，重复进行过程(22)至(25)，直到匹配至最底层金字塔影像时结束匹配；(27)通过多测度半全局匹配算法匹配得到视差图后，依次对每张影像进行处理，对其视差图进行融合，进而得到离散的三维点云数据。3.根据权利要求1所述的一种基于无人机激光和视觉融合的高速施工监测方法，其特征在于：步骤5中，迭代最近点算法的具体过程是：(51)对于待配准点云P＝{p0,p1,
…
p
m
}中的每个点，在参考点云Q＝{q0,q1,
…
q
n
}中寻找与其欧式距离最近的点构成点对集合C
k
＝{(p
ik
,q
ik
)|i＝1,2,
…
,N}，N为点对数，k为迭代次数；(52)以式(51)作为目标函数，令其误差值最小，计算得到新的旋转矩阵R
k
和平移矩阵T
k
；
(53)利用计算得到的变换矩阵参数R
k
和T
k
对待配准点云进行变换，得到新的待配准点云p
ik+1
如下：p
ik+1
＝R
k
p
ik
+T
k
ꢀꢀꢀꢀ
(2)(54)计算新的待配准点云与参考点云对应点对之间的距离平均值d
k+1
如下：(55)若迭代次数k达到指定的最大迭代次数、d
k+1
‑
d
k
<ε或d
k
<ξ，则停止迭代，否则重复进行上述过程，ε为相邻两次迭代的点对距离平均值的差值阈值，ξ为单次迭代的点对距离平均值阈值。4.根据权利要求1所述的一种基于无人机激光和视觉融合的高速施工监测方法，其特征在于：步骤6中，局部分箱算法的过程是：将配准后的点云投影至XY平面上建立虚拟格网，每个格网均为正方形，其边长为Res，可计算得到格网的行数m和列数n分别为：式中：X
max
、X
min
、Y
max
、Y
min
分别为点云X、Y坐标的最大值和最小值，ceil(*)表示向上取整运算，由此可得到每个格网角点的坐标(X
i
,Y
j
)如下：式中：i＝0,1,2,
…
n、j＝0,1,2,
…
m分别表示每个格网角点的列序号和行序号；令P＝{p
k
,k＝1,2,
…
,τ}为点云集合，τ为点云总数量，对于每个格网角点V
i,j
，定义一个半径为r的圆形邻域，则在该邻域范围内的点云集合可表示为：R(V
i,j
,r)＝{p
k
|d(V
i,j
,p
k
)≤r,p
k
∈P}
ꢀꢀꢀꢀ
(6)式中：为格网角点V
i,j
与点p
k
(x
k
,y
k
,z
k
)在XY平面上的几何距离；令点云集合R(V
i,j
,r)中各点的高程集合为则格网角点的值Z
i,j
可计算如下：式中：NaN表示空值，表示空集，当格网角点的r邻域范围内无点云存在时，则该格网角点的值为空值，通过遍历所有的格网角点，即可计算得到目标点云的数字表面模型。5.根据权利要求1所述的一种基于无人机激光和视觉融合的高速施工监测方法，其特
征在于：步骤7中，变形监测的过程是：利用局部分箱算法分别计算得到两个不同时相点云数据的数字表面模型，比较数字表面模型中对应格网的高程差，设定高差阈值D
th
，若高程差大于D
th
，则该格网为高程增大区域，若高程差小于
‑
th
，则该格网为高程减小区域；通过遍历计算数字表面模型中所有格网的高程差，并与高差阈值相比较，即可识别出所有的变化区域。6.一种基于无人机激光和视觉融合的高速施工监测系统，其特征在...

【专利技术属性】
技术研发人员：曾磊，邓志华，杨飚，周祖衡，杨刚，吕彦松，曾广鸿，陈静群，谢森辉，
申请(专利权)人：中交路桥建设有限公司广东慧图资环科技发展有限公司，
类型：发明
国别省市：