基于神经网络和点云处理的隧道喷浆智能检测方法及系统技术方案

本发明专利技术公开了一种基于神经网络和点云处理的隧道喷浆智能检测方法及系统，方法包括：通过目标检测网络结构提取出隧道拱架在图像中的大致位置，然后利用直线提取模块提取出隧道拱架的精确位置；将所述隧道拱架的精确位置映射到三维点云中，利用三维点云的聚类算法，建立点云的

【技术实现步骤摘要】
基于神经网络和点云处理的隧道喷浆智能检测方法及系统


[0001]本专利技术涉及目标识别
，尤其涉及一种基于神经网络和点云处理的隧道喷浆智能检测方法及系统
。

技术介绍

[0002]近年来，我国山岭隧道，城市地铁隧道和矿山资源开采等地下空间建设高速发展，这使得喷浆支护装备的需求与日俱增，同时也对喷浆装备的自动化程度和可靠性提出了更高的要求
。
目前传统手持式喷浆作业对这种大型隧道施工需借助脚手架等辅助设备，工作效率十分低下，无法满足施工要求
。
为了提高喷浆的效率和质量，喷浆台车逐步代替人工完成喷浆作业
。
尽管喷浆台车能够在一定程度上提高隧道喷浆施工的可靠性，施工效率和安全性，但是仍然需要工人在隧道内来进行操作喷浆机械臂完成喷浆作业，自动化程度不高
。
由于隧道喷浆任务的特殊性，目前隧道施工自动化的研究主要针对隧道凿岩作业，对喷浆作业的自动化研究还较少，而且在实际的隧道施工过程中，使用光学摄像头进行目标检测仍然存在一个问题，那就是图像中拱架的形状会受到拍摄角度和相机自身光学畸变的影响，使得喷浆区域的识别过小，与实际的喷浆作业不符，影响喷浆作业的准确性
。

技术实现思路

[0003](
一
)
要解决的技术问题
[0004]基于上述问题，本专利技术提供一种基于神经网络和点云处理的隧道喷浆智能检测方法及系统，解决隧道喷浆的自动化程度不高，喷浆区域的识别准确性有待提高的问题
。/>[0005](
二
)
技术方案
[0006]基于上述的技术问题，本专利技术提供一种基于神经网络和点云处理的隧道喷浆智能检测方法，包括：
[0007]S1、
通过目标检测网络结构提取出隧道拱架在图像中的大致位置，然后利用直线提取模块提取出隧道拱架的精确位置；所述利用直线提取模块提取出隧道拱架的精确位置包括：
[0008]S121、
利用直线特征提取卷积核对拱架图像预处理，提取拱架的边缘特征；
[0009]S122、
通过直线提取算法提取图像中的所有直线；
[0010]S123、
将图像坐标转化为极坐标，将相似的两条线段进行合并；
[0011]S124、
对检测结果进行非极大值抑制；
[0012]S125、
筛选符合竖直直线的斜率条件，并去除距离过近的两直线段后，将最长的两条直线作为隧道拱架的轮廓线，由两轮廓线组成的矩形框即为图像中隧道拱架的精确位置；
[0013]S2、
将所述隧道拱架的精确位置映射到三维点云中，利用三维点云的聚类算法，建立点云的
k
‑
d
树结构，提取出隧道拱架在点云中具体位置；
[0014]S3、
通过激光雷达实时扫描得到整个隧道的三维点云模型，重建三角网格曲面，得
到隧道的超欠挖模型；
[0015]S4、
根据所述超欠挖模型和所述隧道拱架在三维点云中的具体位置进行喷浆指导作业
。
[0016]进一步的，所述目标检测网络结构包括：将长
×
宽
×
通道为
416
×
416
×3的图像输入特征提取层，所述特征提取层依次包括卷积核尺寸为3×3的卷积单元
DBL、
残差块
res1、
第一个残差块
res2、
第二个残差块
res2、
残差块
res4
；然后在坐标预测模块中，将第一个残差块
res2
的输出输入步长
stride
为2，卷积核尺寸为1×1的卷积单元
DBL
进行下采样，与第二个残差块
res2
的输出一同输入
concat
连接层，再依次通过卷积核尺寸为1×
1、3
×
3、1
×
1、3
×3的卷积单元
DBL
，最后经卷积核尺寸为1×1的卷积模块
conv
，输出长
×
宽
×
通道为
52
×
52
×
21
的图像
y2
；将第二个残差块
res2
的输出输入步长
stride
为2，卷积核尺寸为1×1的卷积单元
DBL
进行下采样，与残差块
res4
的输出一同输入
concat
连接层，再依次通过卷积核尺寸为1×
1、3
×
3、1
×
1、3
×3的卷积单元
DBL
，最后经卷积核尺寸为1×1的卷积模块
conv
，输出长
×
宽
×
通道为
26
×
26
×
21
的图像
y1
；
[0017]其中，所述残差块
resn
中，
n
＝
1,2,4
，输入特征首先会经过一个
Zero padding
零填充模块对数据进行填充，然后再通过一个卷积核步长为2的3×3的卷积单元
DBL
对输入特征进行降维，最后将降维后的数据作为堆叠的
n
个残差单元
res unit
的输入来提取特征；在所述残差单元
res unit
中，输入特征在通过两个步长为1的1×1和3×3的卷积单元
DBL
后再与输入特征叠加作为残差单元的输出
。
[0018]进一步的，对所述目标检测网络结构通过深度剪枝的模型压缩方法进行压缩，所述目标检测网络结构损失函数：
[0019]L
＝
loss
obj
+loss
noobj
+loss
cls
+loss
coor
[0020]式中，
loss
obj
和
loss
noobj
分别表示目标置信度和标记目标之间的置信度损失，
loss
cls
表示预测类别和标记类别之间的类别损失，
loss
coor
表示模型预测框和标定框之间的坐标预测损失
。
[0021]进一步的，步骤
S121
中，所述直线特征提取卷积核为
[0022][0023]进一步的，步骤
S123
中，所述相似的两条线段的两条线段的判断方法为：计算任意两条线段的相似性
e
，若
e<T
，则这两条本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于神经网络和点云处理的隧道喷浆智能检测方法，其特征在于，包括：
S1、
通过目标检测网络结构提取出隧道拱架在图像中的大致位置，然后利用直线提取模块提取出隧道拱架的精确位置；所述利用直线提取模块提取出隧道拱架的精确位置包括：
S121、
利用直线特征提取卷积核对拱架图像预处理，提取拱架的边缘特征；
S122、
通过直线提取算法提取图像中的所有直线；
S123、
将图像坐标转化为极坐标，将相似的两条线段进行合并；
S124、
对检测结果进行非极大值抑制；
S125、
筛选符合竖直直线的斜率条件，并去除距离过近的两直线段后，将最长的两条直线作为隧道拱架的轮廓线，由两轮廓线组成的矩形框即为图像中隧道拱架的精确位置；
S2、
将所述隧道拱架的精确位置映射到三维点云中，利用三维点云的聚类算法，建立点云的
k
‑
d
树结构，提取出隧道拱架在点云中具体位置；
S3、
通过激光雷达实时扫描得到整个隧道的三维点云模型，重建三角网格曲面，得到隧道的超欠挖模型；
S4、
根据所述超欠挖模型和所述隧道拱架在三维点云中的具体位置进行喷浆指导作业
。2.
根据权利要求1所述的基于神经网络和点云处理的隧道喷浆智能检测方法，其特征在于，所述目标检测网络结构包括：将长
×
宽
×
通道为
416
×
416
×3的图像输入特征提取层，所述特征提取层依次包括卷积核尺寸为3×3的卷积单元
DBL、
残差块
res1、
第一个残差块
res2、
第二个残差块
res2、
残差块
res4
；然后在坐标预测模块中，将第一个残差块
res2
的输出输入步长
stride
为2，卷积核尺寸为1×1的卷积单元
DBL
进行下采样，与第二个残差块
res2
的输出一同输入
concat
连接层，再依次通过卷积核尺寸为1×
1、3
×
3、1
×
1、3
×3的卷积单元
DBL
，最后经卷积核尺寸为1×1的卷积模块
conv
，输出长
×
宽
×
通道为
52
×
52
×
21
的图像
y2
；将第二个残差块
res2
的输出输入步长
stride
为2，卷积核尺寸为1×1的卷积单元
DBL
进行下采样，与残差块
res4
的输出一同输入
concat
连接层，再依次通过卷积核尺寸为1×
1、3
×
3、1
×
1、3
×3的卷积单元
DBL
，最后经卷积核尺寸为1×1的卷积模块
conv
，输出长
×
宽
×
通道为
26
×
26
×
21
的图像
y1
；其中，所述残差块
resn
中，
n
＝
1,2,4
，输入特征首先会经过一个
Zero padding
零填充模块对数据进行填充，然后再通过一个卷积核步长为2的3×3的卷积单元
DBL
对输入特征进行降维，最后将降维后的数据作为堆叠的
n
个残差单元
res unit
的输入来提取特征；在所述残差单元
res unit
中，输入特征在通过两个步长为1的1×1和3×3的卷积单元
DBL
后再与输入特征叠加作为残差单元的输出
。3.
根据权利要求2所述的基于神经网络和点云处理的隧道喷浆智能检测方法，其特征在于，对所述目标检测网络结构通过深度剪枝的模型压缩方法进行压缩，所述目标检测网络结构损失函数：
L
＝
loss
obj
+loss
noobj
+loss
cls
+loss
coor
式中，
loss
obj
和
loss
noobj
分别表示目标置信度和标...

【专利技术属性】
技术研发人员：罗春雷，杨凯，江强，蔡林航，肖林，沙浩，宋志良，
申请(专利权)人：河南省耿力工程设备有限公司，
类型：发明
国别省市：