【技术实现步骤摘要】
本专利技术属于井下巷道和隧道支护，具体涉及一种井下恶劣条件下机器视觉识别钢带孔方法和装置。
技术介绍
1、煤矿巷道或隧道掘进后为了围岩安全需要对岩壁进行支护作业，通常需要钢带增加围岩的稳定性，在进行锚网支护时，锚杆穿过钢带孔打入岩壁对锚网固定。
2、正常情况下，钻头无法打穿钢带，为此打锚孔时需要将钻头从预留的钢带孔中打入；目前人工寻孔的操作时间长且需多次尝试才能保证精准入孔，操作者位于空顶区存在安全隐患，同时承受泥水的喷淋和粉尘的危害，环境较为恶劣。
技术实现思路
1、本专利技术为解决现有技术中存在的上述至少一个问题，提供了一种井下恶劣条件下机器视觉识别钢带孔方法和装置。
2、本专利技术采用如下的技术方案实现：一种井下恶劣条件下机器视觉识别钢带孔方法，包括以下步骤：s1：建立去粉尘降噪神经网络模型，将采集到的矿井和隧道钢带处的监控图像作为输入，输出去粉尘降噪后的钢带和钢带孔图像；s2：建立低光照图像增强模型，包括分解网络、光照调整网络和反射重构网络，对去粉尘降噪后的钢带和钢带孔图像的清晰度进行增强；s3：采用yolo目标检测算法检测图像中钢带孔的位置，并将得到的钢带孔高精度空间坐标输出。
3、优选地，矿井钢带处的监控图像的去粉尘降噪步骤包括：s101：采集矿井和隧道钢带孔图像，同一位置有粉尘图像和无粉尘图像为一组，其中有粉尘图像作为训练样本数据，无粉尘图像作为该样本数据的标签；将数据集按照比例分为训练集和测试集；s102：设置模型训练时的超参数：
4、优选地，分解网络用于将输入的去粉尘降噪后的钢带和钢带孔图像分解为光照图和反射图；光照调整网络采用深度可分离卷积构成的卷积层作为特征提取网络结构，同时引入mobilenet网络结构，对光照图的亮度和光照分量对比度进行优化调整；反射重构网络加入残差网络结构，用于提升网络特征学习性能和反射分量纹理细节恢复能力；经上述处理后的光照图和反射图基于retinex理论进行融合，实现去粉尘降噪后的钢带和钢带孔图像的对比度提高和细节的增强。
5、优选地，yolo目标检测算法的网络结构包括输入层、基准网络、neck网络和输出层；输入层包含mosaic数据增强、自适应锚框计算和自适应图像缩放；基准网络由focus、csp、spp模块结构构成；neck网络采用csp2结构，neck网络中prediction包括boundingbox损失函数和非极大值抑制；在锚护位置检测场景中，输出层的对象类别为2种类型的锚护孔，分别是锚网网格中心和钢带孔中心。
6、优选地，mosaic数据增强将4张图像通过随机缩放、随机裁剪、随机排布的方式进行拼接，自适应锚框计算可以在网络训练期间自适应地调整大小，以适应不同尺度的目标，自适应图像缩放的方法在推理时能够降低计算量；将原始图像输入focus结构进行切片运算，csp结构对特征图进行特征提取，可以减少卷积神经网络优化过程中的梯度信息重复，通过调整csp模块的宽度和深度，可以得到不同参数的模型，spp模块可以增加网络的感受，获取不同尺度的特征；neck网络中边界框损失函数采用giou_loss损失值计算；neck网络采用非极大抑制可以消除多余的框，找到最佳的钢带孔检测位置；修改后的yolov5分类器的输出维度变为21；锚孔法线获取的方案采用最小二乘法。
7、本专利技术还提供了一种井下恶劣条件下机器视觉识别钢带孔的装置，包括井下数据采集层、机器视觉设备层、机器视觉识别控制层和标准化通讯网络，井下数据采集层用于矿井和隧道钢带处的监控图像的采集，机器视觉设备层用于保障清晰图像的采集，机器视觉识别控制层用于图像处理和识别，通过识别控制器计算出高精度钢带孔空间坐标，指导机械臂寻孔；标准化通讯网络用于系统间的数据通讯。
8、优选地，井下数据采集层包括rgb图像传感器、近红外激光传感器和惯性测量单元；机器视觉设备层包括图像处理硬件、防爆电控箱、补光装置和清洁机构，在防爆电控箱内安装的图像处理硬件存储有去粉尘降噪神经网络程序、低光照图像增强程序、钢带孔高精度空间坐标程序并负责输出钢带孔高精度空间坐标给控制器；补光装置和清洁机构用于保证井下巷道和隧道黑暗环境下的光照强度和多泥水环境下光路的畅通；机器视觉识别控制层包括控制面板、控制器和数据中心，其中控制面板可实现参数设定、监控程序运行状态，故障显示与报警，控制器中内置有去粉尘降噪算法、低光照图像增强算法和钢带孔的位置坐标算法，数据中心将多个钻机数据综合判断钢带孔状态、识别效果等因数，采用大数据分析手段做出安全判断和机器视觉识别参数的调整，实现多个钻臂协同工作。
9、优选地，rgb图像传感器、近红外激光传感器和惯性测量单元组成摄像头模块，rgb图像传感器、近红外激光传感器获取的图像可通过硬件进行像素级融合实现高精度景信息深与物体形状的关联，惯性测量单元通过加速度计和陀螺仪感知摄像头位姿，提供辅助信息。
10、优选地，还包括用于安装摄像头模块和补光装置的圆盘，圆盘的端面转动连接有一个用于外罩摄像头模块和补光装置的透明罩，清洁机构为雨刮，圆盘的圆周处某一点固定连接有雨刮，透明罩与固定在圆盘端面中心位置的旋转电机的输出轴连接，雨刮贴合在透明罩的外壁且透明罩能够相对雨刮转动，实现透明罩外壁泥水的刮除。
11、与现有技术相比，本专利技术的有益效果是：
12、本专利技术可搭载钻机上通过定位臂自动寻钢带孔，可提升巷道和隧道的支护效率；摄像头采用可见光与红外线激光结合的多物理场通道，通过led光源补光，保证获取的图像质量；采用自清洁的雨刮和补光装置，时刻保证摄像头的光路稳定，在多泥水的工况下不降低坐标解算性能；采用rgb图像与depth图像的像素级融合，进一步提升图像质量；开发井下巷道和隧道图像去粉尘降噪神经网络算法和图像增强算法提升钢带孔识别精度和位置的准确；采用yolov5程序中的bn数值稳定结构、迭代器、交叉层结构、损失计算等步骤处理图像确定钢带孔空间位置信息，进而获得钢带孔法线信息。
本文档来自技高网...【技术保护点】
1.一种井下恶劣条件下机器视觉识别钢带孔方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种井下恶劣条件下机器视觉识别钢带孔方法，其特征在于：矿井钢带处的监控图像的去粉尘降噪步骤包括：
3.根据权利要求2所述的一种井下恶劣条件下机器视觉识别钢带孔方法，其特征在于：分解网络用于将输入的去粉尘降噪后的钢带和钢带孔图像分解为光照图和反射图；光照调整网络采用深度可分离卷积构成的卷积层作为特征提取网络结构，同时引入MobileNet网络结构，对光照图的亮度和光照分量对比度进行优化调整；反射重构网络加入残差网络结构，用于提升网络特征学习性能和反射分量纹理细节恢复能力；经上述处理后的光照图和反射图基于Retinex理论进行融合，实现去粉尘降噪后的钢带和钢带孔图像的对比度提高和细节的增强。
4.根据权利要求3所述的一种井下恶劣条件下机器视觉识别钢带孔方法，其特征在于：YOLO目标检测算法的网络结构包括输入层、基准网络、Neck网络和输出层；输入层包含Mosaic数据增强、自适应锚框计算和自适应图像缩放；基准网络由Focus、CSP、SPP模块结构构成
5.根据权利要求4所述的一种井下恶劣条件下机器视觉识别钢带孔方法，其特征在于：Mosaic数据增强将4张图像通过随机缩放、随机裁剪、随机排布的方式进行拼接，自适应锚框计算可以在网络训练期间自适应地调整大小，以适应不同尺度的目标，自适应图像缩放的方法在推理时能够降低计算量；
6.一种井下恶劣条件下机器视觉识别钢带孔的装置，基于如权利要求1至5任一项所述的井下恶劣条件下机器视觉识别钢带孔的方法，其特征在于：包括井下数据采集层、机器视觉设备层、机器视觉识别控制层和标准化通讯网络，井下数据采集层用于矿井和隧道钢带处的监控图像的采集，机器视觉设备层用于保障清晰图像的采集，机器视觉识别控制层用于图像处理和识别，通过识别控制器计算出高精度钢带孔空间坐标，指导机械臂寻孔；标准化通讯网络用于系统间的数据通讯。
7.根据权利要求6所述的一种井下恶劣条件下机器视觉识别钢带孔的装置，其特征在于：井下数据采集层包括RGB图像传感器、近红外激光传感器和惯性测量单元；
8.根据权利要求7所述的一种井下恶劣条件下机器视觉识别钢带孔的装置，其特征在于：RGB图像传感器、近红外激光传感器和惯性测量单元组成摄像头模块，RGB图像传感器、近红外激光传感器获取的图像可通过硬件进行像素级融合实现高精度景信息深与物体形状的关联，惯性测量单元通过加速度计和陀螺仪感知摄像头位姿，提供辅助信息。
9.根据权利要求8所述的一种井下恶劣条件下机器视觉识别钢带孔的装置，其特征在于：还包括用于安装摄像头模块和补光装置的圆盘，圆盘的端面转动连接有一个用于外罩摄像头模块和补光装置的透明罩，清洁机构为雨刮，圆盘的圆周处某一点固定连接有雨刮，透明罩与固定在圆盘端面中心位置的旋转电机的输出轴连接，雨刮贴合在透明罩的外壁且透明罩能够相对雨刮转动，实现透明罩外壁泥水的刮除。
...【技术特征摘要】
1.一种井下恶劣条件下机器视觉识别钢带孔方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种井下恶劣条件下机器视觉识别钢带孔方法，其特征在于：矿井钢带处的监控图像的去粉尘降噪步骤包括：
3.根据权利要求2所述的一种井下恶劣条件下机器视觉识别钢带孔方法，其特征在于：分解网络用于将输入的去粉尘降噪后的钢带和钢带孔图像分解为光照图和反射图；光照调整网络采用深度可分离卷积构成的卷积层作为特征提取网络结构，同时引入mobilenet网络结构，对光照图的亮度和光照分量对比度进行优化调整；反射重构网络加入残差网络结构，用于提升网络特征学习性能和反射分量纹理细节恢复能力；经上述处理后的光照图和反射图基于retinex理论进行融合，实现去粉尘降噪后的钢带和钢带孔图像的对比度提高和细节的增强。
4.根据权利要求3所述的一种井下恶劣条件下机器视觉识别钢带孔方法，其特征在于：yolo目标检测算法的网络结构包括输入层、基准网络、neck网络和输出层；输入层包含mosaic数据增强、自适应锚框计算和自适应图像缩放；基准网络由focus、csp、spp模块结构构成；neck网络采用csp2结构，neck网络中prediction包括boundingbox损失函数和非极大值抑制；在锚护位置检测场景中，输出层的对象类别为2种类型的锚护孔，分别是锚网网格中心和钢带孔中心。
5.根据权利要求4所述的一种井下恶劣条件下机器视觉识别钢带孔方法，其特征在于：mosaic数据增强将4张图像通过随机缩放、随机裁剪、随机排布的方式进行拼接，自适应锚框计算可以在网络...
【专利技术属性】
技术研发人员：周旭，康鹏，王军强，张春英，吕继双，安四元，张云波，孟振宇，米豪鼎，于建华，王磊，周廷，杨小凤，冯向军，侯伟，
申请(专利权)人：中国煤炭科工集团太原研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。