基于单目视觉自动标签的液压支架推进度检测方法及系统技术方案

本发明专利技术提供了一种基于单目视觉自动标签的液压支架推进度检测方法及系统，方法包括：将摄像头安装在液压支架上，摄像头俯拍液压支架的推移杆，在推移杆的两端的液压支架底座和刮板运输机十字头上分别设置标识1和标识2；构建十层由一维卷积层Conv1D(M，N)组成的深度残差网络模型；将构建深度神经网络模型置于控制器的GPU单元中，控制器定时读取摄像头的图像信息、摄像头的位置信息和推移杆的推移距离送入深度神经网络模型，对深度神经网络模型进行训练；控制器读取摄像头的图像信息和摄像头的位置信息，作为输入信号送入训练好的深度神经网络模型，即可输出推移杆的推移距离。本发明专利技术方法无需标定、无需人工提供标签、可在线训练。可在线训练。可在线训练。

【技术实现步骤摘要】
基于单目视觉自动标签的液压支架推进度检测方法及系统


[0001]本专利技术涉及一种基于机器视觉的检测方法，具体的说，涉及了一种基于单目视觉自动标签的液压支架推进度检测方法及系统。

技术介绍

[0002]液压支架是煤矿井下工作面安全支护的核心设备。在工作面中，液压支架会在采煤机的截割煤壁后，往前推移刮板运输机，从而将工作面往回采方向推进。
[0003]在工作面回采过程中，刮板运输机的直线度直接决定了采煤机滚筒截割煤壁的厚度，进而确定割煤机单刀的采煤量。由于刮板运输机的直线度是由液压支架推移油缸确定，因此其直线度就确定了液压支架的空间分布。如果工作面直线度不好，有可能造成工作面安全支护失稳，导致安全事故。因此，工作面直线度检测是煤矿井下需要解决的重点难题。
[0004]工作面的直线度检测主要的方法有惯性导航装置检测、位移传感器检测两类。但是惯性导航检测成本高，且检测的工作面直线度仅为上一刀采煤机的运行轨迹，而非实时的工作面直线度，一定程度上没有发挥惯性导航装置的作用。而位移传感器检测方法主要是通过激光或声呐传感器，检测液压支架与刮板运输机的相对位移。这类方法需要在每一个液压液压支架前端安装一个位移传感器，从而确认整个工作面的直线度。由于落煤、浮煤等影响，这类传感器在使用过程中，容易被损坏或者出现数据错误。
[0005]也有基于机器视觉的直线度检测方法，其核心是通过摄像头检测液压支架的推移油缸的推进度。然而，在机器视觉领域，单目摄像头的检测位置通常可以采用相机内参数与世界坐标系标定的办法，通过拍摄的视频图像信息的像素来反演距离。然而，单目摄像头可以在水平轴和俯仰轴两个维度上动作，因此不能用单目摄像头的标定方法来确定动态不同角度情况下的成像畸变。此外，在液压支架的推进过程中，单目摄像头相对于地面的位置也会发生变化，从而导致摄像头拍摄环境出现很大的差异。因此，采用单目摄像头，通过标定的方法无法实现液压支架推移行程的精确检测。

技术实现思路

[0006]本专利技术的目的是针对现有技术的不足，提供一种基于单目视觉自动标签的液压支架推进度检测方法及系统。
[0007]为了实现上述目的，本专利技术所采用的技术方案是：本专利技术第一方面提供了一种基于单目视觉自动标签的液压支架推进度检测方法，包括：部署检测系统将摄像头安装在液压支架上，使得摄像头的水平面0度线为液压支架顶梁中线，摄像头的俯仰面与液压支架顶梁垂直，摄像头的俯仰面0度线为液压支架顶梁中线张成的平面；摄像头俯拍液压支架的推移杆，在推移杆的两端的液压支架底座和刮板运输机十
字头上分别设置标识1和标识2；构建深度神经网络模型构建十层由一维卷积层Conv1D(M，N)组成的深度残差网络模型，其中，M表示输入的通道数，N表示输出通道数，第一层卷积层为Conv1D(3，64)，第二层卷积层为Conv1D(64，128)，第三层卷积层为Conv1D(128，128)，第四层卷积层为Conv1D(128，64)，第五层卷积层为Conv1D(64，64) ，第六层卷积层为Conv1D(64，32) ，第七层卷积层为Conv1D(32，32) ，第八层卷积层为Conv1D(32，4) ，第九层卷积层为Conv1D(4，2) ，第十层卷积层为Conv1D(2，4)；基于自动标签的神经网络训练所述摄像头设置在云台上，能够记录并输出水平轴和俯仰轴的旋转角度信息。
[0008]基于上述，基于自动标签的神经网络训练时，控制器读取的摄像头的图像信息先进行直方图均衡化的增强预处理和对比度调整，其中对比度增强调节范围在+0.0~+1.0之间；读取的摄像头的图像信息中取当前液压架和左右邻液压架的推移杆图像信息。
[0009]基于上述，基于自动标签的神经网络训练时，控制器仅读取当前液压架和左右邻液压架的推移杆的推移距离，推移杆的推移距离通过传感器检测获得。
[0010]基于上述，根据摄像头的图像信息提取图像中的标识物的位置信息的方法为：在摄像头拍摄的图像中，需要确认当前液压支架、左右邻液压支架的端头信息，分为三种情况：摄像头左偏、摄像头置中、摄像头右偏；在增强后的图像中，分割出各个标识，并从上到下，从左到右编号；依据标识的在图像中的位置，首先将标识分为上下两排，然后从左往右进行标识配对；通过分割出来的标识中的横线和竖线的交叉点确认中心点，获得标识像素空间位置中心在坐标轴x0y上的坐标。
[0011]基于上述，所述摄像头为单目伺服摄像头，提供RGB三原色图像，分辨率为1920*1080。
[0012]基于上述，所述推移杆的推移距离的数据精度为0.01米。
[0013]基于上述，所述控制器的GPU选用NVIDIA T4 GPU显卡。
[0014]将构建深度神经网络模型置于控制器的GPU单元中，控制器定时读取摄像头的图像信息、摄像头的位置信息和推移杆的推移距离；根据摄像头的图像信息提取图像中的标识物的位置信息，即标识像素空间位置中心在坐标轴x0y上的坐标，共计4个数据；根据摄像头的角度信息提取摄像头的水平角和俯仰角信息，共计2个数据；将上述6个数据信息作为输入信号送入深度神经网络模型，将推移杆的推移距离作为深度神经网络模型的标签，当做输出信号送入深度神经网络模型，对深度神经网络模型进行训练；训练时，损失函数：log对数损失函数，式中，X为神经网络输入信号，Y为对应的神经网络标签；训练方法：随机梯度下降法；训练结束标志：损失函数值小于0.001；推进度检测控制器读取摄像头的图像信息和摄像头的位置信息，根据摄像头的图像信息提取
标识像素空间位置中心在坐标轴x0y上的坐标，共计4个数据，根据摄像头的角度信息提取摄像头的水平角和俯仰角信息，共计2个数据；将该6个数据信息作为输入信号送入训练好的深度神经网络模型，即可输出推移杆的推移距离。
[0015]基于上述，所述标识1和所述标识2为5cm*5cm的红白相间反光贴。
[0016]基于上述，所述摄像头设置在云台上，能够记录并输出水平轴和俯仰轴的旋转角度信息。
[0017]基于上述，基于自动标签的神经网络训练时，控制器读取的摄像头的图像信息先进行直方图均衡化的增强预处理和对比度调整，其中对比度增强调节范围在+0.0~+1.0之间；读取的摄像头的图像信息中取当前液压架和左右邻液压架的推移杆图像信息。
[0018]基于上述，基于自动标签的神经网络训练时，控制器仅读取当前液压架和左右邻液压架的推移杆的推移距离，推移杆的推移距离通过传感器检测获得。
[0019]基于上述，根据摄像头的图像信息提取图像中的标识物的位置信息的方法为：在摄像头拍摄的图像中，需要确认当前液压支架、左右邻液压支架的端头信息，分为三种情况：摄像头左偏、摄像头置中、摄像头右偏；在增强后的图像中，分割出各个标识，并从上到下，从左到右编号；依据标识的在图像中的位置，首先将标识分为上下两排，然后从左往右进行标识配对；通过分割出来的标识中的横线和竖线的交叉点确认中心点，获得标识像素空间位置中心在坐标轴x0y上的坐标。...

【技术保护点】

【技术特征摘要】
1.一种基于单目视觉自动标签的液压支架推进度检测方法，其特征在于，包括：部署检测系统将摄像头安装在液压支架上，使得摄像头的水平面0度线为液压支架顶梁中线，摄像头的俯仰面与液压支架顶梁垂直，摄像头的俯仰面0度线为液压支架顶梁中线张成的平面；摄像头俯拍液压支架的推移杆，在推移杆的两端的液压支架底座和刮板运输机十字头上分别设置标识1和标识2；构建深度神经网络模型构建十层由一维卷积层Conv1D(M，N)组成的深度残差网络模型，其中，M表示输入的通道数，N表示输出通道数，第一层卷积层为Conv1D(3，64)，第二层卷积层为Conv1D(64，128)，第三层卷积层为Conv1D(128，128)，第四层卷积层为Conv1D(128，64)，第五层卷积层为Conv1D(64，64) ，第六层卷积层为Conv1D(64，32) ，第七层卷积层为Conv1D(32，32) ，第八层卷积层为Conv1D(32，4) ，第九层卷积层为Conv1D(4，2) ，第十层卷积层为Conv1D(2，4)；基于自动标签的神经网络训练将构建深度神经网络模型置于控制器的GPU单元中，控制器定时读取摄像头的图像信息、摄像头的位置信息和推移杆的推移距离；根据摄像头的图像信息提取图像中的标识物的位置信息，即标识像素空间位置中心在坐标轴x0y上的坐标，共计4个数据；根据摄像头的角度信息提取摄像头的水平角和俯仰角信息，共计2个数据；将上述6个数据信息作为输入信号送入深度神经网络模型，将推移杆的推移距离作为深度神经网络模型的标签，当做输出信号送入深度神经网络模型，对深度神经网络模型进行训练；训练时，损失函数：log对数损失函数，式中，X为神经网络输入信号，Y为对应的神经网络标签；训练方法：随机梯度下降法；训练结束标志：损失函数值小于0.001；推进度检测控制器读取摄像头的图像信息和摄像头的位置信息，根据摄像头的图像信息提取标识像素空间位置中心在坐标轴x0y上的坐标，共计4个数据，根据摄像头的角度信息提取摄像头的水平角和俯仰角信息，共计2个数据；将该6个数据信息作为输入信号送入训练好的深度神经网络模型，即可输出推移杆的推移距离。2.根据权利要求1所述的基于单目视觉自动标签的液压支架推进度检测方法，其特征在于：所述标识1和所述标...

【专利技术属性】
技术研发人员：王永强，张幸福，常亚军，杨文明，杨艺，杜洪生，连东辉，崔科飞，李春鹏，冯敬培，
申请(专利权)人：郑州煤矿机械集团股份有限公司，
类型：发明
国别省市：