本发明专利技术涉及基于图像序列的护帮板伸缩角度测量方法及装置，所述方法包括：采集设置有反光标识关键点的护帮板全运动过程的视频流，并通过提取关键帧的方法将所述视频流转换为图像序列；将所述图像序列输入预先训练好的神经网络模型中，对所述图像序列进行关键点检测与跟踪，得到所述护帮板中所述各个关键点对应的运动轨迹曲线；基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值。本发明专利技术提供的技术方案，可实现对护帮板运动过程中的伸缩角度进行实时测量与可视化显示。的伸缩角度进行实时测量与可视化显示。的伸缩角度进行实时测量与可视化显示。
【技术实现步骤摘要】
基于图像序列的护帮板伸缩角度测量方法及装置
[0001]本专利技术涉及煤矿井下综采设备工作状态监测
，具体涉及基于图像序列的护帮板伸缩角度测量方法及装置。
技术介绍
[0002]煤矿井下综采工作面设备主要包括采煤机、刮板输送机和液压支架。其中，液压支架是唯一的支护设备，综采工作面内所进行的所有采煤及其相关作业均要在液压支架的支护空间内完成。而护帮板作为液压支架的重要组成部分，能够在采煤机完成割煤后对前方煤壁进行支护，从而防止架前片帮现象的发生，对确保采煤机、刮板输送机的正常运行以及人员安全起着重要作用。
[0003]近年来，随着煤矿智能化的发展，对井下设备运行状态的实时监测提出了更高要求。传统依靠液压支架工用肉眼判断护帮板伸缩状态的方法已经过时，而采用传感器的接触式测量方法存在传感器安装数量多、故障率高、维修难度大、解算误差大等不足，这都无法满足当前智能化开采对综采设备运行状态的高精度测量需求。
[0004]针对上述问题，目前申请号为201910722429.4的专利公开了一种基于图像识别的护帮板监控方法，通过利用目标检测算法筛选出符合预设条件的图像帧，然后对图像帧中的护帮板进行识别，从而判断出图像帧中的护帮板是否护帮到位；申请号为202010551198.8的专利公开了一种液压支架护帮板与采煤机滚筒截割干涉识别及监测系统，通过利用图像识别技术分别检测出护帮板与采煤机滚筒的轮廓边缘线，然后根据二者之间距离所处的阈值范围来确定护帮板与滚筒间的干涉预警等级。
[0005]上述方法实现了用机器监控代替人眼监控，然而仅仅对护帮板是否护帮到位或者护帮板与煤机滚筒间的相对位置状态进行了监控，属于定性检测，然而并不能对护帮板伸缩过程中的角度进行实时动态测量实现定量测量。
技术实现思路
[0006]本申请提供基于图像序列的护帮板伸缩角度测量方法及装置，以至少解决相关技术中不能对护帮板伸缩过程中的角度进行实时动态测量的技术问题。
[0007]本申请第一方面实施例提出一种基于图像序列的护帮板伸缩角度测量方法，所述方法包括：
[0008]采集设置有反光标识关键点的护帮板全运动过程的视频流，并通过提取关键帧的方法将所述视频流转换为图像序列；
[0009]将所述图像序列输入预先训练好的神经网络模型中，对所述图像序列进行关键点检测与跟踪，得到所述护帮板中所述各个关键点对应的运动轨迹曲线；
[0010]基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值；
[0011]其中，所述预先训练好的神经网络模型由设置有反光标识关键点的护帮板的图像信息和所述图像信息中关键点运动轨迹构成的训练集和验证集进行训练验证得到的；
[0012]所述神经网络模型包括：残差神经网络层和反卷积网络层。
[0013]本申请第二方面实施例提出一种基于图像序列的护帮板伸缩角度测量装置，所述装置包括：
[0014]图像采集模块，用于采集设置有反光标识关键点的护帮板全运动过程的视频流，并通过提取关键帧的方法将所述视频流转换为图像序列；
[0015]检测跟踪模块，用于将所述图像序列输入预先训练好的神经网络模型中，对所述图像序列进行关键点检测与跟踪，得到所述护帮板中所述各个关键点对应的运动轨迹曲线；
[0016]确定模块，用于基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值；
[0017]其中，所述预先训练好的神经网络模型由设置有反光标识关键点的护帮板的图像信息和所述图像信息中关键点运动轨迹构成的训练集和验证集进行训练验证得到的；
[0018]所述神经网络模型包括：残差神经网络层和反卷积网络层。
[0019]本申请第三方面实施例提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如本申请第一方面的预测方法。
[0020]本申请第四方面实施例提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本申请第一方面的预测方法。
[0021]本申请的实施例提供的技术方案至少带来以下有益效果：
[0022]本专利技术提供的基于图像序列的护帮板伸缩角度测量方法及装置，所述方法包括：采集设置有反光标识关键点的护帮板全运动过程的视频流，并通过提取关键帧的方法将所述视频流转换为图像序列；将所述图像序列输入预先训练好的神经网络模型中，对所述图像序列进行关键点检测与跟踪，得到所述护帮板中所述各个关键点对应的运动轨迹曲线；基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值。本专利技术提供的技术方案，可实现对护帮板运动过程中的伸缩角度进行实时测量与可视化显示。
[0023]本申请附加的方面以及优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0024]本申请上述的和/或附加的方面以及优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0025]图1是根据本申请一个实施例提供的基于图像序列的护帮板伸缩角度测量方法的流程图；
[0026]图2是根据本申请一个实施例提供的基于图像序列的护帮板伸缩角度测量方法的具体流程图；
[0027]图3是根据本申请一个实施例提供的基于图像序列的护帮板伸缩角度测量方法中反光标识点编号图；
[0028]图4是根据本申请一个实施例提供的基于图像序列的护帮板伸缩角度测量方法中关键点运动轨迹中椭圆与圆轨迹关系对应图；
[0029]图5是根据本申请一个实施例提供的基于图像序列的护帮板伸缩角度测量装置的结构图；
[0030]图6是根据本申请一个实施例提供的基于图像序列的护帮板伸缩角度测量装置中确定模块的结构图；
[0031]图7是根据本申请一个实施例提供的基于图像序列的护帮板伸缩角度测量装置中包含显示模块的装置结构图；
[0032]图8是根据本申请一个实施例提供的基于图像序列的护帮板伸缩角度测量装置安放位置图。
具体实施方式
[0033]下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
[0034]本申请提出的基于图像序列的护帮板伸缩角度测量方法及装置，所述方法包括：采集设置有反光标识关键点的护帮板全运动过程的视频流，并通过提取关键帧的方法将所述视频流转换为图像序列；将所述图像序列输入预先训练好的神经网络模型中，对所述图像序列进行关键点检测与跟踪，得到所述护帮板中所述各个关键点对应的运动轨迹曲线；基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值。本专利技术提供的技术方案，可实现对护帮板运动过程中的伸缩角度进行实时测量与可视化显示。
[0035]实施例1
[0036]需要说本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于图像序列的护帮板伸缩角度测量方法，其特征在于，所述方法包括：采集设置有反光标识关键点的护帮板全运动过程的视频流，并通过提取关键帧的方法将所述视频流转换为图像序列；将所述图像序列输入预先训练好的神经网络模型中，对所述图像序列进行关键点检测与跟踪，得到所述护帮板中所述各个关键点对应的运动轨迹曲线；基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值；其中，所述预先训练好的神经网络模型由设置有反光标识关键点的护帮板的图像信息和所述图像信息中关键点运动轨迹构成的训练集和验证集进行训练验证得到的；所述神经网络模型包括：残差神经网络层和反卷积网络层。2.如权利要求1所述的方法，其特征在于，所述预先训练好的神经网络模型的训练过程包括：步骤F1:采集历史时段内设置有反光标识关键点的护帮板的图像信息及各图像对应的检测目标信息并构成样本集，并将所述样本集按照预设的比例划分为训练集和验证集；步骤F2：通过神经网络模型中的残差神经网络所对所述训练集进行关键点检测训练，并通过神经网络模型中的反卷积网络层对关键点进行回归，得到训练后的神经网络模型；步骤F3：将所述验证集中护帮板的图像信息输入训练后的神经网络模型中，得到所述模型输出的所述图像信息对应的坐标信息；步骤F4：基于验证集确定训练后的神经网络模型的精确度与召回率,若所述训练后的神经网络模型的精确度大于预设的精度阈值且召回率大于预设的召回率阈值，则将所述训练好的神经网络模型作为训练好的神经网络模型，否则调整模型的学习率并重新进行训练，直至训练后的神经网络模型的精确度大于预设的精度阈值且召回率大于预设的召回率阈值，得到训练好的神经网络模型；其中，所述检测目标信息包括：图片中所述关键点的坐标信息。3.如权利要求2所述的方法，其特征在于，所述采集的设置有反光标识关键点的护帮板的图像信息包括：从所述关键点的不同角度采集图像信息；其中，所述不同角度包括：左、正中和右。4.如权利要求1所述的方法，其特征在于，所述基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值，包括：构建所述各个关键点对应的运动轨迹与...
【专利技术属性】
技术研发人员：任怀伟，杜明，赵国瑞，李帅帅，
申请(专利权)人：中煤科工开采研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。