装载机作业行为的分析方法及其装置制造方法及图纸

本申请提出一种装载机作业行为的分析方法及其装置，涉及煤炭技术领域，通过基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，目标区域中包括至少一台装载机；对每个候选视频流所包含的候选图像帧进行目标检测以从多个候选视频流中确定每台装载机对应的至少一个目标视频流；针对任一装载机，对该装载机对应的每个目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，并对目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息；根据运动轨迹和坐标信息对装载机的当前作业行为状态进行分类，实现了对装载机的作业行为的实时分析，监管装载机的违章作业行为，便于后续对违章作业的装载机进行整改。业的装载机进行整改。业的装载机进行整改。

【技术实现步骤摘要】
装载机作业行为的分析方法及其装置


[0001]本申请涉及煤炭
，尤其涉及一种装载机作业行为的分析方法及其装置。

技术介绍

[0002]在煤炭开采的过程中，装载机是露天煤矿的重要工程车辆，被广泛应用于矿石、工件等的铲运和道路的维护，为了保证生产活动的安全运行，需要对此类大型工作车辆的作业行为进行监管，在相关场景环境中，根据装载机安全操作规程，为了安全起见，装载机行驶时应收回铲斗，严禁升起铲斗行车。但相关技术中，对于装载机违章升起铲斗行车的作业行为的监管研究较少，没有成熟的解决方案。

技术实现思路

[0003]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
[0004]为此，本申请的一个目的在于提出一种装载机作业行为的分析方法，包括：基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，目标区域中包括至少一台装载机；对每个候选视频流所包含的候选图像帧进行目标检测，以从多个候选视频流中确定每台装载机对应的至少一个目标视频流；针对任一装载机，对该装载机对应的每个目标视频流所包含的目标图像帧进行目标跟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装载机作业行为的分析方法，其特征在于，包括：基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，所述目标区域中包括至少一台装载机；对每个所述候选视频流所包含的候选图像帧进行目标检测，以从多个所述候选视频流中确定每台所述装载机对应的至少一个目标视频流；针对任一所述装载机，对该装载机对应的每个所述目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，并对所述目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息；根据所述运动轨迹和所述坐标信息，对所述装载机的当前作业行为状态进行分类，所述分类包括非移动状态类别、移动且铲斗降落状态类别、移动且铲斗升起状态类别。2.根据权利要求1所述的装载机作业行为的分析方法，其特征在于，所述方法还包括：响应于所述装载机处于移动且铲斗升起状态类别，向所述装载机发出告警指示。3.根据权利要求1或2所述的装载机作业行为的分析方法，其特征在于，所述针对任一所述装载机，对该装载机对应的每个所述目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，包括：针对任一所述装载机，获取该装载机对应的每个所述目标视频流所包含的多张目标图像帧；将所述目标图像帧按照时间顺序放入到待处理图像帧队列中，作为所述待处理图像帧队列中的待处理目标图像帧；基于目标跟踪算法对所述待处理目标图像帧进行目标跟踪处理，获取所述装载机的运动轨迹。4.根据权利要求3所述的装载机作业行为的分析方法，其特征在于，所述方法还包括：响应于所述待处理图像帧队列中的待处理目标图像帧的数量已达到所述待处理图像帧队列的满额容量，确定所述待处理图像帧队列中待进行删除的待删除图像帧；将所述待删除图像帧从所述待处理图像帧队列中删除，并将所述目标图像帧按照时间顺序放入所述待处理图像帧队列以对所述待处理图像帧队列进行更新。5.根据权利要求1所述的装载机作业行为的分析方法，其特征在于，所述对每个所述候选视频流所包含的候选图像帧进行目标检测，以从多个所述候选视频流中确定每台所述装载机对应的至少一个目标视频流，包括：对每个所述候选视频流所包含的候选图像帧进行目标检测，确定每个所述装载机对应的目标检测矩形框；获取每个所述目标检测矩形框的长宽比，以及确定每个所述目标检测矩形框的像素点个数占整张候选图像帧的像素点总个数的个数百分比；针对任一所述装载机，将所述长宽比大于长宽比阈值且所述个数百分比大于个数百分比阈值的所述目标检测矩形框所在的候选视频流作为该装载机对应的所述目标视频流。6.根据权利要求1所述的装载机作业行为的分析...

【专利技术属性】
技术研发人员：李佳城，王振，朱西硕，杨晓辉，王洪磊，张俊升，刘晓明，冯瑛凯，
申请(专利权)人：煤炭科学研究总院有限公司，
类型：发明
国别省市：