面向叉车司机实操考核与教练的危险行为检测方法及系统技术方案

本发明专利技术公开了一种面向叉车司机实操考核与教练的危险行为检测方法及系统，包括：将工业相机安装于叉车前端，调整相机角度及焦距直至能清晰拍摄到叉车司机的腰间安全带及上半身部位，并记录调整后工业相机角度；根据叉车司机位姿，并抓取该位置图像，利用Mask R‑CNN目标识别与图像分割框架获取叉车司机位姿像素坐标，计算司机上半身位姿角度；根据相机系统成像结构，得到像素间距与实际间距比例，计算出危险行为判断标准；工业相机拍摄监测叉车司机姿态，检测安全带是否系好，利用Mask R‑CNN识别司机姿态像素坐标，计算出安全性得分，判断行为是否危险。本发明专利技术实现对叉车司机实操考核与教练过程中司机的危险行为进行智能识别检测。

【技术实现步骤摘要】
面向叉车司机实操考核与教练的危险行为检测方法及系统
本专利技术涉及叉车司机考核与教练领域，尤其涉及一种基于深度学习的面向叉车司机实操考核与教练的危险行为检测方法及系统。
技术介绍
叉车广泛应用于港口、车站、机场、货场、工厂车间、仓库、流通中心和配送中心等，在船舱、车厢和集装箱内进行托盘货物的装卸、搬运作业，是托盘运输、集装箱运输中必不可少的设备。叉车司机的实操考核与教练质量关乎工程效率和工程安全。本方法涉及深度学习的方法，能对叉车司机实操考核与教练过程中的危险行为进行检测，有助于行业提升对叉车司机的教学培训质量，规范叉车司机的驾驶和操作行为习惯，从源头上降低叉车安全事故发生概率，有力保障叉车使用安全。在本专利技术以前的叉车司机实操考核与教练的危险行为检测方法及系统现有技术中，有如下几篇对比专利和文献:1)一种基于神经网络的公交司机违规行为检测系统(CN109376634A)公开了一种公交司机违规行为检测系统，通过采用神经网络的方法，采集司机各类行为视频进行判断。该方法采用神经网络与本专利技术采用的深度学习方法相区别，且本方法的危险行为判断利用计算得出判断结果。2)机车司机行为识别方法及装置(CN106941602B)公开一种机车司机行为识别方法与系统，预先定义司机多类行为，采用深度学习算法，对司机日常几类操作进行识别。本专利技术采用MaskR-CNN深度学习方法，对司机身体姿态进行检测，并通过计算判断危险。3)一种基于监控视频的游泳馆深水区早期危险行为检测方法(CN111368743A)公开了一种基于监控视频的游泳馆深水区早期危险行为检测方法，通过采集游泳视频，检测游泳者头部处于游动状态或者直立状态。本专利技术采用MaskR-CNN方法对叉车司机上半身进行检测，并计算判断危险状态。
技术实现思路
为解决上述技术问题，本专利技术的目的是提供一种面向叉车司机实操考核与教练的危险行为检测方法及系统。本专利技术的目的通过以下的技术方案来实现：面向叉车司机实操考核与教练的危险行为检测方法，包括：A将工业相机安装于叉车前端，调整相机角度及焦距直至能清晰拍摄到叉车司机的腰间安全带及上半身部位，并记录调整后工业相机角度；B根据叉车司机位姿，抓取该位置图像，利用MaskR-CNN目标识别与图像分割框架获取叉车司机位姿像素坐标，计算司机上半身位姿角度；C根据相机系统成像结构，得到像素间距与实际间距比例，计算出危险行为判断标准；D工业相机拍摄监测叉车司机姿态，检测安全带是否系好，利用MaskR-CNN识别司机姿态像素坐标，计算出安全性得分，判断行为是否危险。面向叉车司机实操考核与教练的危险行为检测方法及系统，包括：工业相机、工业相机夹具、上位机、喇叭；所述工业相机，用于捕获司机姿态位置图像，并上传至上位机；工业相机夹具，用于安装工业相机并调整角度固定相机；上位机，用于识别所捕获的司机姿态位置图象，并计算判断司机是否处于危险行为；喇叭，用于播放检测到司机危险行为后的提醒性音频。与现有技术相比，本专利技术的一个或多个实施例可以具有如下优点：采用工业相机、上位机和喇叭，可以实时捕获叉车司机姿态图像并通过上位机识别计算出其所处位置像素坐标信息，对司机行为进行检测判断，并通过喇叭播报。本方法自动化程度高、速度快、对准精度高，可应用在叉车司机实操考核与教练过程中对司机的危险行为进行检测并提醒，具有实际意义和推广价值。利用MaskR-CNN目标识别与图像分割方法，实现对叉车司机实操考核与教练过程中司机的危险行为进行智能识别检测。附图说明图1是面向叉车司机实操考核与教练的危险行为检测方法流程图；图2是面向叉车司机实操考核与教练的危险行为检测方法程序框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本专利技术作进一步详细的描述。如图1所示，本专利技术的面向叉车司机实操考核与教练的危险行为检测方法，包括：步骤10将工业相机安装于叉车前端，调整相机角度及焦距直至能清晰拍摄到叉车司机的腰间安全带及上半身部位，并记录调整后工业相机角度；步骤20根据叉车司机位姿，并抓取该位置图像，利用MaskR-CNN目标识别与图像分割框架获取叉车司机位姿像素坐标，计算司机上半身位姿角度；步骤30根据相机系统成像结构，得到像素间距与实际间距比例，计算出危险行为判断标准；步骤40工业相机拍摄监测叉车司机姿态，检测安全带是否系好，利用MaskR-CNN识别司机姿态像素坐标，计算出安全性得分，判断行为是否危险。如图2，上述步骤10确定的调整后工业相机镜头轴线方向与重力方向所成角度为α。如图2，上述步骤20司机上半身位姿角度计算方法为：设N0为司机安全带身体边界像素点数，(x0,y0,z0)为安全带部位参考基准坐标。以司机安全带身体边界为基准坐标集，可得{(x0i,y0i,z0i)|i＝1,2,……,N0}，并计算安全带部位基准坐标：设N1为司机安全带身体边界像素点数，(x1,y1,z1)为安全带部位参考基准坐标。以识别司机肩部姿态并存储所处像素坐标集，可得{(x1i,y1i,z1i)|i＝1,2,……,Nl}，并计算肩部基准坐标：，由安全带部位基准坐标和肩部基准坐标可计算出司机位姿与竖直向上方向所成角度β：如图2，上述步骤30判断危险行为安全标准为：根据系统结构和相机成像面上一个像素间距对应的实际距离Δsl、Δss，危险因子为ξ，故判断系数A计算如下：其中A1、A2、A3有如下约束关系：A1+A2+A3＝1如图2，所述步骤40中，判断行为是否危险如下：识别司机姿态行为，若识别出司机为系好安全带，直接判断司机处于危险行为，若系好安全带则继续检测判断。设St1、St2、St3为司机姿态行为得分数，以识别司机初始姿态并存储所处像素坐标集，可得{(x0j,y0j,z0j)|j＝1,2,……,M0},MaskR-CNN识别司机姿态像素坐标，可得{(x1j,y1j,z1j)|j＝1,2,……,M0}，可计算司机姿态行为危险评分：根据以上司机得分情况，可判断司机是否处于危险状态：若检测判断结果为司机处于危险行为，则喇叭播报“危险，请注意安全”音频。虽然本专利技术所揭露的实施方式如上，但所述的内容只是为了便于理解本专利技术而采用的实施方式，并非用以限定本专利技术。任何本专利技术所属
内的技术人员，在不脱离本专利技术所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本专利技术的专利保护范围，仍须以所附的权利要求书所界定的范围为准。本文档来自技高网...

【技术保护点】
1.面向叉车司机实操考核与教练的危险行为检测方法，其特征在于，所述方法包括：/nA将工业相机安装于叉车前端，调整相机角度及焦距直至能清晰拍摄到叉车司机的腰间安全带及上半身部位，并记录调整后工业相机角度；/nB根据叉车司机位姿，抓取司机位姿位置图像，利用Mask R-CNN目标识别与图像分割框架获取叉车司机位姿像素坐标，计算司机上半身位姿角度；/nC根据相机系统成像结构，得到像素间距与实际间距比例，计算出危险行为判断标准；/nD工业相机拍摄监测叉车司机姿态，检测安全带是否系好，利用Mask R-CNN识别司机姿态像素坐标，计算出安全性得分，判断行为是否危险。/n

【技术特征摘要】
1.面向叉车司机实操考核与教练的危险行为检测方法，其特征在于，所述方法包括：
A将工业相机安装于叉车前端，调整相机角度及焦距直至能清晰拍摄到叉车司机的腰间安全带及上半身部位，并记录调整后工业相机角度；
B根据叉车司机位姿，抓取司机位姿位置图像，利用MaskR-CNN目标识别与图像分割框架获取叉车司机位姿像素坐标，计算司机上半身位姿角度；
C根据相机系统成像结构，得到像素间距与实际间距比例，计算出危险行为判断标准；
D工业相机拍摄监测叉车司机姿态，检测安全带是否系好，利用MaskR-CNN识别司机姿态像素坐标，计算出安全性得分，判断行为是否危险。


2.如权利要求1所述的面向叉车司机实操考核与教练的危险行为检测方法，其特征在于，所述步骤A中，调整后工业相机角度是指镜头轴线方向与重力方向所成角度，该角度为α。


3.如权利要求1所述的面向叉车司机实操考核与教练的危险行为检测方法，其特征在于，所述步骤B中司机上半身位姿角度计算方法为：
设司机安全带身体边界像素点数为N0，安全带部位参考基准坐标为(x0,y0,z0)；以司机安全带身体边界为基准坐标集，得{(x0i,y0i,z0i)|i＝1,2,……,N0}，并计算安全带部位基准坐标：



设N1为司机安全带身体边界像素点数，(x1,y1,z1)为安全带部位参考基准坐标；以识别司机肩部姿态并存储所处像素坐标集，得{(x1i,y1i,z1i)|i＝1,2,……,Nl}，并计算肩部基准坐标：



由安全带部位基准坐标和肩部基准坐标计算出司机位姿与竖直向上方向所成角度β：
<...

【专利技术属性】
技术研发人员：梁敏健，戚政武，张大伟，张万宝，陈英红，杨宁祥，司浩栋，陈军，屈金鹏，
申请(专利权)人：阿拉善盟特种设备检验所，广东省特种设备检测研究院珠海检测院，
类型：发明
国别省市：内蒙古;15