【技术实现步骤摘要】
本专利技术涉及工程机械，具体涉及一种工程机械作业人员疲劳操作检测方法。
技术介绍
1、随着社会生产技术的不断革新，工程机械向着智能化的发展也越来越快，但是与此同时，工程机械不当的操作造成事故的发生频率逐年攀升，每年都会有很多人在事故中丧命。作业人员在操作工程机械过程中，出现疲劳操作行为直接导致了很多大型事故的发生，这也使其获得各个国家重视，成为工程机械智能化安全问题研究领域急需解决的重要难题。
2、目前，疲劳检测的研究方法主要是在汽车上研究的较多，如申请公开号为cn104207791a的“一种疲劳驾驶检测方法”、申请公开号为cn112528919a的“一种疲劳驾驶检测方法及装置、计算机可读介质”等，但工程机械工作环境与汽车驾驶环境不同，工程机械工作在大多凹凸不平的矿石泥土上，路面的一些颠簸会造成图片人像抖动，而且容易遇到灰尘和光线不足等情况。因此现有的汽车疲劳驾驶检测方法无法直接用于工程机械的疲劳操作检测上。
技术实现思路
1、本专利技术要解决的技术问题是：提供一种工程机械作业人员疲劳操作检测方法，以降低外界复杂环境变化的影响，提高工程机械疲劳操作检测的准确性和鲁棒性。
2、解决上述技术问题的技术方案是：一种工程机械作业人员疲劳操作检测方法，包括以下步骤：
3、s1.通过安装在操纵杆上的柔性压力传感器采集作业人员的压力信号；
4、s2.对柔性压力传感器采集的作业人员压力信号进行信号滤波处理，得到作业人员压力信号值及其疲劳判定值；>
5、s3.通过工程车辆上仪表自带的摄像头采集作业人员的面部图像数据；
6、s4.对摄像头采集的作业人员面部图像数据进行图像处理，得到作业人员面部特征点信息及其疲劳判定值；
7、s5.将作业人员的压力信号疲劳判定值和面部特征点信息疲劳判定值进行融合，得到疲劳操作检测综合结果，并对疲劳操作检测综合结果进行疲劳预警提示。
8、本专利技术的进一步技术方案是：在步骤s1中，所述的柔性压力传感器采用基于惠斯顿电桥的柔性薄膜压力传感器，该柔性压力传感器采集作业人员的压力信号数据和步骤s3中摄像头采集作业人员的面部图像数据是在同一个时间内，并分别对采集的压力信号数据和面部图像数据进行时间序列标注；在步骤s2中，所述对柔性压力传感器采集的作业人员压力信号进行信号滤波处理是使用巴特沃兹带通滤波器进行信号处理，过滤掉不稳定的信号，得到作业人员压力信号；
9、所述使用巴特沃兹带通滤波器滤波过程包括：
10、把通带的频率范围设置为0.1～6hz，其传递函数为：
11、
12、在式3)中，ω为压力信号频率，h(jω)为压力信号频率对应的增益值，ωc为截止频率，nf为滤波器阶数。
13、本专利技术的进一步技术方案是：在步骤s2中，在得到作业人员压力信号后，还根据作业人员压力信号值得出压力信号的疲劳判定值，当作业人员压力信号值降低到0.3时，并且持续时间大于等于2秒，则p为1，该p为压力信号的疲劳判定值，其余情况下，p为0；p的值整理如下：
14、
15、本专利技术的更进一步技术方案是：所述的步骤s4包括以下内容：先采用基于pca特征的mtcnn算法进行识别面部图像，再定位眼睛和嘴部的特征以及面部68个特征点，使用大津法分析睁眼与闭眼，如果是睁眼，则使用canny检测方法确定是否打哈欠，如果是没有打哈欠，则使用欧拉角判断是否瞌睡低头，如果没有瞌睡低头，则判断为清醒状态；如果有闭眼、打哈欠、瞌睡低头，则得出相应的疲劳判定值进入步骤s5。
16、本专利技术的更进一步技术方案是：在步骤s4中，所述mtcnn的模型训练过程包括：
17、s41.人脸分类：
18、将人脸分类分成人脸和非人脸两类，对于每个样本xi使用交叉熵损失：
19、
20、在式4)中，pi为人脸的概率，为背景的真实标签；
21、s42.边界框回归：
22、将边界框回归作为一个回归问题，对每个样本xi使用欧几里得损失：
23、
24、在式5)中，为通过网络预测得到的每个边界框与最近的真值之间的偏移量，为实际的真实的背景坐标，该为一个由左上角x、左上角y、长、宽组成的四元组；
25、s43.面部特征点定位：
26、将面部特征点定位作为一个回归问题，并最小化欧氏损失：
27、
28、在式6)中，为通过网络预测得到，为实际的真实的背景坐标，左眼、右眼、鼻子、左眼嘴角和右嘴角五个面部标志，一共5个点，每个点2个坐标，y属于十元组；
29、s44.多源训练：
30、将mtcnn模型的训练函数表示为：
31、
32、在式7)中，n为训练样本数量，αj为任务的重要性，为样本标签，为损失函数；在p-net和r-net网络中使用αdet＝1,αbox＝0.5,αlandmark＝0.5，而在o-net中使用αdet＝1,αbox＝0.5,αlandmark＝1来进行更准确的面部定位。
33、本专利技术的更进一步技术方案是：步骤s4中，在采用基于pca特征的mtcnn算法检测出面部图像后，采用基于mtcnn算法进行人眼检测，根据眼睛在人脸上的位置分布，将眼睛检测区域缩小至人脸图像上1/2部分进行定位，然后使用大津法分割的眼部特征判断睁眼还是闭眼，并根据眼睛图像的黑色点个数与白色点个数的比值以及连续时间闭眼的长短来判断是否疲劳：
34、当bawr＞0.42，连续闭眼时间小于1.68秒以及bawr＞0.42，连续闭眼时间大于或等于1.68秒和bawr≤0.42，连续闭眼时间小于1.68秒都作为清醒状态，即睁眼状态，a为0，a为睁闭眼特征的疲劳判定值；当bawr≤0.42，连续闭眼时间大于或等于1.68秒时为疲劳状态，即闭眼状态，a为1，a的值整理如下：
35、
36、本专利技术的更进一步技术方案是：在步骤s4中，所述的使用canny检测方法确定是否打哈欠包括：
37、截取面部的下半部分进行嘴部的定位，采取先对图像进行二值化操作，然后用canny检测方法提取出嘴部边缘轮廓，获取轮廓包含的面积与周长参数，最后通过计算嘴部似圆度e判断嘴部状态；
38、e的计算公式为：
39、e＝4πs/l2 8)，
40、在式8)中，似圆度e的取值范围为0～1，s为嘴部区域面积，l为嘴部轮廓周长，e的值越接近1，说明嘴巴张开越大；当e＜0.4,连续打哈欠时间小于4秒以及e＜0.4,连续打哈欠时间大于或等于4秒和e≥0.4，连续打哈欠时间小于4秒都为清醒状态，即闭嘴、正常说话状态，b为0，b为打哈欠的疲劳判定值；当e≥0.4，连续打哈欠时间大于或等于4秒时为疲劳状态，即打哈欠状态，b为1，b的值整理如下：
41、
42、本专利技术的更进一步技术本文档来自技高网...
【技术保护点】
1.一种工程机械作业人员疲劳操作检测方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种工程机械作业人员疲劳操作检测方法，其特征在于：在步骤S1中，所述的柔性压力传感器采用基于惠斯顿电桥的柔性薄膜压力传感器，该柔性压力传感器采集作业人员的压力信号数据和步骤S3中摄像头采集作业人员的面部图像数据是在同一个时间内，并分别对采集的压力信号数据和面部图像数据进行时间序列标注；在步骤S2中，所述对柔性压力传感器采集的作业人员压力信号进行信号滤波处理是使用巴特沃兹带通滤波器进行信号处理，过滤掉不稳定的信号，得到作业人员压力信号；
3.根据权利要求2所述的一种工程机械作业人员疲劳操作检测方法，其特征在于：在步骤S2中，在得到作业人员压力信号后，还根据作业人员压力信号值得出压力信号的疲劳判定值，当作业人员压力信号值降低到0.3时，并且持续时间大于等于2秒，则P为1，该P为压力信号的疲劳判定值，其余情况下，P为0；P的值整理如下：
4.根据权利要求3所述的一种工程机械作业人员疲劳操作检测方法，其特征在于：所述的步骤S4包括以下内容：先采用基于PCA特征
5.根据权利要求4所述的一种工程机械作业人员疲劳操作检测方法，其特征在于：在步骤S4中，所述MTCNN的模型训练过程包括：
6.根据权利要求5所述的一种工程机械作业人员疲劳操作检测方法，其特征在于：步骤S4中，在采用基于PCA特征的MTCNN算法检测出面部图像后，采用基于MTCNN算法进行人眼检测，根据眼睛在人脸上的位置分布，将眼睛检测区域缩小至人脸图像上1/2部分进行定位，然后使用大津法分割的眼部特征判断睁眼还是闭眼，并根据眼睛图像的黑色点个数与白色点个数的比值以及连续时间闭眼的长短来判断是否疲劳：
7.根据权利要求6所述的一种工程机械作业人员疲劳操作检测方法，其特征在于：在步骤S4中，所述的使用Canny检测方法确定是否打哈欠包括：
8.根据权利要求7所述的一种工程机械作业人员疲劳操作检测方法，其特征在于：在步骤S4中，所述的使用欧拉角判断是否瞌睡低头包括：
9.根据权利要求8所述的一种工程机械作业人员疲劳操作检测方法，其特征在于：在步骤S5中，将作业人员的压力信号疲劳判定值和面部特征点信息疲劳判定值进行融合，得到疲劳操作检测综合结果，并对该疲劳操作检测综合结果进行疲劳预警提示；融合后的疲劳操作检测综合值设置为Z；
10.根据权利要求9所述的一种工程机械作业人员疲劳操作检测方法，其特征在于：在步骤S5中，还根据疲劳操作检测综合值将作业人员疲劳等级分为清醒、轻度疲劳、中度疲劳、重度疲劳四个等级；
...【技术特征摘要】
1.一种工程机械作业人员疲劳操作检测方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种工程机械作业人员疲劳操作检测方法，其特征在于：在步骤s1中，所述的柔性压力传感器采用基于惠斯顿电桥的柔性薄膜压力传感器，该柔性压力传感器采集作业人员的压力信号数据和步骤s3中摄像头采集作业人员的面部图像数据是在同一个时间内，并分别对采集的压力信号数据和面部图像数据进行时间序列标注；在步骤s2中，所述对柔性压力传感器采集的作业人员压力信号进行信号滤波处理是使用巴特沃兹带通滤波器进行信号处理，过滤掉不稳定的信号，得到作业人员压力信号；
3.根据权利要求2所述的一种工程机械作业人员疲劳操作检测方法，其特征在于：在步骤s2中，在得到作业人员压力信号后，还根据作业人员压力信号值得出压力信号的疲劳判定值，当作业人员压力信号值降低到0.3时，并且持续时间大于等于2秒，则p为1，该p为压力信号的疲劳判定值，其余情况下，p为0；p的值整理如下：
4.根据权利要求3所述的一种工程机械作业人员疲劳操作检测方法，其特征在于：所述的步骤s4包括以下内容：先采用基于pca特征的mtcnn算法进行识别面部图像，再定位眼睛和嘴部的特征以及面部68个特征点，使用大津法分析睁眼与闭眼，如果是睁眼，则使用canny检测方法确定是否打哈欠，如果是没有打哈欠，则使用欧拉角判断是否瞌睡低头，如果没有瞌睡低头，则判断为清醒状态；如果有闭眼、打哈欠、瞌睡低头，则得出相应的疲劳判定值进入步骤s...
【专利技术属性】
技术研发人员：李勇滔，李含雁，江柏，白帆，宋仁发，木乐乐，
申请(专利权)人：广西科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。