一种基于肌肉压力状态的非接触式疲劳监测方法技术

本发明专利技术涉及一种基于肌肉压力状态的非接触式疲劳监测方法。现有的疲劳检测大多数都是通过心率和医院的肌电图来检测身体疲劳状态而我们的方法通过非接触式的方法来检测身体当前的肌肉压力状态从而反应身体健康状态。本发明专利技术包括以下步骤：步骤一、获取人员的面部信息，步骤二、对图像进行多LBP特征提取，步骤三、选择ROI并进行跟踪，步骤四、对运动信息进行频域分析：将得到的运动信息进行滤波再转到频域使用窗口时间为30s的快速傅里叶变换进行处理得到频域特征；步骤五、使用LSTM模型对频域特征进行识别分类：通过已有的数据来训练一个LSTM模型，将频域特征放到这个模型中进行分类识别得到疲劳状态。

【技术实现步骤摘要】
一种基于肌肉压力状态的非接触式疲劳监测方法
本专利技术涉及人体健康检测领域，尤其是一种基于肌肉压力状态的非接触式疲劳监测方法。
技术介绍
之前的疲劳压力检测都是通过去医院做肌电图检查或者一些接触式压力检测器，这种无法满足现实环境需求，去医院检查会花费大量的时间和金钱，并且检测结果很长时间才能出来。而我们的检测方法只需要提取面部的肌肉变化，通过相关的算法进行处理后就能得到身体的肌肉疲劳状况。利用非接触式的光谱成像获取人脸信息高效而实用，但是噪声问题一直困扰着业界。在实验过程中散射和路径效应等带来的系统误差和噪声较大,为压力特征的获取带来了困扰。同时外部的干扰也会影响到数据。单从实验和外部环境的角度去解决这些问题并不现实,不然非接触无干预的目标将无法实现。为此我们在对图像去噪的同时,利用LBP算法模型提取特征点作为参照以降低噪声对算法的影响。
技术实现思路
(一)解决的技术问题本专利技术的目的是克服现有技术的不足，本专利技术提供了一种基于肌肉压力状态的非接触式疲劳监测方法，解决提取物理压力信号中所产生的问题。(二)技术方案本专利技术的技术方案：一种基于肌肉压力状态的非接触式疲劳监测方法，包括：步骤一、获取人员的面部信息：使用单波段相机(640nm波段)来采集人员的面部图像，采集120s的图像片段并进行去噪和去伪影处理，从而获取人员的面部信息；步骤二、对图像进行多LBP(LocalBinaryPatterns局部二值模式)特征提取：将从步骤一得到的处理后的人员面部图像进行多LBP特征提取，然后把得到的特征进行存储；步骤三、选择ROI(RegionOfInterest感兴趣区域)并进行跟踪：通过对面部图像的每个区域的特征进行分析得到合适的区域。使用光流法对选定的ROI区域的特征进行跟踪，得该区域的特征点的运动信息；步骤四、对运动信息进行频域分析：将步骤三得到的运动信息进行滤波再转到频域使用窗口时间为30s的FFT(快速傅里叶变换)进行处理得到频域特征；步骤五、使用LSTM(LongShort-TermMemory长短时记忆网络)模型对频域特征进行识别分类：通过已有的数据来训练一个LSTM模型，将频域特征放到这个模型中进行分类识别得到疲劳状态。一种基于肌肉压力状态的非接触式疲劳监测方法，其中：在步骤二中为了对人脸图像进行滤波处理，在此我们选用业界比较常用的中值滤波，它能在滤掉噪声的同时还能保护图像边缘信息不受模糊，我们以4*4的滑动窗口来遍历图像进行滤波祛除噪声使图像变的更加的平滑为下一步处理做好基础。之后,我们需要脸部的特征点做参照同时还能有效的抑制噪声对图像的影响，因此我们对人脸图像进行多尺度的LBP特征处理。多尺度的LBP特征能够很好的描述图像的局部特征和全局特征，图像大时选取的尺度应该越大，由于我们的图像像素是1392*1040，所以选取尺度为4的多尺度LBP特征进行处理。由于得到的人脸图片比较大，为了防止噪声影响人脸图片的质量，我们使用多尺度的LBP(MB-LBP)来提取人脸特征点信息。原始的LBP算子定义在像素3*3的邻域内，以邻域中心像素为阈值，相邻的8个像素的灰度值与邻域中心的像素值进行比较，若周围像素大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经过比较可产生8位二进制数，将这8位二进制数依次排列形成一个二进制数字，这个二进制数字就是中心像素的LBP值。而MB-LBP是基本LBP的一种扩展，选择合适的尺度，将图像区域分为多个子区域块，再把每个区域块分为一个个小区域。计算小区域的灰度平均值作为当前小区域的灰度值，依次类推周围的小区域灰度值也是这样计算。当前小区域的灰度值与周围小区域的灰度值进行比较得到的LBP特征就是MB-LBP。MB-LBP的区域块是9*9，分为9个小区域，小区域大小为3*3，里面的值就是每个小区域的平均灰度值，然后再进行比较。MB-LBP不仅提高了面部信息的快速提取也增加了对噪声的鲁棒性。不同尺度的MB-LBP对面部信息提取的程度不一样，通过我们的多次试验，我们选取了提取速度快，得到的局部信息细微的4*4MB-LBP来对面部进行提取过滤。一种基于肌肉压力状态的非接触式疲劳监测方法，其中：在步骤三中我们在人脸图像上选取了脸部信号作为ROI。我们选用Lucas-Kandaeopticalflow来跟踪ROI区域的变化。Lucas-Kandae光流算法是一种两帧差分的光流估计算法，算法假设被跟踪的物体亮度基本保持不变且运动相对帧率较慢，在数学上的体现是连续可导。算法计算两帧在时间t到t+αt之间每个每个像素点位置的移动。它是基于图像信号的泰勒级数，这种方法称为差分也就是对于空间和时间坐标使用偏导数。我们可以把图像约束方程可以写为:I(x,y,z,t)＝I(x+δx,y+δy,z+δz,t+δt)其中I(x,y,z,t)为在(x,y,z,t)位置的体素。我们假设移动足够的小，那么对图像约束方程使用泰勒公式，我们可以得到：从这个方程中我们可以得到:VxVy,Vz分别是I(x,y,z,t)的光流向量中x，y，z的组成。和则是图像在(x,y,z,t)这一点向相应方向的差分。所以IxVx+IyVy+IzVz＝-It方程可以写做：假设流(Vx,Vy,Vz)在一个大小为m*m*m(m>1)的小窗中是一个常数，那么从像素组中可以得到方程组:记作：(A代表系数矩阵，代表假设流)为了解决这个超定问题，通常采用最小二乘法将这个光流方程解出来了，得到了光流的运动位置即下一帧被跟踪区域的坐标信息。我们在选定的ROI内随机选取三个点，利用光流法计算三个点的运动轨迹S1，S2，S3：其中x,y代表此刻点的位置，a,b,c分别代表这三个特征点，比如代表第一个特征点的第一帧的位置，依次类推，r代表帧数，总共有R帧图片。我们选取第一帧的ROI区域的三个点的中心点为固定参考点S0。通过这些运动轨迹可以知道测试者面部区域的运动情况，根据三个特征点的情况，我们计算出三个特征点与固定参考点的欧式距离，得到了三组特征序列D1、D2、D3，然后对这三个距离特征序列求平均值作为最终的特征序列D,这特征序列是时间上连续的。Di＝‖Si-S0‖2i＝1,2,3这里D作为我们信号的输入,提取出运动状态下的肌肉高频抖动信号.最终将信号作为特征放入LSTM模型中分类训练。一种基于肌肉压力状态的非接触式疲劳监测方法，其中：在步骤四中我们把特征信号从时域转换到频域上进行分析。我们对特征序列进行了傅立叶变换，把时域转换到频域上进行分析。一种基于肌肉压力状态的非接触式疲劳监测方法，其中：在步骤五中为此我们将特征信号作为输入放到LSTM模型中训练。训练平台是Python和tensorflow。(三)有益效果本专利技术的优点在于：利用脸部的特征点做参照能有效的抑制噪声对图像的影响；MB-LBP不仅提高了面部信息的快速提取也增加了对噪声的鲁棒性。附图说明图1为本专利技术的算法主要流程图。图2为3*3大小的原始LBP。图3为本专利技术的9*9的多尺度块LBP。图4为本专利技术的实施例2中特征信号基线频谱图。图5为本专利技术的实施例2中特征信号运动状态频谱图。图6为本专利技术的实施例2中特征信号运动的峰值频率。具体实施方式下面将结合本专利技术实施例中的本文档来自技高网...

【技术保护点】
1.一种基于肌肉压力状态的非接触式疲劳监测方法，其特征在于：所述基于肌肉压力状态的非接触式疲劳监测方法包括如下步骤：步骤一、获取人员的面部信息：使用单波段相机来采集人员的面部图像，采集120s的图像片段并进行去噪和去伪影处理，从而获取人员的面部信息；步骤二、对图像进行多LBP特征提取：将从步骤一得到的处理后的人员面部图像进行多LBP特征提取，然后把得到的特征进行存储；步骤三、选择感兴趣区域并进行跟踪：通过对面部图像的每个区域的特征进行分析得到合适的区域，使用光流法对选定的ROI区域的特征进行跟踪，得该区域的特征点的运动信息；步骤四、对运动信息进行频域分析：将步骤三得到的运动信息进行滤波再转到频域使用窗口时间为30s的快速傅里叶变换进行处理得到频域特征；步骤五、使用LSTM模型对频域特征进行识别分类：通过已有的数据来训练一个LSTM模型，将频域特征放到这个模型中进行分类识别得到疲劳状态。

【技术特征摘要】
1.一种基于肌肉压力状态的非接触式疲劳监测方法，其特征在于：所述基于肌肉压力状态的非接触式疲劳监测方法包括如下步骤：步骤一、获取人员的面部信息：使用单波段相机来采集人员的面部图像，采集120s的图像片段并进行去噪和去伪影处理，从而获取人员的面部信息；步骤二、对图像进行多LBP特征提取：将从步骤一得到的处理后的人员面部图像进行多LBP特征提取，然后把得到的特征进行存储；步骤三、选择感兴趣区域并进行跟踪：通过对面部图像的每个区域的特征进行分析得到合适的区域，使用光流法对选定的ROI区域的特征进行跟踪，得该区域的特征点的运动信息；步骤四、对运动信息进行频域分析：将步骤三得到的运动信息进行滤波再转到频域使用窗口时间为30s的快速傅里叶变换进行处理得到频域特征；步骤五、使用LSTM模型对频域特征进行识别分类：通过已有的数据来训练一个LSTM模型，将频域特征放到这个模...

【专利技术属性】
技术研发人员：洪侃，刘国栋，李旭强，
申请(专利权)人：江西科技师范大学，
类型：发明
国别省市：江西,36