【技术实现步骤摘要】
一种基于rPPG的非接触式疲劳检测系统及方法
[0001]本专利技术属于信息
，更具体地，涉及一种基于远程光电容积描记术（remote photo plethysmo graphy, rPPG）的非接触式疲劳检测系统及方法。
技术介绍
[0002]疲劳作为一种情绪状态对人们的日常生活和学习起着举足轻重的作用。例如：驾驶疲劳会显著提高交通事故的发生概率，过度疲劳会严重影响身心健康等。以学习情景为例，疲劳不仅会显著降低学习效率，还会引起注意力涣散、思维迟钝、记忆衰退、情绪躁动、厌烦易怒等症状，这些症状对学习者的生理、心理和认知都将造成一定的负面影响。当前，疲劳状态检测已经成为一大研究热点，在学术圈和工业界引起了广泛关注。
[0003]以往疲劳检测大多基于传统视频分析，如利用眨眼率、打哈欠、打盹、人脸表情等检测疲劳状态。得益于视频检测技术的飞速发展，基于视频的疲劳检测精度不断提高。但是，该方法也具有显著缺陷，诸多因素均可导致检测结果出现偏差：
①
被试伪装（伪装自己的真实状态，如：假装闭眼、打哈欠、打盹以及表情伪装等）；
②
人脸生理特征差异（如：个体眼睛大小差异等）；
③
光线变化（如：光线昏暗、光照不均等）。此外，传统视频分析方法一般只能在被试进入相对深度的疲劳状态时（如：困得闭眼、打哈欠、打盹等）才能检测到疲劳状态。也就是说，一方面，该方法无法有效及时地检测早期疲劳状态；另一方面，进入相对深度疲劳状态后，打哈欠等症状所可能引发的头部偏转等问题，将进一步增加...
【技术保护点】
【技术特征摘要】
1.一种基于rPPG的非接触式疲劳检测方法，其特征在于，包括如下步骤：确定人脸的图像视频；对所述图像视频中的每一帧图像进行人脸感兴趣区域跟踪，提取人脸感兴趣区域的皮肤二值化图像；在剔除眼睛和嘴巴区域的基础上，将每一帧图像转化为LUV色彩空间图像；将所述皮肤二值化图像与LUV色彩空间图像进行与运算，得到只包含人脸皮肤信息的LUV色彩空间图像；确定每一帧只包含人脸皮肤信息的LUV色彩空间图像的有效像素点均值，将所述图像视频对应的所述有效像素点均值曲线作为人脸远程光电容积描记术rPPG原始信号；采用结合呼吸和心率的中心频率设置带宽的第一小波滤波器对所述rPPG原始信号进行滤波，以粗粒度剔除噪声，初步重构呼吸和心率波形，所述第一小波滤波器的带宽大于预设阈值；基于初步重构的呼吸和心率波形计算人体平均呼吸和心跳间隔，以初步估计呼吸和心率频率，并采用基于初步估计的呼吸和心跳频率设置带宽的第二小波滤波器对初步重构的呼吸和心率波形进行滤波，以细粒度剔除噪声，得到重构的呼吸和心率波形，所述第二小波滤波器的带宽小于第一小波滤波器的带宽；将所述重构的呼吸和心率波形的一维数据输入到训练好的一维卷积神经网络，以再次估计呼吸和心率的频率；通过连续小波变换CWT将所述重构的呼吸和心率波形的一维数据转化为二维CWT时频图，将二维CWT时频图输入到训练好的二维卷积神经网络，以进一步估计呼吸和心率的频率；将两个卷积神经网络估计的呼吸和心率频率输入到集成学习模型，确定最终的呼吸和心率频率；基于两次重构的呼吸和心率波形提取对应的呼吸和心率的时域特征、频域特征以及非线性特征，并将提取出来的特征和最终确定的呼吸和心率频率拼接后输入到训练好的分类器中，对人体的疲劳状态进行分类，检测人体的疲劳状态。2.根据权利要求1所述的方法，其特征在于，所述rPPG原始信号具体通过如下步骤获取：确定人脸图像视频中的每一帧图像，并对每一帧图像进行人脸检测、人脸对齐操作，提取人脸感兴趣区域；将每一帧图像人脸感兴趣区域内的RGB图像进行YCbCr颜色空间转换，提取人脸感兴趣区域的皮肤二值化图像；所述皮肤二值化图像为：将与皮肤有关像素点置1，与皮肤无关像素点置0；对图像视频中的每一帧图像，剔除与皮肤无关的噪声干扰，并基于人脸特征点，删除人脸眼睛和嘴巴区域，执行RGB图像到LUV色彩空间的转换，得到每一帧图像的LUV色彩空间图像；将每一帧图像人脸感兴趣区域的皮肤二值化图像与每一帧图像的LUV色彩空间图像进行与运算，得到只含皮肤信息的LUV色彩空间图像；计算每帧只含皮肤信息的LUV色彩空间图像的有效像素点均值，以有效像素点均值的时序变化曲线作为rPPG原始信号。3.根据权利要求1或2所述的方法，其特征在于，重构呼吸和心率波形，具体为：采用第一小波滤波器对所述rPPG原始信号进行滤波；所述呼吸和心率的中心频率分别为0.3Hz和1.4Hz；所述第一小波滤波器对呼吸信号进行滤波的带宽中心为呼吸中心频率，对心率信号进行滤波的带宽中心为心率的中心频率；
对滤波后的呼吸和心率信号执行连续小波变换的逆变换，得到初步重构的呼吸和心率波形；在波形寻峰寻谷的基础上，通过计算初步重构的呼吸波形的峰峰间隔，初步估计呼吸频率，计算初步重构的心率波形的峰峰间隔，初步估计心率频率；采用第二小波滤波器对初步重构的呼吸和心率波形进行滤波，得到重构的呼吸和心率波形；所述第二小波滤波器进行呼吸和心率波形滤波的两个带宽的中心频率分别为初步估计的呼吸和心跳频率；所述第二小波滤波器的两个带宽分别小于第一小波滤波器的两个带宽。4.根据权利要求1或2所述的方法，其特征在于，确定最终的呼吸和心率频率，具体为：将重构的呼吸和心率波形的信号进行归一化，得到对应的一维数据；将所述一维数据输入到训练好的一维卷积神经网络，再次估计呼吸和心率的频率；所述一维卷积神经网络包括三个子模块：第一个子模块包含2个一维卷积层，每个卷积层后，顺序执行激活函数、最大池化以及随机失活操作；第二个子模块连接在第一个子模块后面，其包含5个一维卷积层，在每个卷积层后，顺序执行激活函数、最大池化以及随机失活操作；第三个子模块连接在第二个子模块后面，顺序执行全局平均池化和随机失活操作后，通过含有1个节点的全连接层，进行频率估计，再次估计得到呼吸和心率的频率；利用二维CWT，将呼吸和心率波形转换为二维CWT时谱图；将二维 CWT时频图划分为训练集和测试集，利用训练集对二维卷积神经网络的顶层参数进行训练，二维卷积神经网络的底层参数采用训练前的初始值，利用测试集验证训练好的二维卷积神经网络对呼吸和心率频率识别的性能；所述底层参数充分利用二维卷积神经网络从上百万张图像中所学习到的广泛丰富的特征表示能力；所述顶层参数利用所生成的二维CWT时谱图进行训练，实现基于时频图的呼吸和心率的频率估计；将两个卷积神经网络估计的呼吸和心率频率输入到集成学习模型，对呼吸和心率频率进行优化，确定最终的呼吸和心率频率。5.根据权利要求1或2所述的方法，其特征在于，对人体的疲劳状态进行分类，具体为：从两次重构的呼吸和心率波形中提取呼吸和心率的时域特征、频域特征以及非线性特征；将提取的呼吸和心率的时域特征、频域特征以及非线性特征与所述最终确定的呼吸和心率频率拼接、缺省值处理以及特征归一化，之后利用潜在的语义分析提取归一化后的特征，得到新特征；将新特征输入到基于XGBoost构建的疲劳分类器中，对疲劳状态进行分类；所述疲劳状态被划分为：警觉、正常以及疲劳三种状态；其中，警觉和正常状态均为非疲劳状态。6.一种基于rPPG的非接触式疲劳检...
【专利技术属性】
技术研发人员：赵亮，刘三女牙，杨宗凯，朱晓亮，孙建文，李卿，耿若男，戴志诚，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。