本发明专利技术的内容为实现了一种基于图像处理的驾驶员心率识别方法，克服了接触式识别心率的缺点，实现了对驾驶员身体心跳的监测，实现驾驶员心率的识别，具体技术方案包括以下6个部分。感兴趣区域选取：驾驶员感兴趣区域的选取基于人脸68个特征点，选取感兴趣区域。特征提取：在感兴趣区域的基础上，提取其中的绿色通道特征作为驾驶员心率的真实表现，由于感兴趣区域内的特征提取易受光照分布不均的影响，本发明专利技术采用算法消除光照误差。转换成频域：构建小段绿色通道序列值，缩减误差，经FFT求得频率值。噪声过滤：过滤掉不符合常理的噪声。心率提取：根据绿色通道频率值与心率的关系求得粗略的心率值。心率平稳：根据上下帧，经算法求得平滑稳定的心率值。本发明专利技术具备非接触式，不会给驾驶司机造成不舒适的感受，同时避免传统设备心率识别携带不方便的问题。备心率识别携带不方便的问题。备心率识别携带不方便的问题。
【技术实现步骤摘要】
一种基于图像处理的驾驶员心率识别方法
[0001]本专利技术涉及一种驾驶员心率识别方法，涉及信号处理技术、图像处理技术、医学工程、电疗学、人体神经学及医疗器械设计等领域。
技术介绍
[0002]心率的估计和检测对于判断一个人的生理和心理状态非常重要。传统的心率测量是通过电极ECG等设备近距离接触人体皮肤，进而获取得到测试仪上的心跳、血压等信号，或者通过佩戴智能设备，采用光电容积脉搏波(Photo Plenthysmo Graphy，PPG)的方法来进行测量，如智能手环，跑步机等。传统的心率监测方法需要近距离接触人体表明皮肤，带给体验者极其不舒适的体验，为此有学者提出远程光电容积脉搏波(Romote Photo Plenthysmo Graphy,RPPG)技术，RPPG与传统的PPG原理一样，由于每次心跳都会引起人体皮肤组织中血液和微血管的周期性变化，光的吸收和反射也会形成周期性变化，人眼无法观察到这种周期性的变化，但可以从高清摄像机采集的视频图像中进行分析，从而实现心率的检测。因此，这种方法也被称为超感测心率检测。它的优势并不仅局限于被检测人员不需要佩戴任何设备，它可用于长时间的生理监测，例如，家里老年人长时间的生理监测，具有广泛的应用价值。对于传统ECG与PPG驾驶员心率检测方式存在如下缺点：1)需要与人体皮肤近距离直接接触，属于入侵式采集信号的方式，带给驾驶司机极其不舒适的体验。2)需要佩戴高昂费用的设备，同时采集的信号易受驾驶员操作与环境干扰的影响，例如：驾驶员行驶时，转头、眨眼、说话等行为，与电磁场干扰均会在ECG信号上造成干扰，这对后续的心率识别会产生很大的影响。3)设备不具有便携性，且使用场合受限。由于现有ECG或PPG采集心率的技术，需要近距离接触人体皮肤，因此无法满足车载驾驶员正常驾驶的要求，使用场合受到限制。
技术实现思路
[0003]本专利技术的内容为实现了一种基于图像处理的驾驶员心率识别方法，克服了接触式识别心率的缺点，实现了对驾驶员身体心跳的监测，实现驾驶员心率的识别，具体技术方案包括以下6个部分。
[0004](1)感兴趣区域(Region of Interest,ROI)选取：驾驶员感兴趣区域的选取本专利采用基于人脸68个特征点，由于驾驶员额头区域很少参与面部丰富的表情，相对变化不大，选取特征点20与23往上额头部分区域作为感兴趣区域1，对于人脸眼睛到鼻子之间的区域也很少参与面部表情，因此本文选取人脸特征点3、13、40、41、46、47之间的区域作为感兴趣区域2。
[0005](2)特征提取：在感兴趣区域的基础上，提取其中的绿色通道特征作为驾驶员心率的真实表现，由于感兴趣区域内的特征提取易受光照分布不均的影响，因此选用k
‑
means聚类算法消除光照分布不均。
[0006](3)转换成频域：经过聚类后的绿色通道值，我们通过构建小段绿色通道序列值的
方式，先采用减去均值的形式缩减误差，随后经快速傅里叶变化求得转换后序列频率值。
[0007](4)噪声过滤：采用巴特沃斯带通滤波器的方式，过滤掉不符合常理的心率值。
[0008](5)心率提取：根据峰值检测，求得序列频率值的峰值，随后根据绿色通道频率值与心率的关系求得粗略的心率值。
[0009](6)心率平稳：根据粗略的心率值，采用心率上下帧间关系平稳心率值，随后在经过卡尔曼滤波器、长短时间记忆网络进一步平滑稳定心率值，得到最终平滑、稳定的心率值。
[0010]与传统驾驶员心率测量技术相比，本专利技术的优点体现在以下几点：1、通过车载摄像头的形式采集驾驶员面部图像，以非接触式的方式识别驾驶员心率变化，具备非接触式，不会给驾驶司机造成不舒适的感受。2、图像处理识别驾驶员的心率，避免传统设备心率识别携带不方便带来的问题。3、实现方法与设备简单，采集设备只需要一个普通车载摄像头，即可获得图像信息，经后续的一些图像处理、信号处理算法就能获得驾驶员的心率。4、突出目标运动变化信息，数据量小，节省存储空间，处理速度快，且精度高。
附图说明
[0011]图1为本专利技术所涉一种基于图像处理的驾驶员心率识别方法整体流程图
[0012]图2为感兴趣区域图
[0013]图3为k
‑
means算法聚类绿色真实值图
[0014]图4为未过滤时域值图
[0015]图5为过滤噪声后的时域值图
[0016]图6为FFT变换后的频域图
[0017]图7为求得心率粗略值图
[0018]图8为卡尔曼滤波器平滑的心率图
[0019]图9为LSTM心率平滑网络图
[0020]图10为上下帧平滑后的心率图
[0021]图11为最终输出的平滑稳定心率图
具体实施方式
[0022]本专利技术用于提供一种基于图像处理的驾驶员心率识别方法，为了使本专利技术的技术方案及效果更加清晰、明确，下面结合附图，对本专利技术的具体实施方式进行详细描述。
[0023]如图1所示，本专利技术设计的一种基于图像处理的驾驶员心率识别方法包括四个阶段，分别为感兴趣区域选取与消除光照误差阶段、特征提取阶段、粗略心率信号阶段和平稳稳定心率阶段。其中感兴趣区域选取与消除光照误差阶段特征区域选取基于人脸68个特征点，光照误差根据微积分原理消除，特征提取阶段包括心率序列的噪声误差消除和巴特沃斯带通滤波器噪声的过滤，粗略心率信号阶段主要是根据时间序列向频域的转换，转换后的频域值根据峰值检测求得频域阈值，根据相关公式转为心率值，平稳稳定心率阶段则根据粗略心率值采用卡尔曼滤波器与长短时间记忆网络求得平滑稳定的心率值。
[0024]1.感兴趣区域选取与消除光照误差阶段：对于摄像头获取的RGB彩色三通道图像，可以通过选取感兴趣区域，对其中的三个通道或多个通道求取均值，然后通过信号处理的
手段得到包含心率分量的信号，随后采用快速傅里叶变化或峰值检测等手段，得到相应的频率。本专利的ROI的选取建立在人脸检测与人脸68个特征点的基础上，由于驾驶员额头区域很少参与面部丰富的表情，相对变化不大，本专利选取特征点20与23往上额头部分区域作为ROI1，对于人脸眼睛到鼻子之间的区域也很少参与面部表情，因此本文选取人脸特征点3、13、40、41、46、47之间的区域作为ROI2，感兴趣区域选取如图2所示。由于面部感兴趣区域的绿色通道特征均值计算，易受光照分布不均等环境干扰的影响，通过微积分原理发现，对于提取的面部感兴趣区域中总有一小区域，它的光照分布是均匀的。因此，本专利将感兴趣区域划分成多个小块，每个小块内求取均值，并采用k
‑
means聚类算法聚类所有的均值，求出最接近真实值的心率信号，聚类后的效果图如图3所示，方块为聚类后的值。
[0025]2.特征提取阶段：巴特沃斯滤波器是一种常见的电子滤波器，又称最大平坦滤波器，其主要特点是通带内的频率曲线平坦到最大，没有波纹，且阻频带渐渐下降为0，具有良好的滤波作用。因此，本专利选用巴特沃斯滤本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于图像处理的驾驶员心率识别方法，其特征在于，包括：感兴趣区域(Region of Interest,ROI)选取：驾驶员感兴趣区域的选取本专利采用基于人脸68个特征点，由于驾驶员额头区域很少参与面部丰富的表情，相对变化不大，选取特征点20与23往上额头部分区域作为感兴趣区域1，对于人脸眼睛到鼻子之间的区域也很少参与面部表情，因此本文选取人脸特征点3、13、40、41、46、47之间的区域作为感兴趣区域2。特征提取：在感兴趣区域的基础上，提取其中的绿色通道特征值作为驾驶员心率的真实表现，由于感兴趣区域内的特征提取易受光照分布不均的影响，因此选用k
‑
means聚类算法消除光照分布不均。转换成频域：经过聚类后的绿色通道值，我们通过构建小段绿色通道序列值的方式，先采用减去均值的形式缩减误差，随后经快速傅里叶变化求得转换后序列频率值。噪声过滤：采用巴特沃斯带通滤波器的方式，过滤掉不符合常理的心率值。心率提取：根据峰值检测，求得序列频率值的峰值，随后根据绿色通道频率值与心率的关系求得粗略的心率值。心率平稳：根据粗略的心率值，采用心率上下帧间关系平稳心率值，随后在经过卡尔曼滤波器、长短时间记忆网络进一步平滑稳定心率值，得到最终平滑、稳定的心率值。2.根据权利要求1所述的基于图像处理的驾驶员心率识别方法，其特征在于：在人脸68个特征点的基础上定位特征感兴趣区域，接着采用k
‑
means聚类算法求得的绿色通道的均值，选取最佳的值作为感兴趣区域的绿色通道的真实反应值。随后采用巴特沃斯带通滤波器过滤掉噪声，然后采用FFT求出特征区域对应的频率值，根据频率值与心率对应关系求得粗略预测的心率值，根据粗略预测的心率值采用卡尔曼滤波器与心率上下帧关系进一步平滑稳定心率值，随后将平滑后的心率值送入LSTM网络得到最终平稳、稳定的心率值。3.根据权利要求2所述的基于图像处理的驾驶员心率识别方法，其特征在于：所述驾驶员心率识别包括以下步骤：对于摄像头获取的RGB彩色三通道图像，可以通过选取感兴趣区域，然后通过信号处理的手段得到包含心率分量的信号，因此感兴趣区域的选取建立在人脸检测与人脸68个特征点的基础。由于面部感兴趣区域的绿色通道特征均值计算，易受光照分布不均等环境干扰的影响，通过微积分原理发现，对于提取的面部感兴趣区域中总有一小区域，它的光照分布是均匀的。因此，将感兴趣区域划分成多个小块，每个小块内求取均值，并采用k
‑
means聚类算法聚类所有的均值，求出最接近真实值的心率信号。4.根据权利要求3所述的基于图像处理的驾驶员心率识别方法，其特征在于：所述特征提取具体包括以下步骤：选用巴特沃斯滤波器作为带通滤波器，用来过滤掉不符合常理的心率过低或过高的离散傅里叶变化(Discrete Fourier Transform,DFT)值。巴特沃斯滤波器的幅度平方函数|H
a
(jΩ)|2可以用公式(1)表示：公式(1)中，N被称为滤波器的阶数，当Ω＝0时，...
【专利技术属性】
技术研发人员：陈昌川，刘凯，王海宁，代少升，刘科征，刘凯，吴占杰，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。