一种基于摄像的非接触式心率的检测方法及其装置制造方法及图纸

本发明专利技术一种基于摄像的非接触式心率的检测方法及其装置，涉及心率测量技术领域。其中心率的检测方法，包括步骤A、步骤B、步骤C、步骤D。一种基于非接触式实时监控心率的装置实施例，包括图像采集模块，图像处理模块，显示模块及跑步机控制系统；图像处理模块与跑步机速度控制系统进行连接，通过输出控制指令至控制系统实现跑步机的速度控制。综上所述，与包括现有能够提供心率数据的跑步机，使用胸带的方式相比，本发明专利技术基于非接触式的心率测量方式，使用摄像头可实现无创、无痛和极其方便的心率测量方法，提供给人们在跑步机锻炼时一项重要的生理指标，从而为健康做出一份参考。

A non-contact heart rate detection method based on video camera and its device

The invention relates to a non-contact heart rate detection method and device based on camera, and relates to the technical field of heart rate measurement. The detection methods of heart rate include steps A, steps B, steps C, step D. An implementation of a non-contact real-time heart rate monitoring device includes image acquisition module, image processing module, display module and treadmill control system. The image processing module is connected with the treadmill speed control system, and the speed control of the treadmill is realized by outputting control instructions to the control system. In summary, compared with the existing treadmill which can provide heart rate data and the way of using chest strap, the present invention is based on the non-contact heart rate measurement method. The camera can realize the non-invasive, painless and extremely convenient heart rate measurement method, which provides an important physiological index for people during treadmill exercise. And make a reference for health.

【技术实现步骤摘要】
一种基于摄像的非接触式心率的检测方法及其装置
本专利技术涉及心率测量
，尤其是使用摄像非接触式实时监控心率的心率测量的方法及其装置。
技术介绍
心率是指心脏每分钟搏动的次数，是人体健康指标中极其重要的一项，而随着中国社会进入一个新的时代，人民日益增长的美好生活需要成为社会的主要矛盾，健康生活成为社会的追求，因此与人体健康相关的各项指标受到人们日益关注；同时智能技术的发展也促进智能设备更多地进入普通家庭，作为一项不受天气影响的活动，使用跑步机进行室内跑步便于用户锻炼身体，利于生活的健康。传统对于心率的测量方法多采用测量脉搏血氧饱和度(SpO2)以及使用更为精确的心电图仪器的方法取得，然而上述方法需要待测人员在测试时或夹住手指、耳朵，或佩戴胸带或腕带甚至需要电极设备依附于皮肤表面，这些检测探头在监测过程中可能引起患者不适(尤其是在运动过程中长时间中夹住手指或耳朵)和增加传播细菌病毒感染的风险，同时也给智能设备的整合带来不便，因此找出一种不依赖电极或其他不需要接触到皮肤且可以实时测量心率大小的传感器成为一个有吸引力的研究课题。研究发现数字视频中人体皮肤血容量的变化与人体心脏跳动的周期相关联，该发现为非接触式生命体征监测开辟了可能性，此外随着数字成像设备成本的不断降低，摄像头产品的使用变得越来越普遍，也为本专利技术提供了前提基础。
技术实现思路
本专利技术的目的在于克服现有技术存在的缺失和不足，提出一种基于摄像的非接触式心率的检测方法及装置。本专利技术技术方案概述如下：本专利技术一种基于摄像的非接触式心率的检测方法(如附图1所示)：步骤A：基于人脸检测技术，实时检测人脸的面部区域，并利用人脸特征点标定技术获得精确的感兴趣的鼻部区域作为待提取心率信号的目标区域；步骤B：将目标区域图像从原始的RGB颜色空间转换到Lab颜色空间，将图像的亮度信息与色度信息分离，选择均值化后的色度信息作为鼻部区域的特征值，从而得到时域信号signal(t)；步骤C：利用本专利技术提出一种“多层次Savitzky-Golay滤波器″方法，对signal(t)处理，去除信号signal(t)中的基线漂移与噪声，从而得到纯净的血容量脉冲(BloodVolumePulse，BVP)信号；步骤D：基于时域频域转换的方法，将时域BVP信号转换到频域空间，进行频域分析，获得对应的心率大小。根据步骤A所述——基于人脸检测技术，实时检测人脸的面部区域，并利用人脸特征点标定技术获得精确的感兴趣的鼻部区域作为待提取心率信号的目标区域，其具体内容如下：A1.利用Dlib图像库，将人脸的图像映射到128个维度向量空间，检查其欧氏距离是否在某个阈值内来实现脸部的识别；测试显示当欧式距离设置为0.6时，使用LFW人脸库即实现99.38％的识别率；A2.基于Dlib图像库提供的回归树组合(EnsembleofRegressionTrees，ERT)的方法，在学习Tree的过程中，直接将形状shape的更新值ΔS存入叶子结点leafnode。初始位置S在通过所有学习到的Tree后，meanshape加上所有经过的叶子结点的ΔS，即可得到最终的人脸关键点位置，即：其中，t表示级联序号，rt表示当前的回归器(regressor)；回归器的输入参数为图像I和上一级回归器更新后的形状，采用的特征可以是灰度值或者其它特征；A3.经过步骤A1和步骤A2后，可以实现对人脸的中心点的定位，获得鼻部区域，并且当面部发生旋转刚性运动时，使用具有旋转不变性的步骤A2得到的面部各个部位的关键点坐标，实时获取固定的区域；其中，前额，面颊，嘴唇，鼻部分别作为ROI区域时所获取的BVP信号(如附图2、3、4、5所示，这里选取了时间长为9秒的信号曲线图)，所述鼻部区域相比较前额、面颊、嘴唇所采集到的信号受到噪声影响较小，因此作为本专利技术心率测量方法中的ROI区域。根据步骤B所述——将目标区域图像从原始的RGB颜色空间转换到Lab颜色空间，将图像的亮度信息与色度信息分离，选择均值化后的色度信息作为鼻部区域的特征值，从而得到时域信号signal(t)，其具体内容如下：B1.基于人对颜色感觉的Lab颜色模型，该模型是由亮度(L)和有关色彩的a，b三个要素组成；L表示亮度(Luminosity)，a表示从红色至绿色的范围，b表示从黄色至蓝色的范围，从RGB模型转为Lab模型对应的转换关系公式：B2.当皮肤中的血液随着心脏的收缩而发生变动时，皮肤对于照射到皮肤上光线的吸收量也跟着发生变化，这种变化体现在红色与绿色数值的变动中；实验发现Lab模型中，红色与绿色在空间中的分布为一维向量(从负半轴的绿色逐渐变为正半轴所表示的红色)，该向量即为Lab模型中的a通道对应的数轴所表示；通过计算a通道对应的均值，用于心率测量的特征；其中，所述的BVP信号的提取是采用Lab颜色空间a通道对应的均值，将该值作为心率测量方法在时域中所用的特征值信号signal(t)。根据步骤C还包括如下：C1.Savitzky-Golay滤波器的矩阵算子求解：假设对于signal(t)滤波的窗口宽度为n(n＝2m+1)，各测量点为x(-m，-m+1，…，0，1，…，m-1，m)，采用k-1次多项式对窗内的数据点进行拟合：signal＝a0+a1x+a2x2+…+ak-1xk-1因此一共有n个这样的方程，组成k元线性方程组；要使方程组有解则n应大于等于k，一般选择n>k，通过最小二乘法拟合确定拟合参数A，即：写成矩阵形式：signal(2m+1)*1＝X(2m+1)*k*Ak*1+E(2m+1)*1对应的A的最小二乘解为：滤波后的结果为：C2.实现“多层次Savitzky-Golay滤波器″，具体为：C2.1输入窗口大小为signal长度的窗口，幂次k为5，对信号signal(t)进行一次去除基线漂移和去噪滤波操作；C2.2调整窗口为帧率大小，幂次k为2，对信号signal(t+1)滤波操作，去除窗口为一秒内信号的噪声；C2.3继续调整窗口大小为5，幂次k为2，相当于对信号进行平滑操作，去除毛刺信号；C3.通过C1步骤和C2步骤后，特征值信号转换为纯净的BVP信号；提取纯净的BVP信号是采用“多层次Savitzky-Golay滤波器″，通过三次修改不同大小的窗口，实现信号的多层次处理，最终获得纯净的BVP信号(如附图6所示，这里选取时间长度为10秒的信号曲线图)；可选地依次选择长度为210的BVP信号进行傅里叶变换，选择变换后幅值最大的一点(该点对应的频率f)，则心率的大小为：rate＝f*60。可选地，当心率大小超过120次/分钟时，显示屏给出警告提示，建议健身人员做好相应的休息活动；当心率大小超过135次/分钟时，跑步机逐步降低传输带速度至零。如上所述，与包括现有能够提供心率数据的跑步机与使用胸带的方式相比，本专利技术基于非接触式的心率测量方式，使用摄像头可实现无创、无痛和极其方便的心率测量方法，提供给人们在跑步机锻炼时一项重要的生理指标，从而为健康做出一份参考。附图说明图1为本专利技术一种基于摄像的非接触式心率的检测方法流程框图；图2为本专利技术中心率测量方法测量的前额区域的原始信号曲线图；图3为本专利技术中心率测量方法测量的面颊区域的原始信号曲线图本文档来自技高网...

【技术保护点】
1.一种基于摄像的非接触式心率的检测方法，其特征在于，包括如下步骤：步骤A：标定鼻部区域作为目标区域；步骤B：将目标区域图像从原始的RGB颜色空间转换到Lab颜色空间，将图像的亮度信息与色度信息分离，选择均值化后的色度信息作为鼻部区域的特征值，获得时域信号signal(t)；步骤C：利用“多层次Savitzky‑Golay滤波器″方法，对signal(t)处理，去除信号signal(t)中的基线漂移与噪声，获得纯净的血容量脉冲BVP信号；步骤D：基于时域频域转换的方法，将时域BVP信号转换到频域空间，进行频域分析，获得对应的心率大小。

【技术特征摘要】
1.一种基于摄像的非接触式心率的检测方法，其特征在于，包括如下步骤：步骤A：标定鼻部区域作为目标区域；步骤B：将目标区域图像从原始的RGB颜色空间转换到Lab颜色空间，将图像的亮度信息与色度信息分离，选择均值化后的色度信息作为鼻部区域的特征值，获得时域信号signal(t)；步骤C：利用“多层次Savitzky-Golay滤波器″方法，对signal(t)处理，去除信号signal(t)中的基线漂移与噪声，获得纯净的血容量脉冲BVP信号；步骤D：基于时域频域转换的方法，将时域BVP信号转换到频域空间，进行频域分析，获得对应的心率大小。2.如权利要求1所述的一种基于摄像的非接触式心率检测的方法，其特征在于，所述步骤A还包括如下：A1.利用Dlib图像库，将人脸的图像映射到128个维度向量空间，检查其欧氏距离是否在某个阈值内来实现脸部的识别；测试显示当欧式距离设置为0.6时，使用LFW人脸库即实现99.38％的识别率；A2.基于Dlib图像库提供的回归树组合ERT的方法，在学习Tree的过程中，直接将形状shape的更新值ΔS存入叶子结点leafnode.初始位置S在通过所有学习到的Tree后，meanshape加上所有经过的叶子结点的ΔS，即可得到最终的人脸关键点位置，即：其中，t表示级联序号，rt表示当前的回归器；回归器的输入参数为图像I和上一级回归器更新后的形状,采用的特征可以是灰度值或者其它特征；A3.经过步骤A1和步骤A2后，实现对人脸的中心点的定位，获得鼻部区域，并且当面部发生旋转刚性运动时，使用具有旋转不变性的步骤A2得到的面部各个部位的关键点坐标，实时获取固定的区域；其中，所述鼻部区域相比较前额、鼻部、面颊、嘴唇区域所采集到的信号受到噪声影响较小，设置为ROI区域。3.如权利要求1所述的一种基于摄像的非接触式心率检测的方法，其特征在于，所述步骤B.还包括如下：B1.基于人对颜色感觉的Lab颜色模型，该模型是由亮度(L)和有关颜色的a,b三个要素组成；L表示亮度，a表示从红色至绿色的范围，b表示从黄色至蓝色的范围，从RGB模型转为Lab模型对应的转换关系公式：B2.当皮肤中的血液随着心脏的收缩而发生变动时，皮肤对光线的吸收量也随之发生变化，并呈现在红色与绿色数值的变动中；在Lab模型中，红色与绿色在空间中的分布为一维向量，从负半轴的绿色逐渐变为正半轴所表示的红色，该向量为Lab模型中的a通道对应的数轴表示；通过计算a通道对应的均值，用于心率测量的特征；其中，所述的BVP信号的提取是采用Lab颜色空间a通道对应的均值，将该值作为心率测量方法在时域中所用的特征值信号signal(t)。4.如权利要求1所述的一种基于摄像的非接触式心率检测的方法，其特征在于，所述步骤C还包括如下：C1.Savitzky-Golay滤波器的矩阵算子求解：假设对于signal(t)滤波的窗口宽度为n(n＝2m+1)，各测量点为x(-m,-m+1,…,0,1,…,m-1,m)，采用k-1次多项式对窗内的数据点进行拟合：signal＝a0+a1x+a2x2+…+ak-1xk-1共有n个方程，组成k元线性方程组；设n大于等于k，一般选择n>k...

【专利技术属性】
技术研发人员：黄继风，周楠，白国臣，刘彦宏，王栋，
申请(专利权)人：上海师范大学，
类型：发明
国别省市：上海,31