非接触式呼吸频率监测方法及系统技术方案

本发明专利技术提供了一种非接触式呼吸频率监测方法及系统，涉及呼吸频率监测领域。通过采集人脸的可见光视频和热红外视频，并从可见光视频中定位人脸的关键特征点，从热红外视频中定位热红外人脸轮廓，再基于可见光视频中的人脸的关键特征点定位热红外人脸轮廓中的鼻子区域，以便在热红外视频中对鼻子区域进行追踪；通过对热红外视频中的鼻子区域进行追踪，可以得到热红外鼻温变化信号，由于热红外图像灰度分布与目标反射特征无线性关系，使得外部光线变化和不同肤色的差异对热红外鼻温变化信号几乎无影响，再对热红外鼻温变化信号进行预处理和计算，即可得到准确度更高的呼吸频率监测结果。

【技术实现步骤摘要】
非接触式呼吸频率监测方法及系统
本专利技术涉及呼吸频率监测
，具体涉及一种非接触式呼吸频率监测方法及系统。
技术介绍
在对传染病患者进行呼吸频率监测时，通过非接触式的监测方法能够有效的避免医务人员被感染。现有的非接触式呼吸频率的方法大多由人脸监测、感兴趣区域(ROI)选择、对应感兴趣区域RGB三通道颜色信息提取、波形信号预处理、呼吸率信号提取等步骤构成。如专利号为201610404234.1的专利文件，公开了一种非接触式人体呼吸率与心率同步测量方法及系统，该测量方法包括如下步骤，获取人体人脸可见光视频，从视频帧图像中选择两处感兴趣区域；对视频中每一帧的选定双感兴趣区域的像素值，分别使用相干平均法，生成2组RGB观测信号，再对2组RGB观测信号依次进行高通滤波、去趋势、去均值、归一化预处理操作；用于对基于双感兴趣区域生成的2组RGB观测信号进行6通道盲源分离，分离出呼吸信号和心率信号；用于从盲源分离后的源信号中识别出呼吸信号和心率信号，结合滑动窗算法提取出呼吸和心率。但上述方法在采集人脸的可视光视频时，外部光线变化或个人肤色差异会降低RGB观测信号的准确度，进而影响呼吸频率监测结果的准确度。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种非接触式呼吸频率监测方法，解决了在采集人脸的可视光视频时，外部光线变化或个人肤色差异会降低RGB观测信号的准确度的问题。(二)技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：>一种非接触式呼吸频率监测方法，该方法包括：S1、采集人脸的可见光视频和热红外视频；S2、从可见光视频中定位人脸的关键特征点，从热红外视频中定位热红外人脸轮廓；S3、基于可见光视频中的人脸的关键特征点定位热红外人脸轮廓中的鼻子区域；S4、实时跟踪热红外人脸轮廓中的鼻子区域，获取采集时间段内的热红外鼻温变化信号；S5、对热红外鼻温变化信号进行预处理；S6、基于预处理后的热红外鼻温变化信号获取呼吸频率。优选的，S1中可见光视频与热红外视频同步采集，且采集时长为一分钟。优选的，S2中所述从可见光视频中定位人脸的关键特征点包括：通过SURF特征提取算法从可见光视频中定位人脸的关键特征点，得到关键特征点的坐标。优选的，S2中所述从热红外视频中定位热红外人脸轮廓包括：K1、采集人脸的热红外视频前，获取背景热红外图像P1；K2、获取热红外图像P1中高于阈值E的像素坐标集合pos1；K3、采集人脸的热红外视频时，随机获取第i帧的热红外图像P2；K4、获取热红外图像P2中高于阈值E的像素坐标集合pos2；K5、人脸的热红外视频采集完成后，获取背景热红外图像P3；K6、获取热红外图像P3中高于阈值E的像素坐标集合pos3；K7、筛选出像素坐标集合pos1和像素坐标集合pos3的交集部分的像素坐标集合pos4；K8、将像素坐标集合pos4从像素坐标集合pos2中删除，得到对应热红外人脸轮廓的点的坐标集合pos5。优选的，S3中所述基于可见光视频中的人脸的关键特征点定位热红外人脸轮廓中的鼻子区域包括：S3-1、基于所有关键特征点在可见光视频中的坐标，得到可见光视频中对应人脸的矩形框的左上角点和右下角点的坐标A、B；S3-2、基于热红外人脸轮廓的点的坐标，得到热红外视频中对应热红外人脸轮廓的矩形框的左上角点和右下角点的坐标C、D；S3-3、基于坐标A、B、C、D以及可见光视频中鼻子对应的关键特征点坐标，获取可见光视频中鼻子对应的关键特征点在热红外视频内的坐标，且可见光视频中鼻子对应的第i个关键特征点的坐标(x_VN(i),y_VN(i))与对应热红外视频内的坐标(x_IN(i),y_IN(i))的转化公式如下：WIF＝WI，其中，WV、HV分别为可见光视频中对应人脸的矩形框图片的宽度和高度，WI、HI分别为热红外人脸和脖子共同区域图片的宽度和高度，WIF、HIF为热红外人脸区域的宽度WIF、高度HIF，xmin为左上角点A的横坐标，ymin为左上角点A的纵坐标；S3-4、基于所有可见光视频中鼻子对应的关键特征点在热红外视频内的坐标，得到热红外人脸轮廓中的鼻子区域。优选的，S4中所述实时跟踪热红外人脸轮廓中的鼻子区域，获取采集时间段内的热红外鼻温变化信号包括：S4-1、获取热红外视频中第t帧的鼻子区域坐标P(t)，并对P(t)进行采样，通过Adaboost学习算法训练一个用于计算鼻子区域对应的矩形框采样的响应的线性回归器；其中，使用连续的标签进行标记样本；S4-2、在热红外视频中的第t+1帧中，对前3帧对应的P(t)采样，利用所述线性回归器获取每个采样的响应；S4-3、将响应最强的采样作为第t+1帧的鼻子区域坐标P(t+1)，计算公式为：P(t+1)＝1/3*(P(t-2)+P(t-1)+P(t))；S4-4、将热红外图像转化成灰度图像，获取热红外视频中鼻子区域的连续帧的灰度平均值Signal_nose(i)，作为采集时间段的鼻温变化信号；且第i帧图片中的热红外视频中鼻子区域的灰度平均值的计算方式如下：Signal_nose(i)＝mean(Gray)；Gray＝0.3Rnose+0.59Gnose+0.11Bnose；其中，Gray是鼻子区域的灰度图像矩阵；mean(Gray)是对热红外视频中鼻子区域的灰度求平均值的函数，Rnose、Gnose、Bnose分别为热红外视频中鼻子区域R、G、B三通道的图像矩阵。优选的，S5中所述对热红外鼻温变化信号进行预处理包括依次进行趋势项消除、归一化处理、滤波去噪处理。优选的，S6中所述基于预处理后的热红外鼻温变化信号获取呼吸频率包括：S6-1、将热红外鼻温变化信号变换为频域信号；S6-2、保留频率值在0.15-0.4Hz之间内的频域信号，并将0.15-0.4Hz之外的频域信号归零；S6-3、获取0.15-0.4Hz范围内的频域信号中幅度最大值对应的频率值，得到呼吸频率。一种非接触式呼吸频率监测系统，包括双光视频采集模块、关键特征点定位模块、热红外人脸轮廓定位模块、双光配准模块、温度变化信号提取模块、预处理模块、呼吸频率计算模块；所述双光视频采集模块用于采集人脸的可见光视频和热红外视频；所述关键特征点定位模块用于从可见光视频中定位人脸的关键特征点；所述从热红外人脸轮廓定位模块用于从热红外视频中定位热红外人脸轮廓；所述双光配准模块用于基于可见光视频中的人脸的关键特征点定位热红外人脸轮廓中的鼻子区域；所述温度变化信号提取模块用于实时跟踪热红外人脸轮廓中的鼻子区域，获取采集时间段内的热红外鼻温变化信号；所述预处理模块用于对热红外鼻温变化信号进行预处理；本文档来自技高网...

【技术保护点】
1.一种非接触式呼吸频率监测方法，其特征在于，该方法包括：/nS1、采集人脸的可见光视频和热红外视频；/nS2、从可见光视频中定位人脸的关键特征点，从热红外视频中定位热红外人脸轮廓；/nS3、基于可见光视频中的人脸的关键特征点定位热红外人脸轮廓中的鼻子区域；/nS4、实时跟踪热红外人脸轮廓中的鼻子区域，获取采集时间段内的热红外鼻温变化信号；/nS5、对热红外鼻温变化信号进行预处理；/nS6、基于预处理后的热红外鼻温变化信号获取呼吸频率。/n

【技术特征摘要】
1.一种非接触式呼吸频率监测方法，其特征在于，该方法包括：
S1、采集人脸的可见光视频和热红外视频；
S2、从可见光视频中定位人脸的关键特征点，从热红外视频中定位热红外人脸轮廓；
S3、基于可见光视频中的人脸的关键特征点定位热红外人脸轮廓中的鼻子区域；
S4、实时跟踪热红外人脸轮廓中的鼻子区域，获取采集时间段内的热红外鼻温变化信号；
S5、对热红外鼻温变化信号进行预处理；
S6、基于预处理后的热红外鼻温变化信号获取呼吸频率。


2.如权利要求1所述的一种非接触式呼吸频率监测方法，其特征在于，S1中可见光视频与热红外视频同步采集，且采集时长为一分钟。


3.如权利要求1所述的一种非接触式呼吸频率监测方法，其特征在于，S2中所述从可见光视频中定位人脸的关键特征点包括：
通过SURF特征提取算法从可见光视频中定位人脸的关键特征点，得到关键特征点的坐标。


4.如权利要求3所述的一种非接触式呼吸频率监测方法，其特征在于，S2中所述从热红外视频中定位热红外人脸轮廓包括：
K1、采集人脸的热红外视频前，获取背景热红外图像P1；
K2、获取热红外图像P1中高于阈值E的像素坐标集合pos1；
K3、采集人脸的热红外视频时，随机获取第i帧的热红外图像P2；
K4、获取热红外图像P2中高于阈值E的像素坐标集合pos2；
K5、人脸的热红外视频采集完成后，获取背景热红外图像P3；
K6、获取热红外图像P3中高于阈值E的像素坐标集合pos3；
K7、筛选出像素坐标集合pos1和像素坐标集合pos3的交集部分的像素坐标集合pos4；
K8、将像素坐标集合pos4从像素坐标集合pos2中删除，得到对应热红外人脸轮廓的点的坐标集合pos5。


5.如权利要求4所述的一种非接触式呼吸频率监测方法，其特征在于，S3中所述基于可见光视频中的人脸的关键特征点定位热红外人脸轮廓中的鼻子区域包括：
S3-1、基于所有关键特征点在可见光视频中的坐标，得到可见光视频中对应人脸的矩形框的左上角点和右下角点的坐标A、B；
S3-2、基于热红外人脸轮廓的点的坐标，得到热红外视频中对应热红外人脸轮廓的矩形框的左上角点和右下角点的坐标C、D；
S3-3、基于坐标A、B、C、D以及可见光视频中鼻子对应的关键特征点坐标，获取可见光视频中鼻子对应的关键特征点在热红外视频内的坐标，且可见光视频中鼻子对应的第i个关键特征点的坐标(x_VN(i),y_VN(i))与对应热红外视频内的坐标(x_IN(i),y_IN(i))的转化公式如下：






WIF＝WI，



其中，WV、HV分别为可见光视频中对应人脸的矩形框图片的宽度和高度，WI、HI分别为热红外人脸和脖子共同区域图片的宽度和高度，WIF、HIF为热红外人脸区域的宽度WIF、高度HIF，xmin为左上角点A的横坐标，ymin为左上角点A的纵坐标；
S3...

【专利技术属性】
技术研发人员：丁帅，莫海淼，张彩云，杨善林，顾东晓，欧阳波，李霄剑，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34