心率与呼吸率检测方法、系统及计算机存储介质技术方案

本发明专利技术涉及图像处理技术领域，公开一种心率与呼吸率检测方法、系统及计算机存储介质，以提高鲁棒性。本发明专利技术方法包括：基于额头、左脸颊、右脸颊以及侧脸四个区域进行图像数据集的提取和模型训练，一方面，分析4个感兴趣区域是否移动，排除集合内受到人脸表情、动作和姿势等影响的图像噪声；另一方面，考虑到视频采集的光照是不均匀的，而且是全局低频变化的，局部区域的光照可以认为是一个常数，去除网格数据的均值，也去除了光照的局部常数值，因此通过去均值处理后获得的信号数据序列可以削弱光照不均匀性的影响；再一方面，通过将各个感兴趣区域筛选出的相关性高的数据序列汇总成有效数据序列集合进一步确保了数据的多维性和精准度。

【技术实现步骤摘要】
心率与呼吸率检测方法、系统及计算机存储介质
本专利技术涉及图像处理
，尤其涉及一种心率与呼吸率检测方法、系统及计算机存储介质。
技术介绍
心率和呼吸率是人体重要的生理参数，和人体的心血管系统健康密切相关。发病突然、死亡率高是心血管系统疾病的重要特点。长期准确监测人体的心率和呼吸率变化，可以对心血管疾病的突发进行有效预警，从而及时干预治疗，有效降低死亡率。非接触式或者远程检测心率和呼吸率方法是当前的研究热点，该类方法主要是基于视频图像的光电容积脉搏波描记法实现，具有远程实时检测，不需要佩戴检测装置，对检测对象影响小，使用范围广等优点。利用光电容积脉搏波描记法原理，远程检测心率、呼吸率，可以获得较高的准确性。然而，该方法对测试环境敏感，易受干扰因素影响。具体地，检测过程中，经常会利用人脸皮肤的视频图像。人脸必须保持不动，不能有较大的表情变化，头动移位等；其次，对光照要求高，不均匀的光照可能带来干扰信号。实际检测时，为了获取足够的图像帧，需要较长的检测时间。此时，人脸表情改变以及张嘴和眨眼等动作是经常发生的，而且光照条件随时可能变化，因此带来强烈的干扰因素，对实际检测结果造成相当大的测量误差，难以满足生理参数的远程实时测量的高鲁棒性要求。综上所述，现有的远程检测方法缺乏强鲁棒性和适应性，需要在相对理想的条件才可取得准确结果，实际检测的影响因素降低了该类方法推广使用的价值。
技术实现思路
本专利技术目的在于公开一种心率与呼吸率检测方法、系统及计算机存储介质，以提高鲁棒性。为达上述目的，本专利技术公开的心率与呼吸率检测方法包括：采集m帧人脸视频图像，并用测量装置测出与所述人脸视频图像同步的心率和呼吸率值；将采集到的视频图像按时序均匀分为n个子集合；并对各个子集合内的每帧图像，以方形选框提取额头、左脸颊、右脸颊以及侧脸四个感兴趣区域，对比同一子集合内同一感兴趣区域所对应的系列选框的左上角坐标、高度和宽度判断各个选框是否发生移位，如果是，将发生移位的同一子集合内感兴趣区域提取的图像数据全部予以删除；然后将保留的未发生移位的方形选框内的图像数据划分为p×q个网格，每个网格的像素数量为k×k；计算同一子集合所对应的同一感兴趣区域中各网格的灰度平均值，根据相应的灰度平均值对相对应网格的各像素点进行去均值处理，然后计算去均值后的网格像素数据平均值，将对应同一子集合的同一感兴趣区域且同一网格位置去均值后的网格像素数据平均值组合成对应该网格位置的信号数据序列；计算同一子集合同一兴趣区域的p×q个网格位置所对应的信号数据序列之间的相关性，得到相关性高的H个网格的数据序列；将各个感兴趣区域筛选出的相关性高的数据序列汇总成有效数据序列集合；根据所述有效数据序列集合及实测的同步的心率和呼吸率值建立预测模型；对新采集的人脸视频图像，依照上述步骤提取有效数据序列集合后输入所述预测模型得出相应的心率和呼吸率预测值。可选地，本专利技术以定位的神经网络FasterR-CNN确定方形选框的位置。可选地，本专利技术得到相关性高的H个网格的数据序列的方法包括：两两计算p×q个网络的数据序列的相关系数，得到相关系数矩阵；并对相关系数矩阵中的各矩阵元素与设定阈值进行比较，将小于阈值的相关系数设为0，将相关系数矩阵划分为至少一个不为0的区域；将相关系数矩阵中最大的不为0的区域包括的网格所对应的H个网格抽取为相关性高的数据序列的集合。可选地，本专利技术预测模型采用残差网络、谷歌网络或DenseNet卷积网络架构，LSTM的循环神经网络。为达上述目的，本专利技术还公开一种心率与呼吸率检测系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述相对应方法的步骤。为达上述目的，本专利技术还公开一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上方法相对应的步骤。本专利技术具有以下有益效果：本专利技术基于额头、左脸颊、右脸颊以及侧脸共四个区域进行图像数据集的提取和模型训练，为确保图像数据处理的鲁棒性，一方面，分析4个感兴趣区域是否移动，排除集合内受到人脸表情、动作和姿势等影响的图像噪声；另一方面，考虑到视频采集的光照是不均匀的，而且是全局低频变化的，局部区域的光照可以认为是一个常数，去除网格数据的均值，也去除了光照的局部常数值，因此通过去均值处理后获得的信号数据序列可以削弱光照不均匀性的影响；再一方面，通过将各个感兴趣区域筛选出的相关性高的数据序列汇总成有效数据序列集合进一步确保了数据的多维性和精准度。从而通过多重筛选及相应分合处理确保了整体的鲁棒性。下面将参照附图，对本专利技术作进一步详细的说明。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术实施例中一种高鲁棒性的远程心率、呼吸率的检测方法的主流程图；图2为获取心率和呼吸率的感兴趣区域；图3为网格划分示意图；图4为方形选框的移位分析示意图；图5为通过循环神经网络预测心率、呼吸率，最后结果求平均的示意图。具体实施方式以下结合附图对本专利技术的实施例进行详细说明，但是本专利技术可以由权利要求限定和覆盖的多种不同方式实施。实施例1本实施例公开一种心率与呼吸率检测方法，如图1至图5所示，包括以下步骤：(1)、视频以及心率和呼吸率数据采集。通过摄像头录制人脸视频，从获取的视频流中，得到多个帧图像构成的视频数据集合。设置视频录制帧速率为x帧/秒，录制t时长，合计得到m＝x×t帧图像。在采集视频的同时，用心率和呼吸率的测量装置，实时获得视频同步的心率值和呼吸率值。(2)、视频图像的子集合划分。视频图像采集时间较长，难以避免人脸的位置和光照条件发生变化。将这m帧图像按时序划分为n个子集合，记为D1,D2,D3,D4,...,Dn，每个集合中包含帧图像。将第j个集合中的第i帧图像记为Iji,即在后续的分析中，对每个子集合内部的图像进行分析。(3)、对任意一个视频图像集合Dj，分析每帧图像中的感兴趣区域。对每帧图像，只分析四个感兴趣区域(如图2)，包括每帧图像中的额头、左脸颊、右脸颊以及侧脸，分别记为Aji1,Aji2,Aji3,Aji4,,j是集合的编号，i是该帧图像在集合中的序号，用方形选框表示感兴趣区域的位置，包括Ajih在图像上的左上角坐标和高度，宽度：Xjih,Yjih,Hjih,Wjih,h＝1,2,3,4。优选地，使用包括但不限于FasterR-CNN等用于定位的神经网络，确定方形选框的位置。由人工标注的每帧图像的方形选框，作为数据集。对定位网络训练，以实现从新的图像中定位上述方形选框。优选地，通过采集人脸数据，手工勾勒额头、左脸颊、右脸颊以及侧脸区域，制作数据集，其中70％的数据作为训练集，10％的数据作为验证集，剩余20％的数据作为测本文档来自技高网...

【技术保护点】
1.一种心率与呼吸率检测方法，其特征在于，包括：/n采集m帧人脸视频图像，并用测量装置测出与所述人脸视频图像同步的心率和呼吸率值；/n将采集到的视频图像按时序均匀分为n个子集合；并对各个子集合内的每帧图像，以方形选框提取额头、左脸颊、右脸颊以及侧脸四个感兴趣区域，对比同一子集合内同一感兴趣区域所对应的系列选框的左上角坐标、高度和宽度判断各个选框是否发生移位，如果是，将发生移位的同一子集合内感兴趣区域提取的图像数据全部予以删除；然后将保留的未发生移位的方形选框内的图像数据划分为p×q个网格，每个网格的像素数量为k×k；/n计算同一子集合所对应的同一感兴趣区域中各网格的灰度平均值，根据相应的灰度平均值对相对应网格的各像素点进行去均值处理，然后计算去均值后的网格像素数据平均值，将对应同一子集合的同一感兴趣区域且同一网格位置去均值后的网格像素数据平均值组合成对应该网格位置的信号数据序列；/n计算同一子集合同一感兴趣区域的p×q个网格位置所对应的信号数据序列之间的相关性，得到相关性高的H个网格的数据序列；/n将各个感兴趣区域筛选出的相关性高的数据序列汇总成有效数据序列集合；根据所述有效数据序列集合及实测的同步的心率和呼吸率值建立预测模型；/n对新采集的人脸视频图像，依照上述步骤提取有效数据序列集合后输入所述预测模型得出相应的心率和呼吸率预测值。/n...

【技术特征摘要】
1.一种心率与呼吸率检测方法，其特征在于，包括：
采集m帧人脸视频图像，并用测量装置测出与所述人脸视频图像同步的心率和呼吸率值；
将采集到的视频图像按时序均匀分为n个子集合；并对各个子集合内的每帧图像，以方形选框提取额头、左脸颊、右脸颊以及侧脸四个感兴趣区域，对比同一子集合内同一感兴趣区域所对应的系列选框的左上角坐标、高度和宽度判断各个选框是否发生移位，如果是，将发生移位的同一子集合内感兴趣区域提取的图像数据全部予以删除；然后将保留的未发生移位的方形选框内的图像数据划分为p×q个网格，每个网格的像素数量为k×k；
计算同一子集合所对应的同一感兴趣区域中各网格的灰度平均值，根据相应的灰度平均值对相对应网格的各像素点进行去均值处理，然后计算去均值后的网格像素数据平均值，将对应同一子集合的同一感兴趣区域且同一网格位置去均值后的网格像素数据平均值组合成对应该网格位置的信号数据序列；
计算同一子集合同一感兴趣区域的p×q个网格位置所对应的信号数据序列之间的相关性，得到相关性高的H个网格的数据序列；
将各个感兴趣区域筛选出的相关性高的数据序列汇总成有效数据序列集合；根据所述有效数据序列集合及实测的同步的心率和呼吸率值建立预测模型；
对新采集的人脸视频图像，依照上述步骤提取有效数据序列集合后输入所述预测模型得出相应的心率和呼吸率预测值。


2.根据权利要求1所述的心率与呼吸率检测方法，其特征在于，以定...

【专利技术属性】
技术研发人员：喻罡，肖嘉莹，孙凯，蒋召杰，袁楚琪，朱宜飞，
申请(专利权)人：中南大学，湖南致力工程科技有限公司，
类型：发明
国别省市：湖南;43