一种基于神经网络模型的远程心率监测算法制造技术

本发明专利技术属于计算机视觉技术领域，具体是一种基于多流神经网络模型的远程心率监测算法。本发明专利技术采用双流Transformer神经网络，能够同时对面部信息和背景信息进行处理，并利用背景信息来指导面部信息中心率相关信号和噪声信号的分离，能够显著提高远程心率监测的稳定性；其中，多流神经网络由两路以上特征提取网络串接一个结果回归网络组成；特征提取网络由两个以上结构相同且互相独立的网络组成；结果回归网络由一个神经网络构成，输出即为预测的心率；本发明专利技术通过面部视频分析计算出心率，同时考虑面部及背景信息，以背景信息来指导面部信息中非生理信号的抑制，从而显著提高远程心率监测算法的准确率。率监测算法的准确率。率监测算法的准确率。

【技术实现步骤摘要】
一种基于神经网络模型的远程心率监测算法


[0001]本专利技术属于计算机视觉
，具体涉及远程心率监测算法。

技术介绍

[0002]心脏作为人体内最重要的器官之一，人体内几乎所有细胞的活动都离不开其支持，因此拥有一颗健康的心脏便成为了一个人身体健康的前提。国家心血管病中心最新发布的心血管病报告统计了1990年至2017年间心血管疾病的发病情况，结果显示心血管病的致死率远高于其他类型疾病，且致死率呈现缓步上升趋势。2017年因病死亡中，由于心血管疾病导致的死亡占比接近半数，远远超过了肿瘤、呼吸系统等其他类型疾病。鉴于心血管疾病发病后的高致残率和高死亡率，早发现、早预防、早治疗成为了对抗心血管疾病的关键。然而现阶段人们对于心血管疾病的预防和发现，主要依靠于固定时间的体检，这不仅会花费大量的时间和金钱，同时也由于体检周期过长(一般为半年一次或一年一次)，无法及时发现心血管活动异常，对于发现和预防心血管疾病的作用有限。而基于视频的远程心率监测为解决这一难题提供了新思路，人们只需要在家中放置一个普通的RGB摄像头，就可以随时监控心脏跳动情况，一旦心脏跳动出现异常，可以第一时间发现就医。于此同时，这也对远程心率监测结果的准确性和稳定性提出了巨大的挑战，如何提高远程心率监测的准确性和稳定性成为当下亟需解决的问题。
[0003]现有的远程心率监测的方法主要分为两个子步骤：首先对面部视频中感兴趣的区域(RegionofInterest，ROI)进行特征提取得到较为粗糙的特征；之后利用深度神经网络从粗糙特征中提取得到心率相关特征，并回归得到心率。然而研究表明，现有的远程心率监测还存在许多问题，如只考虑面部信息而忽略了背景信息，或者认为背景信息和面部信息之间仅仅为简单的线性关系等，这使得现有方法在从面部信息中分离心率相关信息变得困难，从而极大地影响了算法的准确性和稳定性。

技术实现思路

[0004]本专利技术是为了解决现有远程心率监测算法的上述不足，提出一种准确性高和稳定性好的远程心率监测算法。
[0005]本专利技术提出的远程心率监测算法，采用双流Transformer[8]神经网络，能够同时对面部信息和背景信息进行处理，并利用背景信息来指导面部信息中心率相关信号和噪声信号的分离，能够显著提高远程心率监测的准确性和稳定性；具体步骤如下：
[0006](1)获取含有人脸的视频，并对视频进行预处理：
[0007](1.1)使用开源人脸81关键点检测算法[11]逐帧检测视频中的人脸关键点；
[0008](1.2)根据人脸关键点的各种组合方式中的一种剪裁出视频中每一帧的面部区域，具体有以下四种代表性的剪裁方法：
[0009](1.2.1)人脸81关键点或其子集合的凸包构成的面部区域；
[0010](1.2.2)人脸81关键点或其子集合按照特定顺序连接构成的多边形包含的面部区
域；
[0011](1.2.3)人脸81关键点或其子集合的最大内接矩形构成的面部区域；
[0012](1.2.4)人脸81关键点或其子集合的最小外接矩形构成的面部区域；
[0013](1.3)根据(1.2)得到的面部区域，在其周围剪裁出宽度和高度为一定值的含有背景的区域，具体有以下四种代表性的含背景区域剪裁方法：
[0014](1.3.1)取面部左右两侧宽度为0.2w、高度为h的背景区域，并将其拼接到一起得到背景区域，其中w和h分别表示步骤(1.2)提取的面部区域的宽度和高度；
[0015](1.3.2)取面部上下两侧宽度为w、高度为0.2h的背景区域，并将其拼接到一起得到背景区域，其中w和h分别表示步骤(1.2)提取的面部区域的宽度和高度；
[0016](1.3.3)从整个人脸区域中位于81关键点构成的凸包之外任取一个区域构成背景区域；
[0017](1.3.4)取面部左右两侧宽度为0.2w、高度为h的背景区域，并将所述的面部左右两侧背景区域与步骤(1.2)得到的宽度为w、高度为h的面部区域合为一个区域；
[0018](1.4)指定k种尺度的滑动窗口，分别以每种滑动窗口的设置对步骤(1.2)和步骤(1.3)提取得到的面部及含有背景的区域中的像素值进行滑动窗口平均，使得第i种尺度的滑动窗口数量为m
i
*n
i
，这里m
i
和n
i
为横向和纵向划分窗口的网格个数；RGB三个颜色通道分别进行滑动窗口平均，则该尺度的窗口数为3*m
i
*n
i
，其中相邻滑动窗口之间需要有重叠部分；这里不同分辨率的窗口种类k、每一种分辨率对应的横向和纵向划分窗口的网格个数m
i
和n
i
均为正整数，且网格划分与人脸大小相适应，经验值k取1到10种、m
i
和n
i
都取1到50之间，具体有以下两种滑动窗口计算方法：
[0019](1.4.1)滑动窗口可仅定义为单一尺寸，即k＝1，相邻两个滑动窗口的交叠部分不大于窗口尺寸的100％；
[0020](1.4.2)滑动窗口可定义为多种尺寸，即k>1，相邻两个滑动窗口的交叠部分不大于窗口尺寸的100％；
[0021](1.5)将所有滑动平均后维度为3*m
i
*n
i
的面部区域展开为列向量，并按照对应视频帧的时间顺序对列向量进行拼接得到3m
i
n
i
维时间序列作为面部区域特征Feat
f
；对含背景区域执行相同的操作得到背景区域特征Feat
b
。
[0022](2)构建多流神经网络，该网络由两路以上特征提取网络串接一个结果回归网络组成，其中：
[0023](2.1)特征提取网络由两个以上结构相同且互相独立的网络组成，且至少1路特征提取网络是输入为Feat
f
的前景流网络，同时至少1路特征提取网络是输入为Feat
b
的背景流网络，前景流网络和背景流网络均由若干编码模块堆叠而成，二者分别以步骤(1.5)中的面部区特征Feat
f
和含背景区域的特征Feat
b
作为输入，将特征提取网络的输出作为结果回归网络的输入；具体有以下两种特征提取网络结构：
[0024](2.1.1)特征提取网络的编码模块为Transformer[8]且采用正弦
‑
余弦位置嵌入，并以步骤(1.5)中的面部特征Feat
f
或含背景区域的特征Feat
b
作为输入；
[0025](2.1.2)特征提取网络的编码模块为ResNet[9]，并以步骤(1.5)中的面部特征Feat
f
或含背景区域的特征Feat
b
作为输入；
[0026](2.2)结果回归网络由一个神经网络构成，该网络以步骤(2.1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多流神经网络模型的远程心率监测算法，其特征在于，采用双流Transformer神经网络，同时对面部信息和背景信息进行处理，并利用背景信息来指导面部信息中心率相关信号和噪声信号的分离，显著提高远程心率监测的准确性和稳定性；具体步骤如下：(1)获取含有人脸的视频，并对视频进行预处理：(1.1)使用开源人脸81关键点检测算法逐帧检测视频中的人脸关键点；(1.2)根据人脸关键点的各种组合方式中的一种剪裁出视频中每一帧的面部区域；(1.3)根据步骤(1.2)得到的面部区域，在其周围剪裁出宽度和高度为一定值的含有背景的区域；(1.4)指定k种尺度的滑动窗口，分别以每种滑动窗口的设置对步骤(1.2)和步骤(1.3)提取得到的面部及含有背景的区域中的像素值进行滑动窗口平均，使得第i种尺度的滑动窗口数量为m
i
*n
i
，这里m
i
和n
i
定义为横向和纵向划分窗口的网格个数，RGB三个颜色通道分别进行滑动窗口平均，则该尺度的窗口数为3*m
i
*n
i
，其中相邻滑动窗口之间需要有重叠部分；(1.5)将所有滑动平均后维度为3*m
i
*n
i
的面部区域展开为列向量，并按照对应视频帧的时间顺序对列向量进行拼接得到3m
i
n
i
维时间序列作为面部区域特征Feat
f
；对含背景区域执行相同的操作得到含背景区域的特征Feat
b
；(2)构建多流神经网络，该网络由两路以上特征提取网络串接一个结果回归网络组成；其中：(2.1)特征提取网络由两个以上结构相同且互相独立的网络组成，且至少1路特征提取网络是输入为Feat
f
的前景流网络，同时至少1路特征提取网络是输入为Feat
b
的背景流网络，前景流网络和背景流网络均由若干编码模块堆叠而成，二者分别以步骤(1.5)中的面部区特征Feat
f
和含背景区域的特征Feat
b
作为输入，将特征提取网络的输出作为结果回归网络的输入；(2.2)结果回归网络由一个神经网络构成，该网络以步骤(2.1)中前景流网络和背景流网络的输出的组合作为输入，输出即为预测的心率。2.根据权利要求1所述的基于多流神经网络模型的远程心率监测算法，其特征在于，步骤(1.2)中所述根据人脸关键点的各种组合方式中的一种剪裁出视频中每一帧的面部区域，具体的剪裁方法为下述之一种：(1.2.1)人脸81关键点或其子集合的凸包构成的面部区域；(1.2.2)人脸81关键点或其子集合按照特定顺序连接构成的多边形包含的面部区域；(1.2.3)人脸81关键点或其子集合的最大内接矩形构成的面部区域；(1.2.4)人脸81关键点或其子集合的最小外接矩形构成的面部区域。3.根据权利要求2所述的基于多流神经网络模型的远程心率监测算法，其特征在于，步骤(1.3)中所...

【专利技术属性】
技术研发人员：康家琪，杨夙，
申请(专利权)人：复旦大学，
类型：发明
国别省市：