【技术实现步骤摘要】
本专利技术涉及非接触式心率测压、深度学习、多模态信号融合等，具体涉及一种基于rppg和bcg信号融合的人体心率变异信号检测方法。
技术介绍
1、非接触式心率测压是一项重要课题，其目的是在人脸监测的基础上实现对人体心率变异信号的非接触性准确检测。现如今，心率监测已经广泛运用在我们的生活当中，如医学疾病检测、民航飞行员状态实时检测等领域。
2、民航飞行员作为一种特殊的职业，其高技术、高压力和高风险都是其显著特点，而民航飞行员所具备的心理状态会直接影响到飞机飞行的安全，是飞行任务能否顺利完成的关键因素。因此，对民航飞行员的心率监测就显得至关重要，但现有的接触式心率测量方式虽然较为准确，却必然会带来诸多不适与不便，容易给使用者造成心理压力与抗拒心理。鉴于此，本专利技术拟基于人脸视频监控的远程光电容积描记术以及基于光纤传感的心冲击描记图，构建多模态数据融合技术，实现对民航飞行员心率变异信号的非接触性准确检测。
3、医学领域通常使用心电图描记术(electrocardiography, ecg)、脑电图描记术(electroencephalography, eeg)、以及眼电图描记术(electro oculo graphy, eog)等来测量人体的心率变异信号，当前的可穿戴设备普遍采用光电容积脉搏波描记术（photoplethysmography, ppg）进行人体的心率检测。但该类设备需要接触式测量，会给使用者带来诸多不便。因此大量的研究开始关注基于人脸视频监控的人体心率检测方法，即远程光电容积脉搏波描记术(re
4、心冲击图(ballistocardiogram, bcg)是广泛用于非接触式心率测量的技术手段。其通过捕捉心脏射血时引起的人体重力变化信号，然后将此信号转换成电信号从而进行心率检测。按其学习形式可分为基于信号处理、基于传统机器学习和基于深度学习方法三大类。在基于bcg信号的心率估计研究中，使用深度学习方法提取心跳特征的好处在于模型可以自主选择与目标关联性最强的有效特征，可以取得更好的效果，目前深度学习的方法已经逐渐成为bcg心率估计的主流方法。
技术实现思路
1、本专利技术的目的在于克服现有技术的不足，提供一种基于rppg和bcg信号融合的人体心率变异信号检测方法，以飞行员心率变异信号的检测问题为研究对象，结合当前深度学习、数据融合和特征编码等相关前沿理论和方法设计一套改进算法模型，从而实现提高飞行员心率变异信号检测的准确性和稳定性的目的。
2、本专利技术的目的是通过以下技术方案来实现的：
3、一种基于rppg和bcg信号融合的人体心率变异信号检测方法，所述方法包括以下步骤：
4、s1：同步采集被测者人脸面部视频序列、心冲击图bcg信号和光电容积脉搏波ppg信号；
5、s2：对人脸面部视频序列数据进行人脸roi序列提取；利用带通滤波器对心冲击图bcg信号进行滤波；将光电容积脉搏波ppg信号作为基准信号标签gt；
6、s3：采用卷积神经网络构建空间特征提取子网络，提取人脸roi序列的图像空间特征；
7、s4：采用transformer构建rppg信号生成子网络，提取空间特征序列间的时空信息，生成输入视频序列所对应的rppg信号；
8、s5：采用hourglass或u-net网络结构进行波形变换子网络，将滤波后的心冲击图bcg信号转换成为伪rppg信号；
9、s6：采用编码器-解码器的网络结构对rppg信号和伪rppg信号相互叠加进行特征融合，得到融合信号b-rppg；
10、s7：使用基于双空间约束的代价函数对融合信号b-rppg和基准ppg信号进行约束，训练出的网络模型输出视频序列中被测者的心率变异信号的检测结果。
11、进一步地，所述的步骤s3具体为：
12、对于第 i个被测者的人脸面部视频序列，包含 h个的人脸视频帧， k为图像的长和宽，其特征提取过程表示为：
13、
14、其中是空间特征提取子网络的网络参数，是空间特征提取子网络得到的空间人脸特征；输出对应的 h个空间特征序列：。
15、进一步地，所述的步骤s4具体为：
16、对于 h个空间特征序列，对其提取时空信息过程表示为：
17、
18、其中为基于transformer的rppg信号生成子网络，是的网络参数，表示第 i个特征序列的第 t个特征图，是rppg信号生成子网络的输出，即生成输入视频序列所对应的rppg信号。
19、进一步地，所述的步骤s5具体为：
20、对于第 i个被测者的心冲击图bcg信号，模型输出的伪rppg信号为：
21、
22、其中是利用hourglass或u-net网络构建的波形变换子网络，是的网络参数。
23、进一步地，所述的步骤s6具体为：
24、利用两个相同的编码器和对生成的rppg信号和伪rppg信号进行编码，得到rppg和伪rppg信号的编码特征和，其过程表示为：
25、
26、将两个编码特征和通过叠加进行特征融合；
27、通过解码器进行解码得到融合信号b-rppg，其过程表示为：
28、
29、其中是信号融合单元的网络参数，是最终的融合信号，表示特征的叠加。
30、进一步地，所述基于双空间约束的代价函数为：
31、 其中，为时域约束代价函数，为基于信噪比的频域约束代价函数，为权重系数。
32、进一步地，对于第 i个被测者的标准光电容积脉搏波ppg信号，以及特征融合信号b-rppg ，所述的时域约束代价函数定义为：
33、 。
34、进一步地，所述的基于信噪比的频域约束代价函数定义为：
35、 式中，为融合信号b-rppg 的信噪比。
36、进一步地，对于第 i个被测者的标准光电容积脉搏波ppg信号，所述融合信号b-rppg 的信噪比为：
37、 式中， psd表示的是信号的功率谱密度，是融合信号b-rppg 的频率，有效频率范围为，由专业的频谱分析仪测量得到，分母表示噪声信号的能量，分子表示有效信号的本文档来自技高网...
【技术保护点】
1.一种基于rPPG和BCG信号融合的人体心率变异信号检测方法，其特征在于所述方法包括以下步骤：
2.根据权利要求1所述的一种基于rPPG和BCG信号融合的人体心率变异信号检测方法，其特征在于，所述的步骤S3具体为：
3.根据权利要求2所述的一种基于rPPG和BCG信号融合的人体心率变异信号检测方法，其特征在于，所述的步骤S4具体为：
4.根据权利要求3所述的一种基于rPPG和BCG信号融合的人体心率变异信号检测方法，其特征在于，所述的步骤S5具体为：
5.根据权利要求4所述的一种基于rPPG和BCG信号融合的人体心率变异信号检测方法，其特征在于，所述的步骤S6具体为：
6.根据权利要求5所述的一种基于rPPG和BCG信号融合的人体心率变异信号检测方法，其特征在于，所述基于双空间约束的代价函数为：
7.根据权利要求6所述的一种基于rPPG和BCG信号融合的人体心率变异信号检测方法，其特征在于，对于第i个被测者的标准光电容积脉搏波PPG信号，以及特征融合信号B-rPPG ，所述的时域约束代价函数定义为：
...【技术特征摘要】
1.一种基于rppg和bcg信号融合的人体心率变异信号检测方法，其特征在于所述方法包括以下步骤：
2.根据权利要求1所述的一种基于rppg和bcg信号融合的人体心率变异信号检测方法，其特征在于，所述的步骤s3具体为：
3.根据权利要求2所述的一种基于rppg和bcg信号融合的人体心率变异信号检测方法，其特征在于，所述的步骤s4具体为：
4.根据权利要求3所述的一种基于rppg和bcg信号融合的人体心率变异信号检测方法，其特征在于，所述的步骤s5具体为：
5.根据权利要求4所述的一种基于rppg和bcg信号融合的人体心率变异信号检测方法，其特征在于，所述的步骤s6具体为：
6.根据权利要求5所述的一种基...
【专利技术属性】
技术研发人员：李首庆，潘媛，原子昊，涂晓光，刘家欣，姚尧，许可，殷志新，张智杰，
申请(专利权)人：中国民用航空飞行学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。