基于双模态心冲击信号的心率检测方法技术

本发明专利技术提供一种基于双模态心冲击信号的心率检测方法。所述心率检测方法包括：对通过接触采集装置获取的接触心冲击图片段和通过视频片段获取的远程心冲击图片段的波形信号分别执行质量评估；基于所述质量评估的结果选择所述接触心冲击图片段和所述远程心冲击图片段中质量分数较高的心冲击图片段；以及将所述质量分数较高的心冲击图片段输入到神经网络模型中得到心电图片段以用于提取心率。本发明专利技术提出对cBCG信号和rBCG信号两个模态进行质量评价和择优选择来检测心率，从而提高生成ECG的准确性。ECG的准确性。ECG的准确性。

【技术实现步骤摘要】
基于双模态心冲击信号的心率检测方法


[0001]本专利技术涉及人工智能领域，具体地说，涉及一种基于双模态心冲击信号的心率检测方法。

技术介绍

[0002]心冲击图(BCG)检测是非直接接触式的心脏功能实时检测方法，用于检测由心脏搏动和大动脉血液循环所导致的与心跳同步的身体振动信号，可基于接触心冲击图(cBCG)或远程心冲击图(rBCG)实现心率提取、心率变异和情绪识别等。
[0003]rBCG信号由心脏收缩和血液从心室射血到血管系统产生，可从视频中连续捕捉受试者的面部，计算前一张和下一张面部的BCG波头部运动，通过跟踪二维轨迹中面部点的运动来提取。rBCG对光照变化和肤色变化具有不变性，但受到包括面部表情和自主头部运动等运动伪影的限制。
[0004]cBCG在心率提取、心率变异等方面已取得较为显著的研究成果，可应用于测谎系统中，与其它无感采集设备组合搭建基于cBCG信号的多通道测谎系统，但cBCG检测在接触要求方面存在制约。
[0005]BCG是血液循环的动力学测量，医学检测方面更倾向于携带了额外心脏信息的ECG(心脏活动的电学测量)。因此，需要将BCG传感器检测的BCG信息转换为ECG信息的无感监测方案以实现连续可靠的心脏监测。
[0006]利用记录头部运动的视频重建BCG波形是rBCG提取心率的研究重点。视频中一般需要跟踪500～1000个面部特征点进行识别、跟踪，大量特征点将耗费长时间来求解，并且信号重建过程中针对不同特征点追踪轨迹的处理尚处于基础研究阶段，仅采用加和、平均等简单操作。目前基于单点rBCG信号的心率检测研究虽然克服了需要跟踪大量特征点的不足，但在复杂的光照条件下不可靠性增加导致算法鲁棒性较差。
[0007]应用深度学习模型将心脏的动力学信号生成为电生理信号仅限于基于GAN网络模型将心震图(SCG)生成gECG(Generative ECG，生成心电图)，缺乏利用BCG生成ECG的研究。并且，GAN网络存在可解释性差、训练不稳定等问题。

技术实现思路

[0008]提供本
技术实现思路
是为了以简化的形式介绍所选择的构思，并在下面的具体实施方式中进一步描述这些构思。本
技术实现思路
无意确定所要求保护的主题的关键特征或必要特征，也无意用于帮助确定所要求保护的主题的范围。
[0009]针对单个模态的BCG信息易受到主观动作或外部因素的影响，本专利技术提出对cBCG信号和rBCG信号两个模态进行质量评价和择优选择来检测心率，从而提高心率检测的准确性。本专利技术提出cBCG信号和rBCG信号进行信号质量评估，保留片段时间内质量较高的信号，实现双模态信号的质量评价和择优选择。
[0010]针对现有rBCG重构算法中ROI的固定选择导致对表情鲁棒性差的问题，本专利技术提
出rBCG信号的自适应重建算法来识别和追踪面部特征点。对利用468个面部特征点重建的rBCG信号进行质量评估，进而对面部特征点进行排序，自动选择特征点的个数与位置。通过建立rBCG的数学模型利用选择的特征点的三维运动轨迹通过主成分分析方法求解出rBCG重建波形。
[0011]针对BCG生成ECG的需求，本专利技术提出将BCG生成ECG的U型神经网络模型，以进一步提高BCG心率检测的准确性。
[0012]本专利技术的一方面提供一种基于双模态心冲击信号的心率检测方法，包括：对通过接触采集装置获取的接触心冲击图片段和通过视频片段获取的远程心冲击图片段的波形信号分别执行第一质量评估；基于所述第一质量评估的结果选择所述接触心冲击图片段和所述远程心冲击图片段中质量分数较高的心冲击图片段；以及将所述质量分数较高的心冲击图片段输入到神经网络模型中得到心电图片段。
[0013]优选地，通过所述视频片段获取所述远程心冲击图片段包括：建立面部模型并标记多个面部特征点；记录所述多个面部特征点在所述视频片段的每一帧图像中的位置信息；基于所述位置信息追踪所述多个面部特征点并且描绘出所述多个面部特征点中的每个在纵轴方向上的运动轨迹；对所述运动轨迹的波形信号执行第二质量评估；以及基于所述第二质量评估的结果选择质量分数较高的运动轨迹进一步执行主成分分析重构出远程心冲击图信号。
[0014]优选地，所述第一质量评估或所述第二质量评估基于预定频率范围内的功率谱密度相对于总功率谱密度的百分比来确定所述质量分数。
[0015]优选地，所述神经网络模型包括基于心冲击图片段来生成心电图片段的具有对称结构的U型神经网络模型，所述U型神经网络模型具有由下采样的压缩路径和上采样的扩张路径构成的三层数据通路，其中，三层数据通路中的浅层通路和中层通路具有将所述压缩路径的特征自适应加权并与所述扩张路径的特征堆叠的跳跃链接。
[0016]优选地，将所述压缩路径的特征自适应加权并与所述扩张路径的特征堆叠的跳跃链接包括对空间注意力机制和通道注意力机制以对特征进行自适应加权。所述通道注意力机制对输入的特征进行全局平均池化得到通道维度上的特征向量，然后通过全连接层和激活函数得到通道注意力权重向量，将所述通道注意力权重向量与输入特征相乘得到加强后的特征。所述空间注意力机制对输入的特征进行卷积操作得到空间维度上的特征向量，然后通过全连接层和激活函数得到空间注意力权重矩阵，将所述空间注意力权重矩阵与输入特征相乘得到加强后的特征表示。
[0017]优选地，所述U型神经网络模型的输入信号是一维信号，并且卷积核的尺寸随着层数的加深逐渐降低。
[0018]优选地，所述U型神经网络模型还包括残差结构，所述残差结构将输入信号与输出信号相加，用于在所述压缩路径中跳跃连接相隔一次卷积的特征。
[0019]优选地，所述U型神经网络模型包括cB2E U型神经网络模型与rB2E U型神经网络模型二者，其中，通过将受试者在无自主运动状态下的接触心冲击图片段或远程心冲击图片段作为输入并且将心电图片段作为标签，分别训练cB2E U型神经网络模型与rB2E U型神经网络模型。
[0020]本专利技术的另一方面提供一种存储有计算机程序的计算机可读存储介质，当所述计
算机程序在被处理器执行时实现如上所述的心率检测方法。
[0021]本专利技术的另一方面提供一种计算机设备，所述计算机设备包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的心率检测方法。
[0022]本专利技术提出对cBCG信号和rBCG信号两个模态进行质量评价和择优选择来检测心率，从而提高心率检测的准确性。本专利技术提出cBCG信号和rBCG信号进行信号质量评估，保留片段时间内质量较高的信号，实现双模态信号的质量评价和择优选择。
[0023]本专利技术提出rBCG信号的自适应重建算法对面部特征点重建的rBCG信号进行质量评估，自动选择特征点的个数与位置，筛选去除了无效的面部特征点信息，避免了大量面部特征点导致的计算量大的缺点。
[0024]本专利技术提出将BCG生成ECG的U型神经网络模型，以进一步提高BCG心率检测的准确性。
[0025]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双模态心冲击信号的心率检测方法，其特征在于，所述心率检测方法包括：对通过接触采集装置获取的接触心冲击图片段和通过视频片段获取的远程心冲击图片段的波形信号分别执行第一质量评估；基于所述第一质量评估的结果选择所述接触心冲击图片段和所述远程心冲击图片段中质量分数较高的心冲击图片段；以及将所述质量分数较高的心冲击图片段输入到神经网络模型中得到心电图片段。2.根据权利要求1所述的心率检测方法，其中，通过所述视频片段获取所述远程心冲击图片段包括：建立面部模型并标记多个面部特征点；记录所述多个面部特征点在所述视频片段的每一帧图像中的位置信息；基于所述位置信息追踪所述多个面部特征点并且描绘出所述多个面部特征点中的每个在纵轴方向上的运动轨迹；对所述运动轨迹的波形信号执行第二质量评估；以及基于所述第二质量评估的结果选择质量分数较高的运动轨迹进一步执行主成分分析重构出远程心冲击图信号。3.根据权利要求1或2所述的心率检测方法，其中，所述第一质量评估或所述第二质量评估基于波形信号的预定频率范围内的功率谱密度相对于总功率谱密度的百分比来确定所述质量分数。4.根据权利要求1所述的心率检测方法，其中，所述神经网络模型包括基于心冲击图片段来生成心电图片段的具有对称结构的U型神经网络模型，所述U型神经网络模型包括由下采样的压缩路径和上采样的扩张路径构成的三层数据通路，其中，三层数据通路中的浅层通路和中层通路包括将所述压缩路径的特征自适应加权并与所述扩张路径的特征堆叠的跳跃链接。5.根据权利要求4所述的心率检测方法，其中，将所述压缩路径的特征自适应加权并与所述扩张路径的...

【专利技术属性】
技术研发人员：童心，王治博，贺佳琦，李英杰，魏宏超，蒲岩，程天庆，
申请(专利权)人：沈阳康泰电子科技股份有限公司，
类型：发明
国别省市：