一种基于多模态注意力融合的高血压老年人活动分析方法技术

本发明专利技术公开了一种基于多模态注意力融合的高血压老年人活动分析方法，融合多模态数据特征，并基于注意力机制提取各模态数据的注意力表示。同时基于脉搏波和心电传感器测量高血压老年人实时血压，并计算血压变异性，分析实时活动和血压关联的关系，得出适合高血压老年人的日常活动。本发明专利技术的分析方法基于卷积神经网络模型和长短期记忆神经网络组合模型，引入注意力机制，实现多模态特征提取及融合，可有效改善活动识别精度。并且本方法分析实时血压与日常活动之间的关联，为高血压老年人推荐合理的日常活动提供依据。

【技术实现步骤摘要】
一种基于多模态注意力融合的高血压老年人活动分析方法
本专利技术属于监护系统
，具体涉及一种基于多模态注意力融合的高血压老年人活动分析方法。
技术介绍
适量的身体活动是高血压、糖尿病和骨关节炎等慢性疾病辅助治疗的重要手段之一。量化慢病人群日常活动的强度和类型有助于医生或家人了解其活动方式、规律、类型及活动量，提高健康评价的准确性，以制定更合适的康复治疗策略。随着无线通信及可穿戴传感技术的发展，穿戴式传感设备可以实时采集人体活动过程的加速度、心率、心电等数据，通过对采集的数据进行分析，利用机器学习技术可实现对高血压等慢病人群日常活动进行监测。
技术实现思路
本专利技术的目的是为了解决老年人日常适量活动的问题，提出了一种基于多模态注意力融合的高血压老年人活动分析方法。本专利技术的技术方案是：一种基于多模态注意力融合的高血压老年人活动分析方法，包括以下步骤：S1：采用加速度传感器采集老年人的人体活动的加速度数据；采用光电体积描记器传感器采集老年人的人体活动的脉搏波数据；采用心电图传感器采集老年人的人体活动的心电图数据；S2：对加速度数据、脉搏波数据和心电图数据分别进行归一化处理，得到加速度归一化数据、脉搏波归一化数据和心电图归一化数据；S3：将加速度归一化数据、脉搏波归一化数据和心电图归一化数据均按照长度为1分钟，重叠为50％的时间窗口分割，得到加速度模态数据、脉搏波模态数据和心电图模态数据；S4：将加速度模态数据、脉搏波模态数据和心电图模态数据分别输入各自对应的CNN-LSTM模型，进行池化，得到用户日常活动类型；S5：基于用户日常活动类型，对脉搏波数据和心电图数据进行去噪；S6：计算去噪后脉搏波信号和心电图信号之间的距离d以及脉搏波转换延迟时间tdelay；S7：根据d和tdelay计算脉搏波传导速度PWV；S8：根据PWV计算脉搏波传导时间PTT；S9：根据PTT计算血压实时测量值BP；S10：根据BP计算血压变异性系数CV；S11：根据用户日常活动类型和血压变异性阈值，提取血压变异性系数CV大于血压变压性阈值的时段，得到血压变异性强的时段T；S12：基于时段T连续测量用户的血压一周，标记频率最高的3个用户日常活动类型，并提醒用户进行安全防范，完成老年人活动分析。本专利技术的有益效果是：本专利技术的分析方法基于卷积神经网络模型和长短期记忆神经网络组合模型，引入注意力机制，实现多模态特征提取及融合，可有效改善活动识别精度。并且本方法分析实时血压与日常活动之间的关联，为高血压老年人推荐合理的日常活动提供依据。进一步地，步骤S1中，加速度传感器和光电体积描记器传感器的采样频率均为50Hz，心电图传感器的采样频率为256Hz。上述进一步方案的有益效果是：在本专利技术中，不同的传感器采用不同的频率可采集连续时序数据，方便后续步骤进行活动识别。进一步地，步骤S2中，归一化处理的公式为：其中，X*分别为加速度归一化数据、脉搏波归一化数据和心电图归一化数据，X分别为采集的加速度数据、脉搏波数据和心电图数据，Xmin分别为采集的加速度数据、脉搏波数据和心电图数据中的最小值，Xmax分别为采集的加速度数据、脉搏波数据和心电图数据中的最大值。上述进一步方案的有益效果是：在本专利技术中，不同传感器采集的数据具有不同的范围和量纲，为了消除数据之间的范围和量纲影响，不影响数据分析结果的准确性，需要对其进行归一化处理。初始数据经过归一化处理后，各指标处于同一数量级，并消除了量纲，有利于进行综合对比评价。进一步地，步骤S4包括以下子步骤：S41：将各个CNN-LSTM模型均分为8层，其中第1层为输入层，第2-5层为卷积-池化层，第6-7层为全连接层，分别为第1层LSTM网络和第2层LSTM网络，第8层为softmax层；S42：利用CNN算法分别提取加速度模态数据、脉搏波模态数据和心电图模态数据的空间特征信息，并以时间片的形式输入到各自对应的第6层LSTM模型隐含单元，经过第7层LSTM模型进一步提取各模态数据的时序特征；S43：向各个CNN-LSTM模型的第6层和第7层之间均加入注意力机制；S44：根据注意力机制计算t时刻所有模态数据的全局注意力ct；S45：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的全局注意力脉搏波模态数据的全局注意力和心电图模态数据的全局注意力S46：将和加速度模态数据的隐藏状态拼接得到加速度模态数据的特征向量将和脉搏波模态数据的隐藏状态拼接得到脉搏波模态数据的特征向量将和心电图模态数据的隐藏状态拼接得到心电图模态数据的特征向量S47：将和拼接得到整个模态数据的特征向量S48：将和t时刻的ct拼接得到整个模态数据的整体描述并输入到第1层LSTM网络；S49：获取第1层LSTM网络的跨模态融合特征，输入到第2层LSTM网络进行提取时序特征表示，并输入到第8层；S410：根据特征表示计算第8层的日常活动输出类别其计算公式为：其中，F为第2层LSTM网络的输出特征，W为第8层和第2层LSTM网络的连接权重；S411：根据计算代价函数的损失值Loss，Loss的数值最小时得到用户的日常活动类型，完成池化，其计算公式为：其中，n为样本数，y为真实的活动类别，为日常活动输出类别，X分别为采集的加速度数据、脉搏波数据和心电图数据。上述进一步方案的有益效果是：在本专利技术中，对各模态数据进行池化，提取模态数据的低层统计特征和高层抽象特征，得到用户日常活动类型，给后续分析步骤提供依据。进一步地，步骤S44包括以下子步骤：S441：根据注意力机制计算所有模态数据的注意力ati；其计算公式为：ati＝Wahi+ba其中，i＝1,…,t-1，Wa为所有模态数据的注意力层权重，hi为所有模态数据的隐藏状态，ba为注意力机制的单元偏置；S442：根据ati和注意力机制计算t时刻所有模态数据的全局注意力ct，其计算公式为：其中，ati为所有模态数据的注意力，hi为所有模态数据的隐藏状态。上述进一步方案的有益效果是：在本专利技术中，计算t时刻所有模态数据的全局注意力ct便于与各个模态数据的特征向量进行拼接。进一步地，步骤S45包括以下子步骤：S451：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的注意力脉搏波模态数据的注意力和心电图模态数据的注意力其计算公式为：其中，i＝1,…,t-1，为加速度模态数据的注意力层权重，为脉搏波模态数据的注意力层权重，为心电图模态数据的注意力层权重；为加速度模态数据的隐藏状态；为脉搏波模态数据的隐藏状态，为心电图模态数据的隐藏状态；为加速度模态数据的单元偏置，为脉搏波模态数据的单元偏置，为心电图模态数据的单元偏置；S452：根本文档来自技高网...

【技术保护点】
1.一种基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，包括以下步骤：/nS1：采用加速度传感器采集老年人的人体活动的加速度数据；采用光电体积描记器传感器采集老年人的人体活动的脉搏波数据；采用心电图传感器采集老年人的人体活动的心电图数据；/nS2：对加速度数据、脉搏波数据和心电图数据分别进行归一化处理，得到加速度归一化数据、脉搏波归一化数据和心电图归一化数据；/nS3：将加速度归一化数据、脉搏波归一化数据和心电图归一化数据均按照长度为1分钟，重叠为50％的时间窗口分割，得到加速度模态数据、脉搏波模态数据和心电图模态数据；/nS4：将加速度模态数据、脉搏波模态数据和心电图模态数据分别输入各自对应的CNN-LSTM模型，进行池化，得到用户日常活动类型；/nS5：基于用户日常活动类型，对脉搏波数据和心电图数据进行去噪；/nS6：计算去噪后脉搏波信号和心电图信号之间的距离d以及脉搏波转换延迟时间t

【技术特征摘要】
1.一种基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，包括以下步骤：
S1：采用加速度传感器采集老年人的人体活动的加速度数据；采用光电体积描记器传感器采集老年人的人体活动的脉搏波数据；采用心电图传感器采集老年人的人体活动的心电图数据；
S2：对加速度数据、脉搏波数据和心电图数据分别进行归一化处理，得到加速度归一化数据、脉搏波归一化数据和心电图归一化数据；
S3：将加速度归一化数据、脉搏波归一化数据和心电图归一化数据均按照长度为1分钟，重叠为50％的时间窗口分割，得到加速度模态数据、脉搏波模态数据和心电图模态数据；
S4：将加速度模态数据、脉搏波模态数据和心电图模态数据分别输入各自对应的CNN-LSTM模型，进行池化，得到用户日常活动类型；
S5：基于用户日常活动类型，对脉搏波数据和心电图数据进行去噪；
S6：计算去噪后脉搏波信号和心电图信号之间的距离d以及脉搏波转换延迟时间tdelay；
S7：根据d和tdelay计算脉搏波传导速度PWV；
S8：根据PWV计算脉搏波传导时间PTT；
S9：根据PTT计算血压实时测量值BP；
S10：根据BP计算血压变异性系数CV；
S11：根据用户日常活动类型和血压变异性阈值，提取血压变异性系数CV大于血压变压性阈值的时段，得到血压变异性强的时段T；
S12：基于时段T连续测量用户的血压一周，标记频率最高的3个用户日常活动类型，并提醒用户进行安全防范，完成老年人活动分析。


2.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤S1中，加速度传感器和光电体积描记器传感器的采样频率均为50Hz，心电图传感器的采样频率为256Hz。


3.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤S2中，归一化处理的公式为：



其中，X*分别为加速度归一化数据、脉搏波归一化数据和心电图归一化数据，X分别为采集的加速度数据、脉搏波数据和心电图数据，Xmin分别为采集的加速度数据、脉搏波数据和心电图数据中的最小值，Xmax分别为采集的加速度数据、脉搏波数据和心电图数据中的最大值。


4.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤S4包括以下子步骤：
S41：将各个CNN-LSTM模型均分为8层，其中第1层为输入层，第2-5层为卷积-池化层，第6-7层为全连接层，分别为第1层LSTM网络和第2层LSTM网络，第8层为softmax层；
S42：利用CNN算法分别提取加速度模态数据、脉搏波模态数据和心电图模态数据的空间特征信息，并以时间片的形式输入到各自对应的第6层LSTM模型隐含单元，经过第7层LSTM模型进一步提取各模态数据的时序特征；
S43：向各个CNN-LSTM模型的第6层和第7层之间均加入注意力机制；
S44：根据注意力机制计算t时刻所有模态数据的全局注意力ct；
S45：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的全局注意力脉搏波模态数据的全局注意力和心电图模态数据的全局注意力
S46：将和加速度模态数据的隐藏状态拼接得到加速度模态数据的特征向量将和脉搏波模态数据的隐藏状态拼接得到脉搏波模态数据的特征向量将和心电图模态数据的隐藏状态拼接得到心电图模态数据的特征向量
S47：将和拼接得到整个模态数据的特征向量
S48：将和t时刻的ct拼接得到整个模态数据的整体描述并输入到第1层LSTM网络；
S49：获取第1层LSTM网络的跨模态融合特征，输入到第2层LSTM网络进行提取时序特征表示，并输入到第...

【专利技术属性】
技术研发人员：刘勇国，王志华，杨尚明，李巧勤，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51