一种基于多模态数据融合的摔倒检测方法及系统技术方案

本发明专利技术属于多模态数据融合技术领域，涉及一种基于多模态数据融合的摔倒检测方法及系统，包括：采集多模态数据并提取多模态特征；对多模态特征进行初步特征融合，得到初步融合特征；根据初步融合特征计算加权置信shapley值，根据加权置信shapley值对初步融合特征进行加权融合，得到加权融合特征；利用Transformer模型对加权融合特征进行处理，得到深度融合特征；根据深度融合特征得到分类结果；计算损失函数值，根据损失函数值更新模型参数，当损失函数值最小时，完成摔倒检测模型训练；本发明专利技术在计算Shapley值时通过引入置信度和可靠度计算，使得融合过程能够更好地处理不确定性和冲突信息，提高了结果的稳健性。

【技术实现步骤摘要】

本专利技术属于多模态数据融合，涉及一种基于多模态数据融合的摔倒检测方法及系统。

技术介绍

1、随着全球人口老龄化问题的加剧，老年人的健康和安全问题越来越受到关注。由于身体机能的衰退，老年人在日常活动中容易摔倒，这不仅会导致身体伤害，甚至可能危及生命。因此，如何有效监测老年人的活动状态，及时对摔倒事件进行检测和报警，成为一个亟待解决的技术难题。目前，市场上主要包括基于姿态传感器的摔倒检测方法和基于计算机视觉的摔倒检测方法。

2、基于姿态传感器的方法通过在身体的某些部位佩戴姿态传感器，实时监测老年人的身体姿态。当传感器检测到异常的加速度或姿态变化时，会判断是否发生摔倒并发出警报。这种方法的优点在于实时性强、易于部署，但由于采集到的数据单一，日常活动中的突然加速或姿态变化例如弯腰捡东西或突然转身，会被误认为是摔倒。另外，由于传感器灵敏度不足或老年人摔倒时动作较慢，可能产生漏报，导致未能检测到摔倒事件。因此，基于姿态传感器的摔倒检测方法容易产生误报和漏报。

3、基于计算机视觉的方法利用摄像头捕捉视频数据，通过深度学习算法分析老年人的活动轨迹本文档来自技高网...

【技术保护点】

1.一种基于多模态数据融合的摔倒检测方法，其特征在于，包括：采集多模态数据，将多模态数据输入训练好的摔倒检测模型，得到检测结果；

2.根据权利要求1所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，多模态数据包括：音频数据和加速度数据；提取多模态特征包括：利用wav2vec 2.0模型根据音频数据提取音频特征，利用LSTM模型根据加速度数据提取加速度特征。

3.根据权利要求1所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，对多模态特征进行初步特征融合包括：通过线性变换和自适应归一化的方法将多模态特征对齐到同一特征空间，将对齐后的多模态特征进行初步特征...

【技术特征摘要】

1.一种基于多模态数据融合的摔倒检测方法，其特征在于，包括：采集多模态数据，将多模态数据输入训练好的摔倒检测模型，得到检测结果；

2.根据权利要求1所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，多模态数据包括：音频数据和加速度数据；提取多模态特征包括：利用wav2vec 2.0模型根据音频数据提取音频特征，利用lstm模型根据加速度数据提取加速度特征。

3.根据权利要求1所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，对多模态特征进行初步特征融合包括：通过线性变换和自适应归一化的方法将多模态特征对齐到同一特征空间，将对齐后的多模态特征进行初步特征融合，得到初步融合特征。

4.根据权利要求1所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，根据初步融合特征计算加权置信shapley值包括：

5.根据权利要求4所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，计算每个模态特征的证据置信函数包括：

6.根据权利要求4所述的一种基于多模态数据融合的摔倒检测方法，其特征在于，计算每个模态特征的置信sh...

【专利技术属性】
技术研发人员：刘亮，肖金凤，李显达，刘寰，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：