跨场景可泛化的深度学习跌倒检测方法、终端及存储介质技术

本发明专利技术公开了一种跨场景可泛化的深度学习跌倒检测方法、终端及存储介质，方法包括：获取跌倒视频数据集，并提取跌倒视频数据集中的目标动作帧的数据，得到跌倒检测骨骼点数据集；根据跌倒检测骨骼点数据集和约束网络进行跨场景训练迁移，得到训练后的跌倒检测模型；根据训练后的跌倒检测模型对视频流进行跌倒检测，并输出跌倒检测结果；本发明专利技术提出新的迁移学习中领域自适应的方法，提高用RGB视频跌倒检测中跨场景迁移检测的能力。倒检测中跨场景迁移检测的能力。倒检测中跨场景迁移检测的能力。

【技术实现步骤摘要】
跨场景可泛化的深度学习跌倒检测方法、终端及存储介质


[0001]本专利技术涉及迁移学习自适应
，尤其涉及的是跨场景可泛化的深度学习跌倒检测方法、终端及存储介质。

技术介绍

[0002]由于出生率的下降和预期寿命的增加，人口老龄化已成为全世界的共同问题。老龄化总是与身体、感觉和认知障碍等功能的减少有关，这增加了跌倒的风险。跌倒是全世界老年人严重受伤的主要原因，阻碍了他们舒适和独立的生活。在大多数情况下，跌倒事件本身并不威胁生命。但是在混乱的环境中跌倒会导致脑震荡、出血和其他严重的健康风险，从而导致不幸的死亡。因此，及时检测跌倒事件的发生有重大意义。
[0003]根据用于采集真实场景的系统传感器数量，跌倒检测的系统可以分为两类：基于单传感器的系统和基于多传感器的系统。基于单个传感器的系统依靠单个传感器或单个模块进行数据采集，系统使用单一传感器或模块进行数据采集，然后对收集的数据进行处理并将其传递给检测技术，主要是加速计、陀螺仪、深度相机、雷达或Wi
‑
Fi。基于多传感器的系统依赖于多个传感器来捕捉真实场景，通常依靠传感器的融合，如陀螺仪、加速计和深度相机用于数据采集目的，对从多个传感器收集的数据进行不同的处理，然后用于基于阈值的算法或用于检测的机器学习模型。
[0004]虽然，现今的跌倒检测技术都能实现很高的准确率，但是许多方法面临隐私伦理问题，并且基本都是针对特定场景的检测方法，很少有对跨场景跌倒检测的研究；同时，针对机器学习模型，在现有的深度学习框架内，模型都在训练端进行学习。一旦训练好之后，模型在测试端或者网络推断过程中固定不变，不再修改更新。这样，在测试现场，模型没有自动适应的能力，从而导致可泛化性问题。
[0005]因此，现有技术还有待改进。

技术实现思路

[0006]本专利技术要解决的技术问题在于，针对现有技术缺陷，本专利技术提供一种跨场景可泛化的深度学习跌倒检测方法、终端及存储介质，以解决传统的深度学习的跌倒检测方式可泛化性低的技术问题。
[0007]本专利技术解决技术问题所采用的技术方案如下：
[0008]第一方面，本专利技术提供一种跨场景可泛化的深度学习跌倒检测方法，包括：
[0009]获取跌倒视频数据集，并提取所述跌倒视频数据集中的目标动作帧的数据，得到跌倒检测骨骼点数据集；
[0010]根据所述跌倒检测骨骼点数据集和约束网络进行跨场景训练迁移，得到训练后的跌倒检测模型；
[0011]根据所述训练后的跌倒检测模型对视频流进行跌倒检测，并输出跌倒检测结果。
[0012]在一种实现方式中，所述获取跌倒视频数据集，并提取所述跌倒视频数据集中的
目标动作帧的数据，得到跌倒检测骨骼点数据集，包括：
[0013]获取所述跌倒视频数据集，并通过人体姿态估计模块得到所述跌倒视频数据集中的骨骼点数据；
[0014]提取所述骨骼点数据中的目标动作帧的数据，并通过骨骼点修复网络对所述目标动作帧的数据进行修复，得到所述跌倒检测骨骼点数据集。
[0015]在一种实现方式中，所述获取所述跌倒视频数据集，并通过人体姿态估计模块得到所述跌倒视频数据集中的骨骼点数据，包括：
[0016]获取所述跌倒视频数据集；其中，所述跌倒视频数据集包括：模拟跌倒数据集、NTU数据集以及Le2iFall数据集中的一种或组合；
[0017]通过MediaPipe框架中的人体姿态估计模块得到所述跌倒视频数据集中的骨骼点数据。
[0018]在一种实现方式中，所述提取所述骨骼点数据中的目标动作帧的数据，并通过骨骼点修复网络对所述目标动作帧的数据进行修复，得到所述跌倒检测骨骼点数据集，包括：
[0019]提取所述骨骼点数据中的目标动作帧的数据；其中，所述目标动作帧的数据包括：摔倒数据、走路数据、下蹲数据以及坐下数据中的一种或组合；
[0020]对所述目标动作帧的数据添加模拟抖动漂移的噪声，并通过去噪自编码器对所述目标动作帧的数据进行修复，得到所述跌倒检测骨骼点数据集。
[0021]在一种实现方式中，所述根据所述跌倒检测骨骼点数据集和约束网络进行跨场景训练迁移，得到训练后的跌倒检测模型，包括：
[0022]确定源场景a对应的特征提取器a；
[0023]确定目标场景i对应的特征提取器i和分类器，并根据信息最大化算法和梯度一致性算法确定约束网络Φ
C
；
[0024]根据所述特征提取器a和所述跌倒检测骨骼点数据集，对所述特征提取器i、所述分类器以及所述约束网络Φ
C
进行跨场景训练迁移，得到所述训练后的跌倒检测模型。
[0025]在一种实现方式中，所述根据信息最大化算法和梯度一致性算法确定约束网络Φ
C
，包括：
[0026]根据所述信息最大化算法和所述梯度一致性算法调整反向传播的梯度，得到所述约束网络Φ
C
。
[0027]在一种实现方式中，所述根据所述特征提取器a和所述跌倒检测骨骼点数据集，对所述特征提取器i、所述分类器以及所述约束网络Φ
C
进行跨场景训练迁移，得到所述训练后的跌倒检测模型，包括：
[0028]根据所述特征提取器a对所述特征提取器i进行权重初始化；
[0029]冻结所述分类器和所述约束网络Φ
C
的模型参数，通过所述约束网络Φ
C
对所述特征提取器i提取的特征进行分析评估；
[0030]通过所述约束网络Φ
C
反向传播的梯度更新所述特征提取器i，训练完成后得到适应所述目标场景i的跌倒检测模型。
[0031]在一种实现方式中，所述根据所述训练后的跌倒检测模型对视频流进行跌倒检测，并输出跌倒检测结果，包括：
[0032]将所述视频流通过MediaPipe框架中的人体姿态估计模块和骨骼点修复网络，并
进行归一化处理；
[0033]通过LSTM得到特征，并通过全连接层进行跌倒分类，输出所述跌倒检测结果。
[0034]第二方面，本专利技术还提供一种终端，包括：处理器以及存储器，所述存储器存储有跨场景可泛化的深度学习跌倒检测程序，所述跨场景可泛化的深度学习跌倒检测程序被所述处理器执行时用于实现如第一方面所述的跨场景可泛化的深度学习跌倒检测方法的操作。
[0035]第三方面，本专利技术还提供一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有跨场景可泛化的深度学习跌倒检测程序，所述跨场景可泛化的深度学习跌倒检测程序被处理器执行时用于实现如第一方面所述的跨场景可泛化的深度学习跌倒检测方法的操作。
[0036]本专利技术采用上述技术方案具有以下效果：
[0037]本专利技术通过获取跌倒视频数据集，并提取跌倒视频数据集中的目标动作帧的数据，可以得到跌倒检测骨骼点数据集，从而保护用户的隐私；并且，根据跌倒检测骨骼点数据集和约束网络进行跨场景训练迁移，得到训练后的跌倒检测模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨场景可泛化的深度学习跌倒检测方法，其特征在于，包括：获取跌倒视频数据集，并提取所述跌倒视频数据集中的目标动作帧的数据，得到跌倒检测骨骼点数据集；根据所述跌倒检测骨骼点数据集和约束网络进行跨场景训练迁移，得到训练后的跌倒检测模型；根据所述训练后的跌倒检测模型对视频流进行跌倒检测，并输出跌倒检测结果。2.根据权利要求1所述的跨场景可泛化的深度学习跌倒检测方法，其特征在于，所述获取跌倒视频数据集，并提取所述跌倒视频数据集中的目标动作帧的数据，得到跌倒检测骨骼点数据集，包括：获取所述跌倒视频数据集，并通过人体姿态估计模块得到所述跌倒视频数据集中的骨骼点数据；提取所述骨骼点数据中的目标动作帧的数据，并通过骨骼点修复网络对所述目标动作帧的数据进行修复，得到所述跌倒检测骨骼点数据集。3.根据权利要求2所述的跨场景可泛化的深度学习跌倒检测方法，其特征在于，所述获取所述跌倒视频数据集，并通过人体姿态估计模块得到所述跌倒视频数据集中的骨骼点数据，包括：获取所述跌倒视频数据集；其中，所述跌倒视频数据集包括：模拟跌倒数据集、NTU数据集以及Le2iFall数据集中的一种或组合；通过MediaPipe框架中的人体姿态估计模块得到所述跌倒视频数据集中的骨骼点数据。4.根据权利要求2所述的跨场景可泛化的深度学习跌倒检测方法，其特征在于，所述提取所述骨骼点数据中的目标动作帧的数据，并通过骨骼点修复网络对所述目标动作帧的数据进行修复，得到所述跌倒检测骨骼点数据集，包括：提取所述骨骼点数据中的目标动作帧的数据；其中，所述目标动作帧的数据包括：摔倒数据、走路数据、下蹲数据以及坐下数据中的一种或组合；对所述目标动作帧的数据添加模拟抖动漂移的噪声，并通过去噪自编码器对所述目标动作帧的数据进行修复，得到所述跌倒检测骨骼点数据集。5.根据权利要求1所述的跨场景可泛化的深度学习跌倒检测方法，其特征在于，所述根据所述跌倒检测骨骼点数据集和约束网络进行跨场景训练迁移，得到训练后的跌倒检测模型，包括：确定源场景a对应的特征提取器a；确定目标场景i对应的特征提取器i和分类器，并根据信息最大化算法和梯度一致性算法确定约束网络Φ
C
；根据所述特征提取器a和所述跌倒检测骨骼点数据集，对所述...

【专利技术属性】
技术研发人员：何志海，陈庆南，欧阳健，吴昊，
申请(专利权)人：南方科技大学，
类型：发明
国别省市：