基于多尺度时空分解卷积网络的上肢康复动作识别方法技术

本申请公开了一种基于多尺度时空分解卷积网络的上肢康复动作识别方法，包括：对上肢康复动作进行采集，获得若干样本视频数据；基于各所述样本视频数据进行视频帧采样，获得若干样本视频帧序列；对各所述样本视频帧序列分别进行混合数据增强处理，获得若干处理后的样本视频帧序列；基于各所述处理后的样本视频帧序列对初始多尺度时空分解卷积网络模型进行模型训练，获得目标多尺度时空分解卷积网络模型；基于所述目标多尺度时空分解卷积网络模型对待识别的目标视频数据进行动作识别，获得动作识别结果。本申请中的方法能够快速、准确地对待识别的目标视频数据进行动作识别，提高了动作识别的效率以及准确度。动作识别的效率以及准确度。动作识别的效率以及准确度。

【技术实现步骤摘要】
基于多尺度时空分解卷积网络的上肢康复动作识别方法


[0001]本专利技术涉及镜像康复训练
，特别涉及一种基于多尺度时空分解卷积网络的上肢康复动作识别方法。

技术介绍

[0002]脑卒中是严重危害人类健康的重大慢性心血管疾病，其中70%
‑
80%的脑卒中患者因不同程度的上肢运动功能障碍严重影响生活质量。大量研究表明双侧协调镜像训练是当前脑卒中上肢康复中为数不多的关注健患侧肢体协同训练的方法之一，通过视错觉、视觉、幻觉反馈以及虚拟现实，刺激患者镜像神经元，促进上肢运动功能康复。
[0003]随着机器人技术和人机交互技术的发展，脑卒中患者可以通过人机交互借助康复机器人进行双侧协调镜像训练以恢复运动机能。双侧协调镜像训练的关键在于使用动作识别算法对患者健肢侧的上肢康复动作进行准确识别，进而控制康复机器人的带动患肢进行“镜像”运动。
[0004]然而，目前基于计算机视觉的动作意图识别主要存在如下问题：通过摄像头采集患者上肢康复动作的时，易受外界环境因素干扰，而且采集的动作类内之间存在差异性，进而造成动作意图识别不准确。
[0005]由此，亟需一种康复动作识别方法，以解决现有技术中在上肢双侧协调镜像训练过程中，动作识别不够准确的问题。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种基于多尺度时空分解卷积网络的上肢康复动作识别方法、装置、存储介质及电子设备，主要目的在于解决目前上肢双侧协调镜像训练过程中，动作识别不够准确的问题。
[0007]为解决上述问题，本申请提供一种基于多尺度时空分解卷积网络的上肢康复动作识别方法，包括：对上肢康复动作进行采集，获得若干样本视频数据；基于各所述样本视频数据进行视频帧采样，获得若干样本视频帧序列；对各所述样本视频帧序列分别进行混合数据增强处理，获得若干处理后的样本视频帧序列；基于各所述处理后的样本视频帧序列对初始多尺度时空分解卷积网络模型进行模型训练，获得目标多尺度时空分解卷积网络模型；基于所述目标多尺度时空分解卷积网络模型对待识别的目标视频数据进行动作识别，获得动作识别结果。
[0008]可选的，所述对上肢康复动作进行采集，获得若干样本视频数据，具体包括：根据上肢运动康复标准和Fugl
‑
Meyer运动功能评估量表的上肢板块结合脑卒中日常康复训练动作，设计上肢康复动作集；
基于摄像机采集不同性别以及不同年龄的用户执行所述上肢康复动作集的视频图像，以获得所述若干样本视频数据。
[0009]可选的，所述基于各所述样本视频数据进行视频帧采样，获得若干样本视频帧序列，具体包括：基于预设的滑动窗口采用滑动间隔采样的方式，分别对各所述样本视频帧数据进行视频帧采样，以获得所述若干样本视频帧序列。
[0010]可选的，对各所述样本视频帧序列分别进行混合数据增强处理，获得若干处理后的样本视频帧，具体包括：基于随机光度增强、随机噪声以及随机几何变换，按照随机顺序，依次对各样本视频帧序列进行数据增强处理，以获得与各样本视频帧序列对应的处理后的样本视频帧序列；其中，所述随机光度增强包括如下任意一种或几种：随机亮度、随机对比度、随机饱和度以及随机色调；所述随机噪声包括：椒盐噪声或高斯噪声；所述随机几何变换包括如下任意一种或几种：随机裁剪、随机旋转以及随机反转。
[0011]可选的，所述初始多尺度时空分解卷积网络模型依次包括：初始第一时空分解卷积层、初始第一池化层、初始第二时空分解卷积层、初始第三时空分解卷积层、初始第二池化层、初始第一时域多尺度卷积层、初始第三池化层、初始第二时域多尺度卷积层、初始第四池化层、初始第三时域多尺度卷积层以及初始第五池化层；所述基于各所述处理后的样本视频帧序列对初始多尺度时空分解卷积网络模型进行模型训练，获得目标多尺度时空分解卷积网络模型，具体包括：依次基于初始第一时空分解卷积层、初始第一池化层、初始第二时空分解卷积层、初始第三时空分解卷积层、初始第二池化层、初始第一时域多尺度卷积层、初始第三池化层、初始第二时域多尺度卷积层、初始第四池化层、初始第三时域多尺度卷积层以及初始第五池化层对各所述样本视频帧序列进行特征提取处理，获得与各样本视频帧序列对应的第一目标特征向量；基于各所述第一目标特征向量获得与各样本视频帧序列对应的第一动作识别结果；基于各所述样本视频帧序列的第一动作识别结果以及各所述样本视频帧序列对应的动作标签，分别对所述初始第一时空分解卷积层、初始第一池化层、初始第二时空分解卷积层、初始第三时空分解卷积层、初始第二池化层、初始第一时域多尺度卷积层、初始第三池化层、初始第二时域多尺度卷积层、初始第四池化层、初始第三时域多尺度卷积层以及初始第五池化层中的参数进行调整，获得目标第一时空分解卷积层、目标第一池化层、目标第二时空分解卷积层、目标第三时空分解卷积层、目标第二池化层、目标第一时域多尺度卷积层、目标第三池化层、目标第二时域多尺度卷积层、目标第四池化层、目标第三时域多尺度卷积层以及目标第五池化层，以获得所述目标多尺度时空分解卷积网络模型。
[0012]可选的，所述上肢康复动作集包括如下任意一种或几种康复动作：上肢摸高、喝水、肩部水平外展、梳头、肩部屈曲、肘部屈曲、肘关节屈、提裤。
[0013]为解决上述问题，本申请提供一种基于多尺度时空分解卷积网络的上肢康复动作
识别装置，包括：动作采集模块，用于对上肢康复动作进行采集，获得若干样本视频数据；采样模块，用于基于各所述样本视频数据进行视频帧采样，获得若干样本视频帧序列；数据增强模块，用于对各所述样本视频帧序列分别进行混合数据增强处理，获得若干处理后的样本视频帧序列；训练模块，用于基于各所述处理后的样本视频帧序列对初始多尺度时空分解卷积网络模型进行模型训练，获得目标多尺度时空分解卷积网络模型；识别模块，用于基于所述目标多尺度时空分解卷积网络模型对待识别的目标视频数据进行动作识别，获得动作识别结果。
[0014]可选的，所述动作采集模块具体用于：根据上肢运动康复标准和Fugl
‑
Meyer运动功能评估量表的上肢板块结合脑卒中日常康复训练动作，设计上肢康复动作集；基于摄像机采集不同性别以及不同年龄的用户执行所述上肢康复动作集的视频图像，以获得所述若干样本视频数据。
[0015]为解决上述问题，本申请提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述基于多尺度时空分解卷积网络的上肢康复动作识别方法的步骤。
[0016]为解决上述问题，本申请提供一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述任一项所述基于多尺度时空分解卷积网络的上肢康复动作识别方法的步骤。
[0017]本申请中的基于多尺度时空分解卷积网络的上肢康复动作识别方法、装置、存储介质及电子设备，通过对样本视频数据进行视频帧采样，可以过滤掉视频帧间的冗余信息，同时提供充足的样本视频帧，有利于后续基于各样本视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度时空分解卷积网络的上肢康复动作识别方法，其特征在于，包括：对上肢康复动作进行采集，获得若干样本视频数据；基于各所述样本视频数据进行视频帧采样，获得若干样本视频帧序列；对各所述样本视频帧序列分别进行混合数据增强处理，获得若干处理后的样本视频帧序列；基于各所述处理后的样本视频帧序列对初始多尺度时空分解卷积网络模型进行模型训练，获得目标多尺度时空分解卷积网络模型；基于所述目标多尺度时空分解卷积网络模型对待识别的目标视频数据进行动作识别，获得动作识别结果。2.如权利要求1所述的方法，其特征在于，所述对上肢康复动作进行采集，获得若干样本视频数据，具体包括：根据上肢运动康复标准和Fugl
‑
Meyer运动功能评估量表的上肢板块结合脑卒中日常康复训练动作，设计上肢康复动作集；基于摄像机采集不同性别以及不同年龄的用户执行所述上肢康复动作集的视频图像，以获得所述若干样本视频数据。3.如权利要求1所述的方法，其特征在于，所述基于各所述样本视频数据进行视频帧采样，获得若干样本视频帧序列，具体包括：基于预设的滑动窗口采用滑动间隔采样的方式，分别对各所述样本视频帧数据进行视频帧采样，以获得所述若干样本视频帧序列。4.如权利要求1所述的方法，其特征在于，对各所述样本视频帧序列分别进行混合数据增强处理，获得若干处理后的样本视频帧，具体包括：基于随机光度增强、随机噪声以及随机几何变换，按照随机顺序，依次对各样本视频帧序列进行数据增强处理，以获得与各样本视频帧序列对应的处理后的样本视频帧序列；其中，所述随机光度增强包括如下任意一种或几种：随机亮度、随机对比度、随机饱和度以及随机色调；所述随机噪声包括：椒盐噪声或高斯噪声；所述随机几何变换包括如下任意一种或几种：随机裁剪、随机旋转以及随机反转。5.如权利要求1所述的方法，其特征在于，所述初始多尺度时空分解卷积网络模型依次包括：初始第一时空分解卷积层、初始第一池化层、初始第二时空分解卷积层、初始第三时空分解卷积层、初始第二池化层、初始第一时域多尺度卷积层、初始第三池化层、初始第二时域多尺度卷积层、初始第四池化层、初始第三时域多尺度卷积层以及初始第五池化层；所述基于各所述处理后的样本视频帧序列对初始多尺度时空分解卷积网络模型进行模型训练，获得目标多尺度时空分解卷积网络模型，具体包括：依次基于初始第一时空分解卷积层、初始第一池化层、初始第二时空分解卷积层、初始第三时空分解卷积层、初始第二池化层、初始第一时域多尺度卷积层、初始第三池化层、初始第二时域多尺度卷积层、初始第四池化层、初始第三时域多尺度卷积层以及初始第五池化层对各所述样本视频帧序列进行特征提...

【专利技术属性】
技术研发人员：李醒，孙悦超，王建辉，朱宇轩，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：