基于多尺度时空分解卷积网络的上肢康复动作识别方法技术

本申请公开了一种基于多尺度时空分解卷积网络的上肢康复动作识别方法，包括：对上肢康复动作进行采集，获得若干样本视频数据；基于各所述样本视频数据进行视频帧采样，获得若干样本视频帧序列；对各所述样本视频帧序列分别进行混合数据增强处理，获得若干处理后的样本视频帧序列；基于各所述处理后的样本视频帧序列对初始多尺度时空分解卷积网络模型进行模型训练，获得目标多尺度时空分解卷积网络模型；基于所述目标多尺度时空分解卷积网络模型对待识别的目标视频数据进行动作识别，获得动作识别结果。本申请中的方法能够快速、准确地对待识别的目标视频数据进行动作识别，提高了动作识别的效率以及准确度。动作识别的效率以及准确度。动作识别的效率以及准确度。

【技术实现步骤摘要】
基于多尺度时空分解卷积网络的上肢康复动作识别方法


[0001]本专利技术涉及镜像康复训练
，特别涉及一种基于多尺度时空分解卷积网络的上肢康复动作识别方法。

技术介绍

[0002]脑卒中是严重危害人类健康的重大慢性心血管疾病，其中70%
‑
80%的脑卒中患者因不同程度的上肢运动功能障碍严重影响生活质量。大量研究表明双侧协调镜像训练是当前脑卒中上肢康复中为数不多的关注健患侧肢体协同训练的方法之一，通过视错觉、视觉、幻觉反馈以及虚拟现实，刺激患者镜像神经元，促进上肢运动功能康复。
[0003]随着机器人技术和人机交互技术的发展，脑卒中患者可以通过人机交互借助康复机器人进行双侧协调镜像训练以恢复运动机能。双侧协调镜像训练的关键在于使用动作识别算法对患者健肢侧的上肢康复动作进行准确识别，进而控制康复机器人的带动患肢进行“镜像”运动。
[0004]然而，目前基于计算机视觉的动作意图识别主要存在如下问题：通过摄像头采集患者上肢康复动作的时，易受外界环境因素干扰，而且采集的动作类内之间存在差异性，进而造成动作意图识别不准本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度时空分解卷积网络的上肢康复动作识别方法，其特征在于，包括：对上肢康复动作进行采集，获得若干样本视频数据；基于各所述样本视频数据进行视频帧采样，获得若干样本视频帧序列；对各所述样本视频帧序列分别进行混合数据增强处理，获得若干处理后的样本视频帧序列；基于各所述处理后的样本视频帧序列对初始多尺度时空分解卷积网络模型进行模型训练，获得目标多尺度时空分解卷积网络模型；基于所述目标多尺度时空分解卷积网络模型对待识别的目标视频数据进行动作识别，获得动作识别结果。2.如权利要求1所述的方法，其特征在于，所述对上肢康复动作进行采集，获得若干样本视频数据，具体包括：根据上肢运动康复标准和Fugl
‑
Meyer运动功能评估量表的上肢板块结合脑卒中日常康复训练动作，设计上肢康复动作集；基于摄像机采集不同性别以及不同年龄的用户执行所述上肢康复动作集的视频图像，以获得所述若干样本视频数据。3.如权利要求1所述的方法，其特征在于，所述基于各所述样本视频数据进行视频帧采样，获得若干样本视频帧序列，具体包括：基于预设的滑动窗口采用滑动间隔采样的方式，分别对各所述样本视频帧数据进行视频帧采样，以获得所述若干样本视频帧序列。4.如权利要求1所述的方法，其特征在于，对各所述样本视频帧序列分别进行混合数据增强处理，获得若干处理后的样本视频帧，具体包括：基于随机光度增强、随机噪声以及随机几何变换，按照随机顺序，依次对各样本视频帧序列进行数据增强处理，以获得与各样本视频帧序列对应的处理后的样本视频帧序列；其中，所述随机光度增强包括如下任意一种或几种：随机亮度、随机对比度、随机饱和度以及随机色调；所述随机噪声包括：椒盐噪声或高斯噪声；所述随机几何变换包括如下任意一种或几种：随机裁剪、随机旋转以及随机反转。5.如权利要求1所述的方法，其特征在于，所述初始多尺度时空分解卷积网络模型依次包括：初始第一时空分解卷积层、初始第一池化层、初始第二时空分解卷积层、初始第三时空分解卷积层、初始第二池化层、初始第一时域多尺度卷积层、初始第三池化层、初始第二时域多尺度卷积层、初始第四池化层、初始第三时域多尺度卷积层以及初始第五池化层；所述基于各所述处理后的样本视频帧序列对初始多尺度时空分解卷积网络模型进行模型训练，获得目标多尺度时空分解卷积网络模型，具体包括：依次基于初始第一时空分解卷积层、初始第一池化层、初始第二时空分解卷积层、初始第三时空分解卷积层、初始第二池化层、初始第一时域多尺度卷积层、初始第三池化层、初始第二时域多尺度卷积层、初始第四池化层、初始第三时域多尺度卷积层以及初始第五池化层对各所述样本视频帧序列进行特征提...

【专利技术属性】
技术研发人员：李醒，孙悦超，王建辉，朱宇轩，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：