辅助康复训练方法、系统、设备以及存储介质技术方案

本发明专利技术提供了一种爱茨海默症患者的辅助康复训练方法、系统、设备以及存储介质，包括：获取用户手指康复训练运动时的手部运动视频，在所述手部运动视频中提取手部运动的关键帧图像；在每一所述关键帧图像中提取手部的多个关键点，并生成对应的所述关键点序列；根据所述关键点序列识别出对应的标准关键点序列，将每一所述关键点序列中关键点与所述标准关键点序列中的关键点进行比对，生成手部姿态的标准度；将标准度低于预设置阈值的关键帧图像提取生成错误手势图像，根据所述错误手势图像与对应的标准图像生成训练指导信息。本发明专利技术能够实时得出使用者的手势动作评估情况，便于使用者的能够针对性的训练。者的能够针对性的训练。者的能够针对性的训练。

【技术实现步骤摘要】
辅助康复训练方法、系统、设备以及存储介质


[0001]本专利技术涉及计算机视觉与医疗康复，具体地，涉及一种爱茨海默症患者的辅助康复训练方法、系统、设备以及存储介质。

技术介绍

[0002]随着计算机硬件算力的提升，依托大数据时代，深度学习展现了强大的数据处理和学习能力。在深度学习的推动下，人工智能的各项技术，譬如语音识别技术、图像识别技术、数据挖掘技术等都有了实质性的发展并且成功地应用在多项产品中。在计算机视觉领域，深度学习已经成为各项研究的重点和热点，也是解决复杂环境问题中常用的方法之一。计算机视觉作为人类科学技术发展历史上的一个里程碑，对智能技术的发展起到举足轻重的作用，毋庸置疑地受到了学术界以及工业界的广泛关注。在现有的深度学习方法中，卷积神经网络凭借其自身优势在姿态识别领域取得了很好的成果。
[0003]在医疗康复领域，目前还是依靠康复护师或是患者家属辅助患者进行康复训练。纯人工的康复训练不仅耗时耗力，训练过程十分枯燥，加之老年患者身体条件的特殊性需要辅助训练人员全程陪同，不论是对患者还是辅助康复训练者都是一项挑战。传统的手势识别利用可穿戴式设备实现其功能，穿戴设备使用繁琐、操作不便，无法提供舒适、愉悦的使用感。且使用过程中需要专业人员全程参与，使用者无法直观看到自己的训练效果。当前利用计算机视觉技术辅助爱茨海默症患者进行康复训练的智能系统尚未成熟，主要原因之一是虽然目前应用在医疗康复领域的技术预警出现，但是依托于深度学习的智能交互系统很少，相关研究较少。其二是受限于计算机技术，深度学习计算量大往往依托于云端计算。随着技术的发展，目前已经有嵌入式计算平台可移植卷积神经网络，使得在嵌入式计算设备中部署卷积神经网络成为可能。

技术实现思路

[0004]针对现有技术中的缺陷，本专利技术的目的是提供一种爱茨海默症患者的辅助康复训练方法、系统、设备以及存储介质。
[0005]根据本专利技术提供的爱茨海默症患者的辅助康复训练方法，包括如下步骤：
[0006]步骤S1：获取用户手指康复训练运动时的手部运动视频，在所述手部运动视频中提取手部运动的关键帧图像；
[0007]步骤S2：在每一所述关键帧图像中提取手部的多个关键点，并生成对应的所述关键点序列；
[0008]步骤S3：根据所述关键点序列识别出对应的标准关键点序列，将每一所述关键点序列中关键点与所述标准关键点序列中的关键点进行比对，生成手部姿态的标准度；
[0009]步骤S4：将标准度低于预设置阈值的关键帧图像提取生成错误手势图像，根据所述错误手势图像与对应的标准图像生成训练指导信息。
[0010]优选地，在步骤S1之前还包括如下步骤：
[0011]‑
获取用户的待评估手势图像，所述待评估手势为用户根据展示出的预存储的标准手势进行模仿做成的手势；
[0012]‑
在所述待评估手势图像中提取手部的多个三维关键点，每一所述三维关键点包括三维坐标；
[0013]‑
根据多个三维关键点计算出手指弯曲度，根据所述手指弯曲度计推荐不同的手势康复训练操曲目。
[0014]优选地，所述关键帧图像至少包括：
[0015]‑
手势起点图像；
[0016]‑
手势终点图像；
[0017]‑
位于手势起点图像、手势终点图像之间的根据预设置的间隔时间提取的手势姿态图像。
[0018]优选地，所述步骤S2包括如下步骤：
[0019]步骤S201：获取基于卷积神经网络的手势姿态识别模型；
[0020]步骤S202：将每一所述关键帧图像输入到所述手势姿态识别模型进行识别，提取出所述手部的关键点；
[0021]步骤S203：提取每一所述关键帧图的关键点，生成每一关键点的坐标。
[0022]优选地，所述步骤S3包括如下步骤：
[0023]步骤S301：根据所述关键点序列进行动作识别确定对应的标准动作类别，根据所述标准动作类别确定对应的标准关键点序列；
[0024]步骤S302：将所述关键点序列与标准关键点序列一一比对，并生成相对应的两个关键点之间的距离；
[0025]步骤S303：根据所有相对应的两个关键点之间的距离生成用于评价所述关键帧图像中手部姿态与对应的所述标准图像偏差中手部姿态的标准度。
[0026]优选地，所述步骤S4包括如下步骤：
[0027]步骤S401：将标准度低于预设置阈值的关键帧图像提取出生成错误手势图像；
[0028]步骤S402：根据所述错误手势图像和对应标准图像中相对应关键点之间的距离生成点位移动方向；
[0029]步骤S403：根据多个所述点位移动方向生成所述训练指导信息。
[0030]优选地，还包括如下步骤：
[0031]步骤S5：根据所述标准图像将多个所述关键帧图像分为多个动作组，每个动作组至少包括手势起点图像和手势终点图像；
[0032]步骤S6：根据每个动作组中的手势起点图像和手势终点图像，确定该动作组的完成时间，根据多个动作组的完成时间和所述标准图像对应的标准时间进行比对确定动作的连贯性值。
[0033]优选地，训练所述手势姿态识别模型时，包括如下步骤：
[0034]步骤M1：获取多张手势姿态图像，在所述手势姿态图像上标注出关键点，将标注后的根据所述手势姿态图像分为训练图像集和测试图像集；
[0035]步骤M2：将所述训练图像集输入卷积神经网络模型进行训练生成所述手势姿态识别模型；
[0036]步骤M3：根据所述测试图像集对所述手势姿态识别模型进行测试确定并保存所述手势姿态识别模型的最优参数。
[0037]根据本专利技术提供的爱茨海默症患者的辅助康复训练系统，包括如下模块：
[0038]关键帧提取模块，用于获取用户手指康复训练运动时的手部运动视频，在所述手部运动视频中提取手部运动的关键帧图像；
[0039]关键点提取模块，用于在每一所述关键帧图像中提取手部的多个关键点，并生成对应的所述关键点序列；
[0040]标准度生成模块，用于根据所述关键点序列识别出对应的标准关键点序列，将每一所述关键点序列中关键点与所述标准关键点序列中的关键点进行比对，生成手部姿态的标准度；
[0041]指导信息生成模块，用于将标准度低于预设置阈值的关键帧图像提取生成错误手势图像，根据所述错误手势图像与对应的标准图像生成训练指导信息。
[0042]根据本专利技术提供的爱茨海默症患者的辅助康复训练设备，包括：
[0043]处理器；
[0044]存储器模块，其中存储有所述处理器的可执行指令；
[0045]其中，所述处理器配置为经由执行所述可执行指令来执行所述的爱茨海默症患者的辅助康复训练方法的步骤。
[0046]根据本专利技术提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的爱茨海默症患者的辅助康复训练方法的步骤。
[0047]与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种爱茨海默症患者的辅助康复训练方法，其特征在于，包括如下步骤：步骤S1：获取用户手指康复训练运动时的手部运动视频，在所述手部运动视频中提取手部运动的关键帧图像；步骤S2：在每一所述关键帧图像中提取手部的多个关键点，并生成对应的所述关键点序列；步骤S3：根据所述关键点序列识别出对应的标准关键点序列，将每一所述关键点序列中关键点与所述标准关键点序列中的关键点进行比对，生成手部姿态的标准度；步骤S4：将标准度低于预设置阈值的关键帧图像提取生成错误手势图像，根据所述错误手势图像与对应的标准图像生成训练指导信息。2.根据权利要求1所述的爱茨海默症患者的辅助康复训练方法，其特征在于，在步骤S1之前还包括如下步骤：
‑
获取用户的待评估手势图像，所述待评估手势为用户根据展示出的预存储的标准手势进行模仿做成的手势；
‑
在所述待评估手势图像中提取手部的多个三维关键点，每一所述三维关键点包括三维坐标；
‑
根据多个三维关键点计算出手指弯曲度，根据所述手指弯曲度计推荐不同的手势康复训练操曲目。3.根据权利要求1所述的爱茨海默症患者的辅助康复训练方法，其特征在于，所述步骤S2包括如下步骤：步骤S201：获取基于卷积神经网络的手势姿态识别模型；步骤S202：将每一所述关键帧图像输入到所述手势姿态识别模型进行识别，提取出所述手部的关键点；步骤S203：提取每一所述关键帧图的关键点，生成每一关键点的坐标。4.根据权利要求1所述的爱茨海默症患者的辅助康复训练方法，其特征在于，所述步骤S3包括如下步骤：步骤S301：根据所述关键点序列进行动作识别确定对应的标准动作类别，根据所述标准动作类别确定对应的标准关键点序列；步骤S302：将所述关键点序列与标准关键点序列一一比对，并生成相对应的两个关键点之间的距离；步骤S303：根据所有相对应的两个关键点之间的距离生成用于评价所述关键帧图像中手部姿态与对应的所述标准图像偏差中手部姿态的标准度。5.根据权利要求1所述的爱茨海默症患者的辅助康复训练方法，其特征在于，所述步骤S4包括如下步骤：步骤S401：将标准度低于预设置阈值的关键帧图像提取出生成错误手势图像...

【专利技术属性】
技术研发人员：黄龙祥，孙晓静，汪博，朱力，吕方璐，
申请(专利权)人：深圳市光鉴科技有限公司，
类型：发明
国别省市：