基于融合手势识别的失语症患者辅助康复训练系统及方法技术方案

本发明专利技术提供一种基于融合手势识别的失语症患者辅助康复训练系统，包括：嵌入式计算平台：包括物体检测和手势识别单元、康复训练与用户交互单元和训练结果评估单元；场景摄像头；用户监控摄像头；显示屏：用于显示前端交互界面并与使用者进行交互；语音模块：用于合成并播放训练指令语音；外部电源：用于整套训练系统的供电；所述嵌入式计算平台分别与场景摄像头、用户监控摄像头、语音模块、显示器和外部电源连接。本发明专利技术还提供一种基于融合手势识别的失语症患者辅助康复训练方法，该训练系统及方法具有良好的贴近患者现实生活的能力和部署的方便性，极大地满足了日益增长的失语症康复训练需求，提高了失语症患者人群的康复训练效果。

Assisted rehabilitation training system and method for aphasia patients based on gesture recognition

【技术实现步骤摘要】
基于融合手势识别的失语症患者辅助康复训练系统及方法
本专利技术涉及计算机视觉与康复医学
，更具体地说，涉及一种基于融合手势识别的失语症患者辅助康复训练系统及方法。
技术介绍
近年来，随着计算机科学技术的发展，在新的智能技术方法深度学习的巨大推动下，人工智能的各项技术，譬如语音识别技术、图像识别技术、数据挖掘技术等都有了实质性的发展并且成功地应用在多项产品中。深度学习是目前计算机视觉领域研究的重点和热点，也是解决复杂环境问题中常用的方法之一。计算机视觉作为人类科学技术发展历史上的一个里程碑，对智能技术的发展起到举足轻重的作用，毋庸置疑地受到了学术界以及工业界的广泛关注。在现有的深度学习方法中，神经网络在目标检测方面取得了很好的成果。目前，在市面上出现的计算机辅助失语症患者康复训练系统，主要还是将传统训练项目的内容制作成训练题库，通过医生辅助患者答题并评分的形式完成康复训练，训练题目枯燥单一，使得许多患者没有进行康复训练的兴趣；此外，市面上并没有家用辅助训练系统出现，训练过程需要在专门的康复治疗科室中进行，并且由医师主导，对众多有康复本文档来自技高网...

【技术保护点】
1.一种基于融合手势识别的失语症患者辅助康复训练系统，其特征在于：包括：/n嵌入式计算平台：用于部署本系统的软件，并包括物体检测和手势识别单元、康复训练与用户交互单元和训练结果评估单元；/n场景摄像头：用于采集场景RGB图像输入到嵌入式计算平台；/n用户监控摄像头：用于采集用户手势RGB图像及输入到嵌入式计算平台；/n显示屏：用于显示前端交互界面并与使用者进行交互；/n语音模块：用于合成并播放训练指令语音；/n外部电源：用于整套训练系统的供电；/n所述嵌入式计算平台分别与场景摄像头、用户监控摄像头、语音模块、显示器和外部电源连接；/n所述物体检测和手势识别单元为：使用整理的数据集对Yolov2...

【技术特征摘要】
1.一种基于融合手势识别的失语症患者辅助康复训练系统，其特征在于：包括：
嵌入式计算平台：用于部署本系统的软件，并包括物体检测和手势识别单元、康复训练与用户交互单元和训练结果评估单元；
场景摄像头：用于采集场景RGB图像输入到嵌入式计算平台；
用户监控摄像头：用于采集用户手势RGB图像及输入到嵌入式计算平台；
显示屏：用于显示前端交互界面并与使用者进行交互；
语音模块：用于合成并播放训练指令语音；
外部电源：用于整套训练系统的供电；
所述嵌入式计算平台分别与场景摄像头、用户监控摄像头、语音模块、显示器和外部电源连接；
所述物体检测和手势识别单元为：使用整理的数据集对Yolov2卷积神经网络进行训练，得到训练好的Yolov2卷积神经网络，通过训练好的Yolov2卷积神经网络实现康复训练场景中的目标检测以供训练内容提取，以及实现患者手势的识别；
所述康复训练与用户交互单元为：处理物体检测和手势识别单元识别结果和用户数据，从现实场景中提取并智能生成康复训练计划和康复训练内容，其包括训练计划生成模块、训练内容生成模块、训练过程维持模块和用户交互模块。


2.根据权利要求1所述的基于融合手势识别的失语症患者辅助康复训练系统，其特征在于：所述训练结果评估单元为：利用训练过程维持模块获取的训练时间、配合专家决策判断患者训练效果。


3.根据权利要求1所述的基于融合手势识别的失语症患者辅助康复训练系统，其特征在于：所述训练计划生成模块为：负责患者的康复训练计划的生成和后续处理；所述训练内容生成模块为：负责动态生成训练内容；所述训练过程维持模块为：用于训练过程的引导和监督。


4.一种基于融合手势识别的失语症患者辅助康复训练方法，其特征在于：包括以下步骤：
S101，确定康复训练计划后，开启一个训练周期：首先从场景摄像头获取场景图像，输入Yolov2卷积神经网络，则获得场景中的目标物体类别和位置信息，融合颜色信息后输入随机森林获得康复训练内容输出；通过用户交互模块向患者传达训练指令；如果Yolov2卷积神经网络的输出不足以生成训练内容，则重复步骤S101；
S102，确定训练内容后，在训练周期中，不断从用户监控摄像头中获取图像，并输入Yolov2卷积神经网络中，获得患者的手势信息和患者周边的物体类别和位置信息与本训练周期的训练指令相匹配；如果训练内容为发音训练，则从语音模块获取识别到患者发音的词汇内容，匹配发音指令，判断患者的指令执行情况；
S103，如果患者发音错误、动作错误或移动的物品错误导致无法完成训练指令，则重复训练指令若干次，直到达到重复次数上限，视该条训练内容为不成功，训练周期结束，开启新的训练周期，重复S101；
在步骤S101前，使用整理的数据集对Yolov2卷积神经网络进行训练，得到训练好的Yolov2卷积神经网络。


5.根据权利要求4所述的基于融合手势识别的失语症患者辅助康复训练方法，其特征在于：步骤S101中，所述确定康复训练计划后，开启一个训练周期：首先从场景摄像头获取场景图像，输入Yolov2卷积神经网络，则获得场景中的目标物体类别和位置信息，融合颜色信息后输入随机森林获得康复训练内容输出是指：按照训练计划，选择相应的训练数据库，将训练计划转换为特征和属性{Fn,an}，作为训练内容生成算法的输入I1；
当进行命名和听理解训练计划时，使用Yolov2卷积神经网络检测场景中的物体，选取合适的物体信息生成训练内容，从Yolov2卷积神经网络识别结果到训练内容，包括以下步骤：
第一步，在一个检测周期内统计Yolov2卷积神经网络的识别结果按概率排序，得到概率最高的类别与其最终位置ROI，经过颜色统计，空间距离推算方法结合类别固有特征转换为n维特征和属性{Fn,an}向量；
第二步，将特征和属性{Fn,an}作为生成算法的输入I2；
第三步，将I1和I2组合输入到决策树/随机森林中进行分类，经过多个决策树分类并投票得到给定输入条件下的决策结果D。


6.根据权利要求5所述的基于融合手势识别的失语症患者辅助康复训练方法，其特征在于：所述训练内容生成算法采用随机森林分类算法，将目标检测得到的物体类别、位置信息以及预先选定的训练计划参数以特征的形式输入到随机森林中进行分类得到最终的训练内容，利用少量的训练数据即可生成鲁棒性能较高的决策树，并通过对决策树分类结果投票决定给定输入条件下的生成结果，具体包括以下步骤：
S6.1，将现有的训练内容数据库作为样本数据，采用ID3方法，从数据库的N个样本中随机且有放回地选取个数据生成森林中的每一棵树；每棵树都尽最大程度生成，不需要剪枝；
S6.2计算森林中所有树的特征在各自树上的重要程度，统计得到该特征在整个森林中的重要程度，将所有特征按照重要程度进行排序，去除森林中重要程度低的部分特征，得到新的特征集，重复步骤S6.1重新生成森林，此过程成为迭代；
S6.3，进行多次迭代，使用套外误差率OOB评价套外样本在森林中的误差率，从多次迭代得到的森林中选择套外误差率最小的森林作为最终的分类模型。


7.根据权利...

【专利技术属性】
技术研发人员：孙鑫宇，彭文杰，康文雄，梁景麟，赵冠懿，赵文彬，杨振华，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44