一种脑卒中病人康复训练专注度分析方法技术

本发明专利技术涉及康复训练技术领域，且公开了一种脑卒中病人康复训练专注度分析方法，包括以下步骤：步骤S1：构建脑卒中病人头部及面部图像数据集，采集资料，将采集到的视频利用OpenCV等工具进行人脸识别，进行相关处理；步骤S2：头部姿态估计，步骤S3：视线估计，步骤S4：专注度分析。该脑卒中病人康复训练专注度分析方法，通过采集脑卒中病人进行机器人辅助康复训练时的面部视频，识别视频中的人脸图像并逐帧截取出来，进行相关的图像增强、滤波等处理，构成脑卒中病人头部及面部数据集，将基于深度学习的头部姿态估计和视线估计方法引入脑卒中病人康复训练专注度研究中，在新建数据集上进行训练测试，并在公共数据集上做对比试验，并取得了良好的效果。并取得了良好的效果。并取得了良好的效果。

【技术实现步骤摘要】
一种脑卒中病人康复训练专注度分析方法


[0001]本专利技术涉及康复训练
，具体为一种脑卒中病人康复训练专注度分析方法。

技术介绍

[0002]近年来，脑卒中(又称“中风”、“脑血管意外”，是一种急性脑血管疾病)患者数量急剧增长，脑卒中致残率居高不下，已成为全球第二大致死疾病，已成为影响国计民生的重大公共卫生安全问题，脑卒中是导致肢体功能障碍的主要原因，患者常出现肢体、语言以及认知方面的障碍，约80％的脑卒中患者会出现上肢运动功能障碍，且4年后仍有50％的患者仍然存在运动功能障碍，其中只有三分之一的患者能恢复功能，脑卒中患者的肢体功能障碍严重的影响患者的日常生活、学习、工作等，给家庭和社会带来了很大的心理、经济负担。
[0003]运动康复训练现已被证实为是治疗肢体运动障碍最有效的方法，主要分为康复医师辅助和机器人辅助。康复医师辅助能够充分感知患者状态，根据经验施加适宜的手法，随时能和患者交流，更重要的是，医师能够通过与患者沟通交流，时刻鼓励患者，当发现患者没有主动参与时，调动其积极性，保证患者在康复训练中的积极参与，但其效果容易受到医师的水平、训练强度等影响，且需要一对一完成康复训练，医师资源严重不足；康复机器人辅助方法具有无疲劳、定量化、重复性、专一化的优点，一方面可提供大剂量、高重复的运动训练，保证辅助康复训练的重复性和强度，不受康复医师的水平和状态的影响，另一方面可提供客观即时的训练数据和评估数据，还可以结合虚拟技术、游戏等提高患者训练积极性，但是机器人辅助也存在不足之处：康复效率得不到保证，忽略了患者自身生理心理状态因素，更不能像康复医师一样与人“交流”，无法提供适宜的个性化训练处方。
[0004]经观察发现，脑卒中患者在进行机器人辅助康复训练时存在玩手机、观察其他方向等动作，患者很容易受到环境中元素的干扰，从而出现注意力不集中的情况，这使得患者不积极参与运动训练，而是被机器人带动做出被动训练，这使患者康复训练效果不能保证，影响患者康复过程，故脑卒中患者在进行机器人康复训练时的专注度情况成为了一个亟待研究的问题。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种脑卒中病人康复训练专注度分析方法，具备提高患者的恢复效果等优点，解决了脑卒中患者在进行机器人辅助康复训练时存在玩手机、观察其他方向等动作，患者很容易受到环境中元素的干扰，从而出现注意力不集中的情况，这使得患者不积极参与运动训练，而是被机器人带动做出被动训练的问题。
[0007](二)技术方案
[0008]为实现上述提高患者的恢复效果目的，本专利技术提供如下技术方案：一种脑卒中病人康复训练专注度分析方法，包括以下步骤：
[0009]步骤S1：构建脑卒中病人头部及面部图像数据集，采集资料，将采集到的视频利用OpenCV等工具进行人脸识别，定位到视频中的人脸后，以人脸为中心按帧截取出固定大小的图像，进行降噪处理；
[0010]步骤S2：头部姿态估计，用三个独立的全连接层分别预测偏航角、俯仰角及旋转角三个头部姿态角度，三个全连接层共享主干网络的卷积层，使用Softmax层和交叉熵损失函数；计算每个角度的均方误差以及均方误差损失，并结合前面所述的交叉熵损失，给予相应的回归系数，最终得到偏航角、俯仰角、旋转角的损失以及头部姿态预测值h；
[0011]步骤S3：视线估计，利用多模卷积神经网络进行外观视线估计方法；
[0012]步骤S31：将人脸检测和人脸关键点检测方法定位到输入图像中的眼部图像；
[0013]步骤S32：将眼部图像进行灰度处理后输入到LeNet卷积神经网络中，将全连接层和步骤S2中得到的头部角度预测值h连接起来，在头部姿态预测值h基础上得到视线角度预测值g；
[0014]步骤S4:专注度分析，按照视线预测结果和头部姿态预测结果的权重比值为6：4，对头部姿态预测值h和视线角度预测值g结果进行量化得到数值X，数值X为病人对采集样本的注意力集中制，分为低、中、高三个等级，若76≤X≤90，则采集样本的注意力高，若61≤X≤75，则采集样本的注意力中；若X<60，则采集样本的注意力低。
[0015]优选的，步骤S1中降噪包括图像增强、滤波、图像翻转等，构建脑卒中病人头部及面部图像数据集，并使用MPIIgaze数据集类似的方法做标注处理，得到处理后的图像共2250个，将训练集和验证集按4：1的比例划分。
[0016]优选的，步骤S1的构建过程为视频图像
‑
人脸识别
‑
人脸图像获取
‑
图像增强、滤波翻转
‑
标注信息
‑
划分数据集。
[0017]优选的，步骤S2中对主干网络进行优化，使用ResNet 18残差网络作为主干网络。
[0018]优选的，步骤S3：在步骤S2得到的头部姿态预测结果基础上，结合LeNet卷积神经网络，LeNet网络结构由两组卷积层和池化层以及全连接层组成。
[0019](三)有益效果
[0020]与现有技术相比，本专利技术提供了一种脑卒中病人康复训练专注度分析方法，具备以下有益效果：
[0021]该脑卒中病人康复训练专注度分析方法，通过采集脑卒中病人进行机器人辅助康复训练时的面部视频，识别视频中的人脸图像并逐帧截取出来，进行相关的图像增强、滤波等处理，构成脑卒中病人头部及面部数据集。将基于深度学习的头部姿态估计和视线估计方法引入脑卒中病人康复训练专注度研究中，在新建数据集上进行训练测试，并在公共数据集上做对比试验，并取得了良好的效果。
[0022]采用多模卷积神经网络的外观视线估计方法，结合步骤1中得到的头部姿态预测值h，使用LeNet经典CNN网络来预测学习从头部姿态和眼睛图像到摄像机坐标系中视线方向的映射。
[0023]根据头部姿态估计和视线估计结果，对头部姿态角度值、视线估计差值按数值等划分为不同的专注度等级，用于定量表征脑卒中患者康复训练专注度。
附图说明
[0024]图1为本专利技术提出的一种脑卒中病人康复训练专注度分析方法数据集构建过程示意图；
[0025]图2为本专利技术提出的一种脑卒中病人康复训练专注度分析方法无关键点头部姿态估计算法结构图示意图；
[0026]图3为本专利技术提出的一种脑卒中病人康复训练专注度分析方法视线估计流程示意图；
[0027]图4为本专利技术提出的一种脑卒中病人康复训练专注度分析方法步骤示意图；
具体实施方式
[0028]下面将结合本专利技术的实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]请参阅图1
‑
4，一种脑卒中病人康复训练专注度分析方法，包括以下步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脑卒中病人康复训练专注度分析方法，其特征在于，包括以下步骤：步骤S1：构建脑卒中病人头部及面部图像数据集，采集资料，将采集到的视频利用OpenCV等工具进行人脸识别，定位到视频中的人脸后，以人脸为中心按帧截取出固定大小的图像，进行降噪处理；步骤S2：头部姿态估计，用三个独立的全连接层分别预测偏航角、俯仰角及旋转角三个头部姿态角度，三个全连接层共享主干网络的卷积层，使用Softmax层和交叉熵损失函数；计算每个角度的均方误差以及均方误差损失，并结合前面所述的交叉熵损失，给予相应的回归系数，最终得到偏航角、俯仰角、旋转角的损失以及头部姿态预测值h；步骤S3：视线估计，利用多模卷积神经网络进行外观视线估计方法；步骤S31：将人脸检测和人脸关键点检测方法定位到输入图像中的眼部图像；步骤S32：将眼部图像进行灰度处理后输入到LeNet卷积神经网络中，将全连接层和步骤S2中得到的头部角度预测值h连接起来，在头部姿态预测值h基础上得到视线角度预测值g；步骤S4:专注度分析，按照视线预测结果和头部姿态预测结果的权重比值为6：4，对头部姿态预测值h和视线角度预测值g结果进行量化得到数值X，数值X为病人对采集样本的注意力集中制，分为低、中、高三个等级，若76≤X...

【专利技术属性】
技术研发人员：宋海洋，陆小锋，刘学锋，
申请(专利权)人：上海大学温州研究院，
类型：发明
国别省市：