基于多模态信息评估患者训练投入程度的方法及装置制造方法及图纸

本发明专利技术公开了一种基于多模态信息评估患者训练投入程度的方法及装置，其中，该方法包括：根据患者的肌电信号和运动速度计算患者的运动投入程度；根据患者眼睛的焦点位置与训练所使用的屏幕上的移动物体之间的距离计算患者的感知投入程度；根据患者额叶区的脑电信号计算患者的认知投入程度；根据患者的积极情感的持续时间和消极情感的持续时间计算患者的情感投入程度；根据运动投入程度、感知投入程度、认知投入程度和情感投入程度进行综合评估，得到患者训练投入程度。该方法基于运动、感知、认知、情感多模态信息来评估患者康复训练时的投入程度，弥补了量表法评价投入状态的主观性,使得评估结果更加客观、精确。

A method and device for evaluating patients' training input based on multimodal information

【技术实现步骤摘要】
基于多模态信息评估患者训练投入程度的方法及装置
本专利技术涉及康复评估
，特别涉及一种基于多模态信息评估患者训练投入程度的方法及装置。
技术介绍
脑卒中，是一种常见的脑血管血液循环障碍疾病。随着全球老龄化程度的不断加深和年轻人群生活压力大、生活不规律等问题的不断加重，脑卒中患者人数呈上升趋势。研究表明80％以上的患者通过康复训练能够恢复大部分运动功能，重新回归到生活工作中。但是康复训练重复的本质很容易使患者丧失兴趣、感到无聊，由于病情的影响患者本身心情压抑，不合适的训练处方、训练难度极有可能使其丧失信心，对康复训练产生厌烦的情绪，对康复效果产生极其不利的影响。因此评估患者在康复训练中的投入程度显得极为重要。康复投入程度是一个可以表征很多元素的变量，包含患者对康复训练的态度，患者对于训练任务要求的理解，语言或者动作上的训练提示的需求，训练中积极参与程度以及整个康复疗程的出勤率等。将康复中投入程度定义为由积极性驱使，并主动努力去参与到康复训练的状态，患者投入程度与单纯参加到训练中的不同体现在投入程度包含患者高程度的兴趣以及其跟随训练进程所做出的努力。现存的很多评价患者投入程度的方法，主要是基于使用量表或者间接的评价方法，评价不准确。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于多模态信息评估患者训练投入程度的方法，该方法基于运动、感知、认知、情感多模态信息来评估患者康复训练时的投入程度，弥补了量表法评价投入状态的主观性，使得评估结果更加客观、精确。本专利技术的另一个目的在于提出一种基于多模态信息评估患者训练投入程度的装置。为达到上述目的，本专利技术一方面实施例提出了一种基于多模态信息评估患者训练投入程度的方法，包括：采集患者的肌电信号和运动速度，根据所述肌电信号和所述运动速度计算患者的运动投入程度；采集训练过程中患者眼睛的焦点位置，根据所述患者眼睛的焦点位置与训练所使用的屏幕上的移动物体之间的距离计算患者的感知投入程度；采集患者额叶区的脑电信号，根据所述脑电信号计算患者的认知投入程度；采集患者训练过程中的面部表情图像，通过图像分析软件对所述面部表情图像中的情感进行提取识别，得到训练过程中患者的积极情感的持续时间和消极情感持续的时间，根据患者的积极情感的持续时间和消极情感的持续时间计算患者的情感投入程度；根据所述运动投入程度、所述感知投入程度、所述认知投入程度和所述情感投入程度进行综合评估，得到患者训练投入程度。本专利技术实施例的基于多模态信息评估患者训练投入程度的方法，基于运动、感知、认知、情感多模态信息来评估患者康复训练时的投入程度，弥补了量表法评价投入状态的主观性，使得评估结果更加客观、精确。有利于康复医师在康复训练过程中更改训练模式，让患者保持康复训练时较高的投入程度。另外，根据本专利技术上述实施例的基于多模态信息评估患者训练投入程度的方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述根据所述肌电信号和所述运动速度计算患者的运动投入程度，包括：根据所述肌电信号的均方根值与所述运动速度的比值计算患者的运动投入程度，公式为：Em＝EMGRms/v其中，Em为所述运动投入程度，EMGRms为一个运动周期内患者运动肢体的肌电信号均方根值，v为一个运动周期内患者运动的平均速度。进一步地，在本专利技术的一个实施例中，所述感知投入程度计算公式为：Ep＝d(gaze，screenchanges)其中，Ep为所述感知投入程度，gaze为所述患者眼睛的焦点位置，screenchanges为屏幕上的移动物体的位置。进一步地，在本专利技术的一个实施例中，所述根据所述脑电信号计算患者的认知投入程度，包括：对所述脑电信号进行分解得到患者额叶区的降低的alpha信号、升高的beta信号和升高的theta信号，根据所述降低的alpha信号、升高的beta信号和升高的theta信号的比值计算所述认知投入程度，具体公式为：其中，Ec为所述认知投入程度，α为额叶区升高的alpha信号，β为额叶区升高的beta信号，θ为额叶区升高的theta信号。进一步地，在本专利技术的一个实施例中，所述情感投入程度计算公式为：Ee＝Tpositive/Tnegative其中，Ee为所述情感投入程度，Tpositive为患者的积极情感为主要情感的持续时间，Tnegative为患者的消极情感为主要情感的持续时间。为达到上述目的，本专利技术另一方面实施例提出了一种基于多模态信息评估患者训练投入程度的装置，包括：第一计算模块，用于采集患者的肌电信号和运动速度，根据所述肌电信号和所述运动速度计算患者的运动投入程度；第二计算模块，用于采集训练过程中患者眼睛的焦点位置，根据所述患者眼睛的焦点位置与训练所使用的屏幕上的移动物体之间的距离计算患者的感知投入程度；第三计算模块，用于采集患者额叶区的脑电信号，根据所述脑电信号计算患者的认知投入程度；第四计算模块，用于采集患者训练过程中的面部表情图像，通过图像分析软件对所述面部表情图像中的情感进行提取识别，得到训练过程中患者的积极情感的持续时间和消极情感持续的时间，根据患者的积极情感的持续时间和消极情感的持续时间计算患者的情感投入程度；评估模块，用于根据所述运动投入程度、所述感知投入程度、所述认知投入程度和所述情感投入程度进行综合评估，得到患者训练投入程度。本专利技术实施例的基于多模态信息评估患者训练投入程度的装置，基于运动、感知、认知、情感多模态信息来评估患者康复训练时的投入程度，弥补了量表法评价投入状态的主观性，使得评估结果更加客观、精确。有利于康复医师在康复训练过程中更改训练模式，让患者保持康复训练时较高的投入程度。另外，根据本专利技术上述实施例的基于多模态信息评估患者训练投入程度的装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述第一计算模块，具体用于，根据所述肌电信号的均方根值与所述运动速度的比值计算患者的运动投入程度，公式为：Em＝EMGRms/v其中，Em为所述运动投入程度，EMGRms为一个运动周期内患者运动肢体的肌电信号均方根值，v为一个运动周期内患者运动的平均速度。进一步地，在本专利技术的一个实施例中，所述感知投入程度计算公式为：Ep＝d(gaze，screenchanges)其中，Ep为所述感知投入程度，gaze为所述患者眼睛的焦点位置，screenchanges为屏幕上的移动物体的位置。进一步地，在本专利技术的一个实施例中，所述根据所述脑电信号计算患者的认知投入程度，包括：对所述脑电信号进行分解得到患者额叶区的降低的alpha信号、升高的beta信号和升高的theta信号，根据所述降低的alpha信号、升高的beta信号和升高的theta信本文档来自技高网...

【技术保护点】
1.一种基于多模态信息评估患者训练投入程度的方法，其特征在于，包括以下步骤：/n采集患者的肌电信号和运动速度，根据所述肌电信号和所述运动速度计算患者的运动投入程度；/n采集训练过程中患者眼睛的焦点位置，根据所述患者眼睛的焦点位置与训练所使用的屏幕上的移动物体之间的距离计算患者的感知投入程度；/n采集患者额叶区的脑电信号，根据所述脑电信号计算患者的认知投入程度；/n采集患者训练过程中的面部表情图像，通过图像分析软件对所述面部表情图像中的情感进行提取识别，得到训练过程中患者的积极情感的持续时间和消极情感持续的时间，根据患者的积极情感的持续时间和消极情感的持续时间计算患者的情感投入程度；/n根据所述运动投入程度、所述感知投入程度、所述认知投入程度和所述情感投入程度进行综合评估，得到患者训练投入程度。/n

【技术特征摘要】
1.一种基于多模态信息评估患者训练投入程度的方法，其特征在于，包括以下步骤：
采集患者的肌电信号和运动速度，根据所述肌电信号和所述运动速度计算患者的运动投入程度；
采集训练过程中患者眼睛的焦点位置，根据所述患者眼睛的焦点位置与训练所使用的屏幕上的移动物体之间的距离计算患者的感知投入程度；
采集患者额叶区的脑电信号，根据所述脑电信号计算患者的认知投入程度；
采集患者训练过程中的面部表情图像，通过图像分析软件对所述面部表情图像中的情感进行提取识别，得到训练过程中患者的积极情感的持续时间和消极情感持续的时间，根据患者的积极情感的持续时间和消极情感的持续时间计算患者的情感投入程度；
根据所述运动投入程度、所述感知投入程度、所述认知投入程度和所述情感投入程度进行综合评估，得到患者训练投入程度。


2.根据权利要求1所述的基于多模态信息评估患者训练投入程度的方法，其特征在于，所述根据所述肌电信号和所述运动速度计算患者的运动投入程度，包括：根据所述肌电信号的均方根值与所述运动速度的比值计算患者的运动投入程度，公式为：
Em＝EMGRms/v
其中，Em为所述运动投入程度，EMGRms为一个运动周期内患者运动肢体的肌电信号均方根值，v为一个运动周期内患者运动的平均速度。


3.根据权利要求1所述的基于多模态信息评估患者训练投入程度的方法，其特征在于，所述感知投入程度计算公式为：
Ep＝d(gaze，screenchanges)
其中，Ep为所述感知投入程度，gaze为所述患者眼睛的焦点位置，screenchanges为屏幕上的移动物体的位置。


4.根据权利要求1所述的基于多模态信息评估患者训练投入程度的方法，其特征在于，所述根据所述脑电信号计算患者的认知投入程度，包括：
对所述脑电信号进行分解得到患者额叶区的降低的alpha信号、升高的beta信号和升高的theta信号，根据所述降低的alpha信号、升高的beta信号和升高的theta信号的比值计算所述认知投入程度，具体公式为：



其中，Ec为所述认知投入程度，α为额叶区升高的alpha信号，β为额叶区升高的beta信号，θ为额叶区升高的theta信号。


5.根据权利要求1所述的基于多模态信息评估患者训练投入程度的方法，其特征在于，所述情感投入程度计算公式为：
Ee＝Tpositive/Tnegative
其中，Ee为所述情感投入程度，Tpositive为患者的积极情感为主要情感的持续时间，Tnegative为患者的消极情感为主要情感的持续时间。


6.一种基于多...

【专利技术属性】
技术研发人员：季林红，李翀，钱超，贾天宇，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11