基于深度强化学习的康复训练处方自适应推荐方法及系统技术方案

本发明专利技术提供基于深度强化学习的康复训练处方自适应推荐方法及系统。方法包括：1)收集患者基本信息和病历信息；2)获取患者不同脑区的脑皮层血氧数据和患者患肢的运动和肌电数据；3)利用脑血氧数据计算患者运动康复训练过程中脑功能评价指标，利用运动数据和肌电数据计算患者运动康复训练过程中运动功能评价指标和肌肉功能评价指标，以动态评估患者的脑功能、运动功能和肌肉功能；4)将步骤3)得到的脑功能、运动功能和肌肉功能评价指标输入预先建立的深度强化学习模型，以训练深度强化学习模型并自动生成康复训练处方；5)将步骤4)生成的康复训练处方反馈给医生和患者进行康复训练。利用该方法和系统，能够实现训练处方的自适应调节。

【技术实现步骤摘要】
基于深度强化学习的康复训练处方自适应推荐方法及系统
本专利技术涉及肢体运动康复训练领域，特别涉及一种基于深度强化学习的康复训练处方自适应推荐方法及系统。
技术介绍
我国每年新增脑卒中患者200多万人，而且呈逐年上升趋势，其中，55-75％的脑卒中患者表现出运动功能障碍。同时，脑瘫、脑外伤等引起的脑功能损伤也会导致肢体运动功能障碍，给患者及其家庭、社会带来了沉重的负担。康复训练是恢复患者运动功能的最重要手段。但无论是传统的人工康复训练还是基于康复训练机器人的康复训练，针对患者的不同情况制定个性化的康复训练处方是保障训练效果的重要条件。但目前康复训练处方只能由医生根据患者的评估结果开具，很大程度上依赖于医生的经验。并且，患者的功能评估一般只是在不同的康复阶段进行几次定期的评估，因此训练处方的更新也取决于评估的周期，导致训练处方的更新可能跟不上患者的康复进程，难以提高康复效率。人工智能的发展使得康复训练机器人能够利用多种传感信息在患者训练过程中进行实时的功能评估，解决了人工评估周期长的问题，但是仍然需要医生根据评估结果进行处方的调整，频繁的调整处方无疑会大大增加医生的工作量。另一方面，患者在康复训练中的主动参与、疲劳程度等也会对训练效果产生重要的影响，在主动参与程度低以及疲劳状态下的训练效率往往是低效的，而人工调整训练处方难以做到单次训练过程中根据患者状态进行及时调整，一定程度上造成训练治疗资源的浪费。
技术实现思路
基于上述问题，本专利技术的目的是提供一种基于深度强化学习的康复训练处方自适应推荐方法及系统，根据患者的近红外脑氧、运动、肌电等信息进行脑功能和运动功能的实时评估，将各种病历信息及功能评估指标输入到预先建立的深度强化学习模型进行学习，根据患者功能状态自适应推荐康复训练处方。本专利技术的一个方面提供一种基于深度强化学习的康复训练处方自适应推荐方法，其中，该方法包括以下步骤：1)收集患者基本信息以及病历信息；2)利用近红外脑血氧监测设备获取患者不同脑区的脑皮层血氧数据，并且获得患者患肢的运动数据和肌电数据；3)利用脑血氧数据计算得到患者运动康复训练过程中的脑功能评价指标，利用运动数据和肌电数据计算得到患者运动康复训练过程中的运动功能评价指标和肌肉功能评价指标，以动态评估患者的脑功能、运动功能和肌肉功能；4)将步骤3)得到的脑功能、运动功能和肌肉功能评价指标输入到预先建立的深度强化学习模型，以训练深度强化学习模型并自动生成康复训练处方；5)将步骤4)生成的康复训练处方反馈给医生和患者进行康复训练。根据一个实施例，以上步骤4)中的深度强化学习模型的训练包括根据患者的基本信息和病历信息，以脑功能、运动功能和肌肉功能评价指标作为状态，以康复训练处方作为动作，以采用当前的康复训练处方进行训练后的功能改善情况作为奖赏，来训练深度强化学习模型，并在训练过程中引入康复训练处方知识库中的先验知识，加速学习模型的训练。根据一个实施例，以上步骤4)中的深度强化学习模型可以包含预先输入的大量患者病历信息、功能评估指标、医生开具的训练处方为基础的康复训练处方知识库，利用知识库中的先验知识辅助进行模型的训练。根据另一个实施例，以上步骤4)中的深度强化学习模型可以以患者的脑功能、运动功能和肌肉功能评价指标作为状态，以康复训练处方作为动作，并且以采用当前的处方进行训练后的功能改善情况作为奖赏，进行强化学习。在一个实施例中，可以将以上步骤3)生成的脑功能、运动功能和肌肉功能评价指标和步骤4)生成的康复训练处方实时增加到深度强化学习模型的知识库中，不断扩充知识库。在一个实施例中，将步骤3)得到的脑功能评价指标、运动功能评价指标以及肌肉功能评价指标输入到训练好的深度强化学习模型，经模型计算输出各康复训练处方中包含的不同类别或等级的Q值，将Q值最高的处方项组合，自动生成康复训练处方，其中Q值为对应动作优劣的数值化表示。在另一个实施例中，利用以上步骤2)得到的脑血氧参数数据和肌电数据可以进一步分析得到患者训练过程中的大脑和肌肉的主动参与度和疲劳程度，并且步骤4)中的深度强化学习模型能够根据患者的主动参与度和疲劳程度来来调整训练处方。根据一个优选实施例，可以以不同脑区的激活程度和不同肌肉肌电信号的幅值信息反映大脑和肌肉的主动参与度，可以以肌电信号的平均功率频率、中值频率等频域信息反映患者肌肉的疲劳程度。根据另一个优选实施例，以上步骤4)中的深度强化学习模型的训练可以包括首先初始化经验池和网络权重，输入病历和各功能评价指标的状态参数，并且如果当前状态不能匹配到先验知识库中的特征状态，则根据选择的学习策略选取训练处方；如果当期状态能够匹配到先验知识库中的特征状态，则根据先验动作Q值和预估动作Q值综合判断输出训练处方，并将这些信息存入经验池，重复以上步骤训练网络，每次训练后自动更新网络权重以修正网络，其中所选择的学习策略例如为ε-greedy策略。根据另一个实施例，可以将以上步骤3)生成的评价指标和以上步骤4)生成的康复训练处方实时增加到深度强化学习模型的知识库中，以扩充知识库。根据本专利技术的另一方面，提供一种基于深度强化学习的康复训练处方自适应推荐系统，包括：人机交互模块，用于接收患者的基本信息和病例信息并且管理预先存储的康复训练知识库；近红外脑血氧信息采集模块，用于采集患者相应脑区的近红外脑血氧信号，并将采集到的近红外脑血氧信号传输至评估分析模块；运动及生理数据采集模块，用于采集患者肢体运动过程中的运动信号和表面肌电信号，并将这些信号传输至评估分析模块；评估分析模块，用于根据从近红外脑血氧采集模块传输的近红外脑血氧信号以及从运动及生理数据采集模块传输的运动信号和表面肌电信号，计算得到患者不同脑区的脑功能评价指标以及运动功能评价指标；以及智能学习与处方推荐模块，用于根据人机交互模块中的患者病历信息以及评估分析模块得到的患者脑功能和运动功能评价指标进行智能学习，以输出康复训练处方，并通过人机交互模块反馈给医生和患者。根据一个实施例，智能学习与处方推荐模块可以包含预先建立的康复训练处方知识库和深度强化学习模型，其中康复训练处方知识库允许通过人机交互模块中所包括的知识库管理模块进行修改、增加内容。根据另一个实施例，评估分析模块可以以不同脑区的激活程度和不同肌肉肌电信号的幅值信息反映大脑和肌肉的主动参与度，通过计算肌电信号的平均功率频率、中值频率等频域信息反映患者肌肉的疲劳程度。本专利技术还提供一种基于深度强化学习的康复训练处方自适应推荐方法，该方法包括以下步骤：1)录入患者性别、年龄、病史等基本信息以及病因、脑损伤情况、发病时间、初始功能水平、病程等病历信息，包括原始的影像、化验等医学检查数据和初始评估数据。2)利用近红外脑血氧监测设备获取患者运动训练过程中运动区、前额叶等不同脑区的脑皮层血氧数据，包括局部氧合血红蛋白浓度、脱氧血红蛋白浓度、血氧饱和度等。利用惯性传感器、表面肌电传感器等获得患本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的康复训练处方自适应推荐方法，其中，该方法包括以下步骤：/n1)收集患者基本信息以及病历信息；/n2)获取患者不同脑区的脑皮层血氧数据，并且获得患者患肢的运动数据和肌电数据；/n3)利用脑血氧数据计算得到患者运动康复训练过程中的脑功能评价指标，利用运动数据和肌电数据计算得到患者运动康复训练过程中的运动功能评价指标和肌肉功能评价指标，以动态评估患者的脑功能、运动功能和肌肉功能；/n4)将步骤3)得到的脑功能、运动功能和肌肉功能评价指标输入到预先建立的深度强化学习模型，以训练深度强化学习模型并自动生成康复训练处方；/n5)将步骤4)生成的康复训练处方反馈给医生和患者进行康复训练。/n

【技术特征摘要】
1.一种基于深度强化学习的康复训练处方自适应推荐方法，其中，该方法包括以下步骤：
1)收集患者基本信息以及病历信息；
2)获取患者不同脑区的脑皮层血氧数据，并且获得患者患肢的运动数据和肌电数据；
3)利用脑血氧数据计算得到患者运动康复训练过程中的脑功能评价指标，利用运动数据和肌电数据计算得到患者运动康复训练过程中的运动功能评价指标和肌肉功能评价指标，以动态评估患者的脑功能、运动功能和肌肉功能；
4)将步骤3)得到的脑功能、运动功能和肌肉功能评价指标输入到预先建立的深度强化学习模型，以训练深度强化学习模型并自动生成康复训练处方；
5)将步骤4)生成的康复训练处方反馈给医生和患者进行康复训练。


2.根据权利要求1所述的基于深度强化学习的康复训练处方自适应推荐方法，其中，步骤4)中的深度强化学习模型的训练包括根据患者的基本信息和病历信息，以脑功能、运动功能和肌肉功能评价指标作为状态，以康复训练处方作为动作，以采用当前的康复训练处方进行训练后的功能改善情况作为奖赏，来训练深度强化学习模型，并在训练过程中引入康复训练处方知识库中的先验知识，加速学习模型的训练。


3.根据权利要求1所述的基于深度强化学习的康复训练处方自适应推荐方法，其中，将步骤3)得到的脑功能评价指标、运动功能评价指标以及肌肉功能评价指标输入到训练好的深度强化学习模型，经模型计算输出各康复训练处方中包含的不同类别或等级的Q值，将Q值最高的处方项组合，自动生成康复训练处方，其中Q值为对应动作优劣的数值化表示。


4.根据权利要求1所述的基于深度强化学习的康复训练处方自适应推荐方法，其中，利用步骤2)得到的脑血氧参数数据和肌电数据进一步分析得到患者训练过程中的大脑和肌肉的主动参与度和疲劳程度，并且步骤4)中的深度强化学习模型能够根据患者的主动参与度和疲劳程度来来调整训练处方。


5.根据权利要求4所述的基于深度强化学习的康复训练处方自适应推荐方法，其中，以不同脑区的激活程度和不同肌肉肌电信号的幅值信息反映大脑和肌肉的主动参与...

【专利技术属性】
技术研发人员：张腾宇，李增勇，徐功铖，李艳梅，霍聪聪，谢晖，
申请(专利权)人：国家康复辅具研究中心，
类型：发明
国别省市：北京;11