一种基于强化学习智能体的下肢关节力矩计算方法技术

本发明专利技术公开了一种基于强化学习智能体的下肢关节力矩计算方法，属于关节力矩计算方法技术领域。本发明专利技术构建了基于测量的运动学驱动和肌电驱动的强化学习智能体模型，能够用于估计连续输出的下肢关节力矩，允许在运动任务期间连续估计关节力矩输出；与使用瞬时时间步长和精确运动学测量的基于牛顿定律的标准逆动力学相比，运动学驱动的智能体通过使用未来时间步长和误差阈值内的运动学范围来预测关节力矩，提供了一种从运动学获得关节力矩而不使用外力测量的创新方法；肌电信号(EMG)驱动智能体预测关节力矩时可以接受更好的肌电信号(EMG)误差容限和传感器可扩展性。

【技术实现步骤摘要】

本专利技术涉及关节力矩计算方法，具体为一种基于强化学习智能体的下肢关节力矩计算方法。

技术介绍

1、关节力矩可以从生理学角度反映人体运动的具体信息，有利于计算肌肉力和内部关节间接触力，是分析下肢运动状态的关键参数。

2、强化学习（reinforcement learning，rl）已逐渐与肌肉骨骼模型结合以解决生物力学问题，例如：通过rl驱动msk模型进行下肢外骨骼双足行走及深蹲模拟训练；rl建立假肢与人体运动控制的联系；控制功能电刺激系统以辅助下肢运动。rl能够自主进行学习优化，其某个状态的最优值是通过对环境中的不同行为进行采样并观察随后的状态来估计并获得奖励。在连续运动过程中，由于其每个时间步的状态依赖于先前的状态，rl可以通过智能体不断从环境中进行实验，根据环境给予的反馈来不断优化状态-行为的对应关系，通过奖励期望的行为或惩罚不期望的行为来学习实现长期目标。

3、现有技术中通常根据测得的运动学、动力学和肌电图信号，采用逆动力学和hill型肌肉肌腱模型的肌肉骨骼（musculoskeletal，msk）模型估计关节力矩。应用逆动本文档来自技高网...

【技术保护点】

1.一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，S1中所述高速运动捕捉系统由7台红外高速摄像机组成，其采样频率为200 Hz。

3.根据权利要求1所述的一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，对于任意给定时刻tn，S2中所述运动学驱动/肌电信号驱动强化学习智能体共接受27个输入，分别包括6个模拟输入和21个测量输入；所述模拟输入具体包括：当前时间tn髋关节的关节角α1及关节角速度ω1、当前时间tn膝关节的关节角α2及关节角速度ω2、当前...

【技术特征摘要】

1.一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，s1中所述高速运动捕捉系统由7台红外高速摄像机组成，其采样频率为200 hz。

3.根据权利要求1所述的一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，对于任意给定时刻tn，s2中所述运动学驱动/肌电信号驱动强化学习智能体共接受27个输入，分别包括6个模拟输入和21个测量输入；所述模拟输入具体包括：当前时间tn髋关节的关节角α1及关节角速度ω1、当前时间tn膝关节的关节角α2及关节角速度ω2、当前时间tn踝关节的关节角α3和关节角速度ω3、先前时间tn-1的髋关节的关节角α4和关节角速度ω4、先前时间tn-1的膝关节的关节角α5和关节角速度ω5、先前时间tn-1的踝关节的关节角α6和关节角速度ω6；所述测量输入具体包括：当前时间tn髋关节的关节测量角β1、当前时间tn膝关节的关节测量角β2、当前时间tn踝关节的关节测量角β3、未来时间tn+1髋关节的关节测...

【专利技术属性】
技术研发人员：刘程林，林天奇，庞磊，刘玉洁，许博然，王艺静，李静依，吴宇航，
申请(专利权)人：首都体育学院，
类型：发明
国别省市：