【技术实现步骤摘要】
本专利技术涉及关节力矩计算方法，具体为一种基于强化学习智能体的下肢关节力矩计算方法。
技术介绍
1、关节力矩可以从生理学角度反映人体运动的具体信息，有利于计算肌肉力和内部关节间接触力，是分析下肢运动状态的关键参数。
2、强化学习（reinforcement learning，rl）已逐渐与肌肉骨骼模型结合以解决生物力学问题，例如：通过rl驱动msk模型进行下肢外骨骼双足行走及深蹲模拟训练；rl建立假肢与人体运动控制的联系；控制功能电刺激系统以辅助下肢运动。rl能够自主进行学习优化，其某个状态的最优值是通过对环境中的不同行为进行采样并观察随后的状态来估计并获得奖励。在连续运动过程中，由于其每个时间步的状态依赖于先前的状态，rl可以通过智能体不断从环境中进行实验，根据环境给予的反馈来不断优化状态-行为的对应关系，通过奖励期望的行为或惩罚不期望的行为来学习实现长期目标。
3、现有技术中通常根据测得的运动学、动力学和肌电图信号，采用逆动力学和hill型肌肉肌腱模型的肌肉骨骼（musculoskeletal，msk）模型估计关节力矩。应用逆动力学分析可以估计msk模型的关节力矩，但当外力测量不可用时，由于测量运动学的二阶微分将放大测量误差，因此估计的准确性会大大降低。基于emg驱动的msk模型预测下肢力矩时会受到emg中噪声的影响，虽然可以进行优化以调整emg激励信号或通过精确估计肌肉肌腱参数优化建模，但是应用场景受到限制。以上方法用于估计下肢关节力矩时在模拟精度、数据可用性和信号质量方面存在问题，不利于实现对完整
技术实现思路
1、1、本专利技术要解决的技术问题
2、本专利技术的目的在于提出一种基于强化学习智能体的下肢关节力矩计算方法以解决
技术介绍
中所提出的问题。
3、2、技术方案
4、为实现上述目的，本专利技术提供如下技术方案：
5、一种基于强化学习智能体的下肢关节力矩计算方法，包括以下步骤：
6、s1、下肢运动学/肌电信号(emg)数据采集：在下肢运动过程中，采用高速运动捕捉系统连续采集下肢髋、膝、踝三关节矢状面运动学参数；
7、s2、搭建强化学习(rl)智能体-环境交互架构：采用运动学驱动和肌电信号(emg)驱动的两种强化学习(rl)智能体，对驱动下肢运动所需的关节力矩进行估计；基于一个具有2个隐层，每个隐层128个单元的人工神经网络进行调整，设计运动学驱动/肌电信号(emg)驱动智能体策略并构建下肢关节力矩估计模型，依据估计得到的关节力矩生成下一个时间步长的模拟状态；
8、s3、强化学习(rl)奖励设置及模型训练：将每个智能体初始奖励设置为0；对于给定的时间步长，将模拟关节角和实测关节角之间的绝对误差与误差阈值进行比较，如果绝对关节角度差超过阈值，则事件重置为时间步长1，并且奖励重置为0；如果绝对关节差异小于阈值，则累积奖励；采用邻近策略优化算法更新每个智能体的最佳强化学习(rl)策略，当智能体能够完成整个训练数据集而不需要重置并且没有显著的奖励增加时，结束强化学习(rl)训练程序；
9、s4、运动过程中下肢关节力矩模型验证：将下肢运动学/肌电信号数据输入训练过的模型中以预测相应的关节力矩，使用交叉验证的方法对运动过程中下肢关节力矩估计模型进行验证。
10、优选地，s1中所述高速运动捕捉系统由7台红外高速摄像机组成，其采样频率为200 hz。
11、优选地，对于任意给定时刻 tn，s2中所述运动学驱动/肌电信号(emg)驱动强化学习(rl)智能体共接受27个输入，分别包括6个模拟输入和21个测量输入；所述模拟输入具体包括：当前时间 tn髋关节的关节角 α1及关节角速度 ω1、当前时间 tn膝关节的关节角 α2及关节角速度 ω2、当前时间 tn踝关节的关节角 α3和关节角速度 ω3、先前时间 tn-1的髋关节的关节角 α4和关节角速度 ω4、先前时间 tn-1的膝关节的关节角 α5和关节角速度 ω5、先前时间 tn-1的踝关节的关节角 α6和关节角速度 ω6；所述测量输入具体包括：当前时间 tn髋关节的关节测量角 β1、当前时间 tn膝关节的关节测量角 β2、当前时间 tn踝关节的关节测量角 β3、未来时间 tn+1髋关节的关节测量角 β4、未来时间 tn+1膝关节的关节测量角 β5、未来时间 tn+1踝关节的关节测量角 β6、未来时间 tn+2髋关节的关节测量角 β7、未来时间 tn+2膝关节的关节测量角 β8、未来时间 tn+2踝关节的关节测量角 β9、未来时间 tn+3髋关节的关节测量角 β10、未来时间 tn+3膝关节的关节测量角 β11、未来时间 tn+3踝关节的关节测量角 β12、未来时间 tn+4髋关节的关节测量角 β13、未来时间 tn+4膝关节的关节测量角 β14、未来时间 tn+4踝关节的关节测量角 β15、未来时间 tn+5髋关节的关节测量角 β16、未来时间 tn+5膝关节的关节测量角 β17、未来时间 tn+5踝关节的关节测量角 β18、未来时间本文档来自技高网...
【技术保护点】
1.一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，S1中所述高速运动捕捉系统由7台红外高速摄像机组成，其采样频率为200 Hz。
3.根据权利要求1所述的一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，对于任意给定时刻tn，S2中所述运动学驱动/肌电信号驱动强化学习智能体共接受27个输入，分别包括6个模拟输入和21个测量输入；所述模拟输入具体包括：当前时间tn髋关节的关节角α1及关节角速度ω1、当前时间tn膝关节的关节角α2及关节角速度ω2、当前时间tn踝关节的关节角α3和关节角速度ω3、先前时间tn-1的髋关节的关节角α4和关节角速度ω4、先前时间tn-1的膝关节的关节角α5和关节角速度ω5、先前时间tn-1的踝关节的关节角α6和关节角速度ω6；所述测量输入具体包括：当前时间tn髋关节的关节测量角β1、当前时间tn膝关节的关节测量角β2、当前时间tn踝关节的关节测量角β3、未来时间tn+1髋关节的关节测量角β4、未来时间tn+1膝关节的
4.根据权利要求1所述的一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，S3中所述累积奖励的方法为：
5.根据权利要求1所述的一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，所述S4具体包括如下内容：
...【技术特征摘要】
1.一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，s1中所述高速运动捕捉系统由7台红外高速摄像机组成，其采样频率为200 hz。
3.根据权利要求1所述的一种基于强化学习智能体的下肢关节力矩计算方法，其特征在于，对于任意给定时刻tn，s2中所述运动学驱动/肌电信号驱动强化学习智能体共接受27个输入，分别包括6个模拟输入和21个测量输入；所述模拟输入具体包括：当前时间tn髋关节的关节角α1及关节角速度ω1、当前时间tn膝关节的关节角α2及关节角速度ω2、当前时间tn踝关节的关节角α3和关节角速度ω3、先前时间tn-1的髋关节的关节角α4和关节角速度ω4、先前时间tn-1的膝关节的关节角α5和关节角速度ω5、先前时间tn-1的踝关节的关节角α6和关节角速度ω6；所述测量输入具体包括：当前时间tn髋关节的关节测量角β1、当前时间tn膝关节的关节测量角β2、当前时间tn踝关节的关节测量角β3、未来时间tn+1髋关节的关节测...
【专利技术属性】
技术研发人员：刘程林，林天奇，庞磊，刘玉洁，许博然，王艺静，李静依，吴宇航，
申请(专利权)人：首都体育学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。