摔倒自恢复学习方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种摔倒自恢复学习方法、装置、电子设备及存储介质，该方法涉及机器人技术领域，包括：获取机器人的第一姿态信息；第一姿态信息包括第一旋转角度信息和第一关节角度信息；将第一旋转角度信息和第一关节角度信息输入至摔倒恢复学习模型，得到摔倒恢复学习模型输出的第一动作；基于第一动作和第一动作对应的预设动作，确定机器人的目标动作；预设动作用于表示预设策略中与第一动作对应的动作；预设策略包括机器人由摔倒状态恢复至站立状态所执行的动作序列。本发明专利技术提供的方法，实现了机器人摔倒自恢复至站立状态的强化学习过程，缩短了摔倒恢复学习模型的训练时间，提升了机器人摔倒自恢复的学习效率。升了机器人摔倒自恢复的学习效率。升了机器人摔倒自恢复的学习效率。

【技术实现步骤摘要】
摔倒自恢复学习方法、装置、电子设备及存储介质


[0001]本专利技术涉及机器人
，尤其涉及一种摔倒自恢复学习方法、装置、电子设备及存储介质。

技术介绍

[0002]随着机器人技术的发展，人们对机器人各方面的需求不断提高，而四足机器人作为腿足式机器人的一类机器人，对四足机器人摔倒自恢复的研究是一项研究热点。
[0003]相关技术中，四足机器人摔倒自恢复方法主要依赖于深度神经网络的强化学习方法，将四足机器人的姿态信息和关节角信息输入至深度神经网络，得到深度神经网络输出的动作，将该动作直接发送至四足机器人，使得四足机器人执行该动作；重复进行上述内容，对深度神经网络进行训练。然而，基于深度神经网络的强化学习方法直接对四足机器人进行训练，存在训练时间比较长、学习效果比较差的缺陷。

技术实现思路

[0004]本专利技术提供一种摔倒自恢复学习方法、装置、电子设备及存储介质，用以解决现有技术中训练时间比较长、学习效果比较差的缺陷，实现较短时间完成训练，且学习效果比较好。
[0005]本专利技术提供一种摔倒自恢复学习方法，所述方法包括：
[0006]获取机器人的第一姿态信息；所述第一姿态信息包括第一旋转角度信息和第一关节角度信息；所述第一旋转角度信息用于表示所述机器人当前姿态对应的旋转角度；所述第一关节角度信息用于表示所述机器人当前姿态每条腿的至少一个关节对应的关节角度；
[0007]将所述第一旋转角度信息和所述第一关节角度信息输入至摔倒恢复学习模型，得到所述摔倒恢复学习模型输出的第一动作；所述摔倒恢复学习模型是基于样本姿态信息进行训练得到的，用于确定所述机器人的第一动作；所述第一动作用于表示所述机器人每条腿的至少一个关节的力矩；
[0008]基于所述第一动作和所述第一动作对应的预设动作，确定所述机器人的目标动作；所述预设动作用于表示预设策略中与所述第一动作对应的动作；所述预设策略包括所述机器人由摔倒状态恢复至站立状态所执行的动作序列；所述目标动作用于表示所述机器人实际执行动作时每条腿的至少一个关节的力矩。
[0009]根据本专利技术提供的一种摔倒自恢复学习方法，所述基于所述第一动作和所述第一动作对应的预设动作，确定所述机器人的目标动作，包括：
[0010]对所述第一动作与所述预设动作，采用公式(1)进行计算，确定所述机器人的目标动作；
[0011][0012]其中，表示所述机器人的目标动作，表示所述强化学习模型输出的第一
动作；表示预设动作；t表示第t步；t∈[1,K]，K为正整数；表示哈达玛积。
[0013]根据本专利技术提供的一种摔倒自恢复学习方法，所述方法还包括：
[0014]获取所述机器人的第二姿态信息；所述第二姿态信息包括第二旋转角度信息和第二关节角度信息；所述第二旋转角度信息用于表示所述机器人摔倒姿态对应的旋转角度；所述第二关节角度信息用于表示所述机器人摔倒姿态每条腿的至少一个关节对应的关节角度；
[0015]基于所述第二旋转角度，确定所述机器人每条腿的第一足端力；所述第一足端力用于表示所述机器人摔倒姿态每条腿的至少一个关节对应的力；
[0016]基于所述第一足端力和所述第二关节角度信息，确定所述机器人的第二动作；所述第二动作用于表示调整所述机器人的重心时所述机器人每条腿的至少一个关节的力矩；
[0017]获取所述机器人的第三姿态信息；所述第三姿态信息包括第三旋转角度信息和第三关节角度信息；所述第三旋转角度信息用于表示调整所述机器人的重心后所述机器人对应的旋转角度；所述第三关节角信息用于表示调整所述机器人的重心后所述机器人每条腿的至少一个关节对应的关节角度；
[0018]基于所述第三旋转角度信息，确定所述机器人每条腿的第二足端力；所述第二足端力用于表示调整所述机器人的重心后每条腿的至少一个关节对应的力；
[0019]基于所述第二足端力和所述第三关节角度信息，确定所述机器人的第三动作；所述第三动作用于表示恢复所述机器人的姿态由摔倒姿态至半倾斜姿态时所述机器人每条腿的至少一个关节的力矩；
[0020]基于所述第三动作，确定所述预设策略中的动作序列。
[0021]根据本专利技术提供的一种摔倒自恢复学习方法，所述基于所述第三动作，确定所述预设策略中的动作序列，包括：
[0022]基于所述第三动作，获取所述机器人的第四姿态信息；所述第四姿态信息包括第四旋转角度信息和第四关节角度信息；所述第四旋转角度信息用于表示所述机器人半倾斜姿态对应的旋转角度；所述第四关节角度信息用于表示所述机器人半倾斜姿态时每条腿的至少一个关节对应的关节角度；
[0023]基于所述第四旋转角度信息，确定所述机器人每条腿的第三足端力；所述第三足端力用于表示所述机器人半倾斜姿态时每条腿的至少一个关节对应的力；
[0024]基于所述第三足端力和所述第四关节角度信息，确定所述机器人的第四动作；所述第四动作用于表示恢复所述机器人的姿态由半倾斜状态至站立状态时所述机器人每条腿的至少一个关节的力矩；
[0025]基于所述第三动作、所述第四动作和所述第五动作，确定所述预设策略中的动作序列。
[0026]根据本专利技术提供的一种摔倒自恢复学习方法，所述确定所述机器人的目标动作之后，所述方法还包括：
[0027]基于所述目标动作，生成所述目标动作对应的控制指令；所述控制指令用于控制所述机器人执行所述目标动作；
[0028]将所述控制指令发送至所述机器人；
[0029]获取所述机器人的第五姿态信息；所述第五姿态信息包括第五旋转角度信息和第
五关节角度信息；所述第五旋转角度信息用于表示所述机器人执行所述目标动作之后对应的旋转角度；所述第五关节角度信息用于表示所述机器人执行所述目标动作之后每条腿的至少一个关节对应的关节角度；
[0030]计算所述摔倒恢复学习模型的奖励函数；
[0031]基于所述奖励函数，更新所述摔倒恢复学习模型的参数；
[0032]判断所述摔倒恢复学习模型是否达到训练停止条件；所述训练停止条件为所述奖励函数收敛。
[0033]本专利技术还提供一种摔倒自恢复学习装置，所述装置包括：
[0034]第一获取模块，用于获取机器人的第一姿态信息；所述第一姿态信息包括第一旋转角度信息和第一关节角度信息；所述第一旋转角度信息用于表示所述机器人当前姿态对应的旋转角度；所述预设策略包括所述机器人由摔倒状态恢复至站立状态所执行的动作序列；所述第一关节角度信息用于表示所述机器人当前姿态每条腿的至少一个关节对应的关节角度；
[0035]摔倒恢复学习模块，用于将所述第一旋转角度信息和所述第一关节角度信息输入至摔倒恢复学习模型，得到所述摔倒恢复学习模型输出的第一动作；所述摔倒恢复学习模型是基于样本姿态信息进行训练得到的，用于确定所述机器人的第一动作；所述第一动作用于表示所述机器人每条腿的至少一个关节的力矩；
[0036]第一确定模块，用于基于所述第一动作和所述第一动作对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种摔倒自恢复学习方法，其特征在于，所述方法包括：获取机器人的第一姿态信息；所述第一姿态信息包括第一旋转角度信息和第一关节角度信息；所述第一旋转角度信息用于表示所述机器人当前姿态对应的旋转角度；所述第一关节角度信息用于表示所述机器人当前姿态每条腿的至少一个关节对应的关节角度；将所述第一旋转角度信息和所述第一关节角度信息输入至摔倒恢复学习模型，得到所述摔倒恢复学习模型输出的第一动作；所述摔倒恢复学习模型是基于样本姿态信息进行训练得到的，用于确定所述机器人的第一动作；所述第一动作用于表示所述机器人每条腿的至少一个关节的力矩；基于所述第一动作和所述第一动作对应的预设动作，确定所述机器人的目标动作；所述预设动作用于表示预设策略中与所述第一动作对应的动作；所述预设策略包括所述机器人由摔倒状态恢复至站立状态所执行的动作序列；所述目标动作用于表示所述机器人实际执行动作时每条腿的至少一个关节的力矩。2.根据权利要求1所述的摔倒自恢复学习方法，其特征在于，所述基于所述第一动作和所述第一动作对应的预设动作，确定所述机器人的目标动作，包括：对所述第一动作与所述预设动作，采用公式(1)进行计算，确定所述机器人的目标动作；其中，表示所述机器人的目标动作，表示所述强化学习模型输出的第一动作；表示预设动作；t表示第t步；t∈[1,K]，K为正整数；表示哈达玛积。3.根据权利要求1或2所述的摔倒自恢复学习方法，其特征在于，所述方法还包括：获取所述机器人的第二姿态信息；所述第二姿态信息包括第二旋转角度信息和第二关节角度信息；所述第二旋转角度信息用于表示所述机器人摔倒姿态对应的旋转角度；所述第二关节角度信息用于表示所述机器人摔倒姿态每条腿的至少一个关节对应的关节角度；基于所述第二旋转角度，确定所述机器人每条腿的第一足端力；所述第一足端力用于表示所述机器人摔倒姿态每条腿的至少一个关节对应的力；基于所述第一足端力和所述第二关节角度信息，确定所述机器人的第二动作；所述第二动作用于表示调整所述机器人的重心时所述机器人每条腿的至少一个关节的力矩；获取所述机器人的第三姿态信息；所述第三姿态信息包括第三旋转角度信息和第三关节角度信息；所述第三旋转角度信息用于表示调整所述机器人的重心后所述机器人对应的旋转角度；所述第三关节角信息用于表示调整所述机器人的重心后所述机器人每条腿的至少一个关节对应的关节角度；基于所述第三旋转角度信息，确定所述机器人每条腿的第二足端力；所述第二足端力用于表示调整所述机器人的重心后每条腿的至少一个关节对应的力；基于所述第二足端力和所述第三关节角度信息，确定所述机器人的第三动作；所述第三动作用于表示恢复所述机器人的姿态由摔倒姿态至半倾斜姿态时所述机器人每条腿的至少一个关节的力矩；基于所述第三动作，确定所述预设策略中的动作序列。
4.根据权利要求3所述的摔倒自恢复学习方法，其特征在于，所述基于所述第三动作，确定所述预设策略中的动作序列，包括：基于所述第三动作，获取所述机器人的第四姿态信息；所述第四姿态信息包括第四旋转角度...

【专利技术属性】
技术研发人员：严少华，徐德，郝甜甜，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：