一种基于强化学习的冗余机械臂路径规划方法技术

本发明专利技术涉及一种基于强化学习的冗余机械臂路径规划方法，基于深度强化学习算法，构建冗余机械臂训练环境，设计奖励函数对机械臂进行训练。虽然进行离线训练的时间较长，但训练成功后的网络模型可以直接使用，有效地规避了传统路径规划算法的不足，提高了遥操作的时效性和交互效率。

A path planning method for redundant manipulators based on Reinforcement Learning

【技术实现步骤摘要】
一种基于强化学习的冗余机械臂路径规划方法
本专利技术属于遥操作任务中路径规划方向，涉及一种基于强化学习的冗余机械臂路径规划方法。
技术介绍
遥操作系统是利用机器人，通过传输媒介由操作人员在相对安全的环境中向远端机器人发送指令，远端机器人利用自身搭载的传感器获取数据进行反馈，操作人员利用这些反馈进行下一步决策的系统。遥操作系统广泛应用在空间安装，核工业，深海探测，军事等高危或远距离环境中。遥操作系统中使用的机械臂从最开始的三轴机械臂，六轴机械臂发展具有更高冗余性的七轴机械臂，乃至九轴机械臂。其中七自由度冗余机械臂凭借其良好的仿人特性逐渐被广泛采用，相较于传统的六自由度机械臂，机械臂的末端执行器可以以任意姿态到达工作空间的任意位置，可以避免奇异，避免关节超限，可以在任务空间进行避障。在遥操作任务中，机械臂的路径规划作为重要的一部分，采用多种方法进行求解，如人工势场法，RRT算法，遗传算法等，这些算法或存在易陷入局部最优解，或规划的路径不平滑，或占用大量存储空间，不符合遥操作虚拟仿真端“实时性”的要求，给冗余机械臂的路径规划带来不便。本文档来自技高网...

【技术保护点】
1.一种基于强化学习的冗余机械臂路径规划方法，其特征在于步骤如下：/n步骤1：根据Kuka iiwaR820冗余机械臂的DH参数，在建模软件调整每个模型旋转轴的位置和方向；将修改好的模型导出成.fbx文件，导入unity软件中；/n步骤2、强化学习环境配置：/n（1）在unity软件中，采用三维建模得到训练模型的环境，将环境中碰撞相关的模型的Tag设置为“obstacle”；/n（2）每个场景中必须包含且只包含一个Academy，用于与Python强化学习网络进行通讯；/n（3）设置机械臂的Agent组件：新建脚本并继承Agent类，重写CollcetObservation()方法，在其中使用...

【技术特征摘要】
1.一种基于强化学习的冗余机械臂路径规划方法，其特征在于步骤如下：
步骤1：根据KukaiiwaR820冗余机械臂的DH参数，在建模软件调整每个模型旋转轴的位置和方向；将修改好的模型导出成.fbx文件，导入unity软件中；
步骤2、强化学习环境配置：
（1）在unity软件中，采用三维建模得到训练模型的环境，将环境中碰撞相关的模型的Tag设置为“obstacle”；
（2）每个场景中必须包含且只包含一个Academy，用于与Python强化学习网络进行通讯；
（3）设置机械臂的Agent组件：新建脚本并继承Agent类，重写CollcetObservation()方法，在其中使用addVectorObs()方法添加Agent观测的变量，包括末端执行器的位置target.transform.position和姿态target.transform.locaRotation，当前末端执行器与目标位置的距离distance，当前末端执行器与末端姿态的差异difQuaternion，环境的障碍物信息meshObstacle；
步骤3、奖惩函数设计：
（1）在Agent的AgentAction()方法中重写强化学习的奖惩方法，当机械臂到达末端位姿且不发生碰撞时，使用SetAward()方法将奖励设置为1，并标记为Done；
（2）采用能量...

【专利技术属性】
技术研发人员：黄攀峰，张琦，刘正雄，张帆，孟中杰，马志强，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61