【技术实现步骤摘要】
本专利技术属于机器人，涉及一种基于sac强化学习的机械臂路径规划方法、设备及介质。
技术介绍
1、工业机器人的规模化应用提高了工业和制造业等行业的生产效率。机械臂是机器人的主要形式之一，通过运动副的转动或移动使机械臂末端运动到合适的位置和姿态，完成不同的工作任务。热电厂中分布着多种仪表，这些仪表位于不同的高度，我们可以通过机械臂搭载摄像头的方式，来实现热电厂仪表的智能巡检。目前普遍使用的机械臂通常需要通过预先编程或拖动示教为其设定固定的工作流程，使其能够在单一场景中完成一些重复性工作，面对复杂多变的任务时适应能力很差。所以研究如何提高机械臂的智能化水平具有重要意义。
2、强化学习(reinforcement learning,rl)与人类学习技能的过程较为类似，它令机器人在与环境的交互过程中优化策略并获得最大收益或达成目标，机械臂路径规划的强化学习方法面临着一些难点，首先是机械臂的动作维度高、环境状态复杂，强化学习面对海量的状态数量和动作数量较难进行价值评估。其次是奖励稀疏的问题，通常当机械臂到达指定位置时才能得到奖励，这导致训练时间长，效果较差，继而导致机械臂路径规划不合理。
技术实现思路
1、本专利技术的目的在于克服上述现有技术的缺点，提供了一种基于sac强化学习的机械臂路径规划方法、设备及介质，该方法、设备及介质能够使得机械臂路径规划更加合理。
2、为达到上述目的，本专利技术采用如下技术方案：
3、本专利技术一方面，本专利技术提供了一种基于
4、获取机械臂的当前状态；
5、将所述机械臂的当前状态输入到训练后的软性演员-评论家sac强化学习模型中，得到机械臂的下一步动作，完成机械臂的路径规划。
6、还包括：
7、构建经验回放池；
8、构建软性演员-评论家sac强化学习模型；
9、利用所述经验回放池中的数据对所述软性演员-评论家sac强化学习模型进行训练，得到训练后的软性演员-评论家sac强化学习模型。
10、所述经验回放池中存放的数据包括机械臂的当前状态、下一步动作、转换后的状态以及奖励(s,a,s′,r)。
11、所述软性演员-评论家sac强化学习模型包括一个策略网络、两个q网络及两个目标q网络。
12、所述利用所述经验回放池中的数据对所述软性演员-评论家sac强化学习模型进行训练过程中的奖励函数为：
13、r(st,at)＝eπ[rt+1|st＝s,at＝a] (7)
14、其中，rt+1为机械臂执行动作at后的奖励，st为t时刻的机械臂的状态，at为t时刻的机械臂的动作。
15、所述机械臂执行动作at后的奖励rt+1为：
16、
17、
18、其中，β为控制机械臂末端偏离参考路径时受到奖励或惩罚的比例系数，η为参考路径奖励半径，pt为机械臂在t时刻的任务完成度。
19、所述构建经验回放池的具体过程为：
20、定义一个容量为p的双向队列来实现经验回放池，用于存储机械臂的状态、下一步动作、转换后的状态及奖励(s,a,s′,r)；
21、获取机械臂状态、下一步动作、奖励及转化后的状态(s,a,s′,r)，查询经验回放池是否已满，当经验回放池已满，则删除经验回放池中的第一条数据，并将获取的机械臂状态、下一步动作、奖励及转化后的状态(s,a,s′,r)存入经验回放池中，当经验回放池未满，则直接将获取的机械臂状态、下一步动作、奖励及转化后的状态(s,a,s′,r)存入经验回放池；
22、扫描经验回放池，当经验回放池内的数据量大于等于n，则从队列中随机采样出n个(s,a,s′,r)数据用于训练，当数据量小于n，则继续扫描经验回放池，直到数据量大于等于n。
23、所述软性演员-评论家sac强化学习模型在训练过程中，策略网络的损失函数为：
24、
25、q网络的损失函数为：
26、
27、本专利技术一方面，本专利技术提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于sac强化学习的机械臂路径规划方法的步骤。
28、本专利技术一方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述基于sac强化学习的机械臂路径规划方法的步骤。
29、本专利技术具有以下有益效果：
30、本专利技术所述的基于sac强化学习的机械臂路径规划方法、设备及介质在具体操作时，通过将示教路径融入奖励函数，使机械臂在强化学习过程中对示教路径进行模仿来提高学习效率，并采用软性演员-评论家(sac)算法使机械臂路径规划训练收敛更快，稳定性更强，与现有的技术相比，本专利技术能更好地探索环境、提高训练速度，使得规划路径更加合理。
本文档来自技高网...【技术保护点】
1.一种基于SAC强化学习的机械臂路径规划方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于SAC强化学习的机械臂路径规划方法，其特征在于，还包括：
3.根据权利要求2所述的基于SAC强化学习的机械臂路径规划方法，其特征在于，所述经验回放池中存放的数据包括机械臂的当前状态、下一步动作、转换后的状态以及奖励(s,a,s′,r)。
4.根据权利要求2所述的基于SAC强化学习的机械臂路径规划方法，其特征在于，所述软性演员-评论家SAC强化学习模型包括一个策略网络、两个Q网络及两个目标Q网络。
5.根据权利要求2所述的基于SAC强化学习的机械臂路径规划方法，其特征在于，所述利用所述经验回放池中的数据对所述软性演员-评论家SAC强化学习模型进行训练过程中的奖励函数为：
6.根据权利要求5所述的基于SAC强化学习的机械臂路径规划方法，其特征在于，所述机械臂执行动作at后的奖励Rt+1为：
7.根据权利要求2所述的基于SAC强化学习的机械臂路径规划方法，其特征在于，所述构建经验回放池的具体过程为：
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8任一项所述基于SAC强化学习的机械臂路径规划方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述基于SAC强化学习的机械臂路径规划方法的步骤。
...【技术特征摘要】
1.一种基于sac强化学习的机械臂路径规划方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于sac强化学习的机械臂路径规划方法，其特征在于，还包括：
3.根据权利要求2所述的基于sac强化学习的机械臂路径规划方法，其特征在于，所述经验回放池中存放的数据包括机械臂的当前状态、下一步动作、转换后的状态以及奖励(s,a,s′,r)。
4.根据权利要求2所述的基于sac强化学习的机械臂路径规划方法，其特征在于，所述软性演员-评论家sac强化学习模型包括一个策略网络、两个q网络及两个目标q网络。
5.根据权利要求2所述的基于sac强化学习的机械臂路径规划方法，其特征在于，所述利用所述经验回放池中的数据对所述软性演员-评论家sac强化学习模型进行训练过程中的奖励函数为：
6.根据权利要求5所述的基于sac强化学习的机...
【专利技术属性】
技术研发人员：贺凯，王泽广，王延生，陈崇武，尹锡兵，尚海军，赵培海，张恒亮，李明喜，王钰泽，史耀辉，
申请(专利权)人：西安热工研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。