基于强化深度学习训练七自由度冗余机械臂运动轨迹的方法技术

本发明专利技术提供基于强化深度学习训练七自由度冗余机械臂运动轨迹的方法，涉及机械臂控制技术领域。该基于强化深度学习训练七自由度冗余机械臂运动轨迹的方法，包括以下步骤：强化学习基础；空间机械臂模型：碰撞检测：设定机械臂避障运动轨迹参数：DQN械臂路径规划：采用三层DNN网络作为DQN的网络主体，并通过机械臂避障路径规划算法，自动训练最优运动轨迹，避开空间障碍物，完成机械臂的强化深度学习训练。通过三层的DNN网络，输入输出分别为机械臂的状态信息和运动关节角度，再结合离线训练，使得机械臂能够自行训练出一条接近于最优的运动轨迹，成功避开障碍物到达目标点，具有较强的避障能力。的避障能力。的避障能力。

【技术实现步骤摘要】
基于强化深度学习训练七自由度冗余机械臂运动轨迹的方法


[0001]本专利技术涉及机械臂控制
，具体为基于强化深度学习训练七自由度冗余机械臂运动轨迹的方法。

技术介绍

[0002]对于机械臂来说，冗余的概念是相对的，是针对具体的任务来定义的，对于一个平面的任务，常用的6轴(六自由度)机械臂也是冗余的，但是更多的情况下，通常采用针对所有任务的情况，而三维空间是能用六个自由度进行描述，因此会将7轴(七自由度)机械臂称为冗余机械臂，利用冗余机械臂多余的自由度来实现本体避障、避奇异、避关节限位、关节力矩优化、增加操作度等附加任务，同时，也根据人的一只胳膊也是有七个自由度，从仿生学的角度，冗余机械臂也比较符合实际和场景应用。
[0003]七自由度冗余机械臂在执行任务的过程中会受到关节限位、周围环境、自碰撞以及动态平衡等多个约束条件的制约，特别是在集装箱的焊接作业中，为了实现高效的作业需求，焊接机械臂大规模地应用到集装箱生产线中，而由于作业的空间存在较多的障碍物，需要在自动化焊接的过程中考虑碰撞因素，为了顺利地执行焊接作业，对机械臂的避障路径规划的研究十分有必要。
[0004]针对机械臂的避障路径规划的问题，现有技术包含如下：将笛卡尔空间障碍向构型空间障碍进行转换，然后使用A*算法进行无碰撞路径规划；采用将机械臂从J空间中随机采样后通过正向运动学映射到C空间，再利用改进的RRT算法进行路径规划；采用人工势场法进行机械臂的路径规划，在障碍物处人工模拟一个斥力场，在目标点处模拟一个引力场，机械臂在这两个场的作用下运动；采用遗传算法来进行机械臂的路径规划；将机械臂工作空间映射到平面的二维空间，再在平面空间上使用A*算法进行路径规划，通过杉树现有技术分析，但是该方法只能使用于指定的场景，缺乏灵活性，同时，以上技术需要再精确的环境构建模型，在复杂的工业环境下不能很好地适用。
[0005]因此，为解决上述存在的问题，提出一种基于强化深度学习训练七自由度冗余机械臂运动轨迹的方法。

技术实现思路

[0006]针对现有技术的不足，本专利技术提供了基于强化深度学习训练七自由度冗余机械臂运动轨迹的方法，解决了现有的七自由度冗余机械臂焊接系统和调整动作的难度大，缺乏灵活性的问题。
[0007]为实现以上目的，本专利技术通过以下技术方案予以实现：基于强化深度学习训练七自由度冗余机械臂运动轨迹的方法，包括以下步骤：
[0008]步骤一、强化学习基础：采用q
‑
l earn i ng算法和深度Q网络作为机械臂强化学习基础底层逻辑基础；
[0009]步骤二、空间机械臂模型：首先对冗余机械臂进行建模，冗余机械臂采用D
‑
H法建
立数学模型，同时机械臂相邻连杆关系采用4
×
4的齐次变换矩阵描述，以及调整机械臂为正运动，即得到三自由度串联机械臂模型，用以模拟七自由度机械臂运动轨迹和深度学习训练；
[0010]步骤三、碰撞检测：将步骤二所得的三自由度串联机械臂模型置于三维障碍空间中，三维障碍空间中设置有球形障碍物，检测机械臂与球形障碍物碰撞参数，进行碰撞结果测算分析；
[0011]步骤四、设定机械臂避障运动轨迹参数：设置奖励r、状态s和行为a；
[0012]奖励r：表示机械臂执行动作轨迹，环境产生奖励，形成奖励函数参数；
[0013]状态s：表示机械臂与环境的交互产生的状态变量参数；
[0014]行为a：表示机械臂的关节转动角度向量；
[0015]步骤五、DQN械臂路径规划：采用三层DNN网络作为DQN的网络主体，输入为机械臂的状态信息，输出为机械臂的运动关节角度，并通过机械臂避障路径规划算法，自动训练最优运动轨迹，避开空间障碍物，完成机械臂的强化深度学习训练。
[0016]优选的，所述步骤二中，旋转关节的齐次变换矩阵的一般形式为：
[0017][0018]优选的，所述步骤三中，三自由度串联机械臂的当前位置与球形障碍物碰撞的判断步骤：
[0019]步骤1、设定球形障碍物中心为P(X
o
,Y
o
,Z
o
)，半径为R
o
,三自由度串联机械臂的半径为R1，机械臂轴线两端点分别为A(X1,Y1,Z1)、B(X2,Y2,Z2)，同时设障碍物到直线的投影点为P
c
(X
c
,Y
c
,Z
c
)；
[0020]步骤2、计算直线的方向向量为：(X1‑
X2,Y1‑
Y2,Z1‑
Z2)＝(M,N,P)；
[0021]步骤3、根据AB的空间直线计算方程为：X
c
＝MT+X1,Y
c
＝NT+Y1,Z
c
＝PT+Z1；
[0022]步骤4、根据障碍物与投影点连线与直线相交关系计算方程为：M(X0‑
X
C
)+N(Y0‑
Y
C
)+P(Z0‑
Z
c
)＝0；
[0023]步骤5、根据上面两式计算投影点坐标P
c
(X
c
,Y
c
,Z
c
)，进而确定障碍物到机械臂的距离：D1＝√(X1‑
X
C
)2+(Y1‑
Y
C
)2+(Z1‑
Z
c
)2；障碍物到端点的距离：D2＝√(X1‑
X0)2+(Y1‑
Y0)2+(Z1‑
Z0)2；
[0024]步骤6、碰撞检测算法结果分析：
[0025]情况一，障碍物的投影在线段区域内，即X
c
属于(X1‑
X2)、Y
c
属于(Y1,Y2)、Z
c
属于(Z1，Z2)，则计算球心R
o
到线段AB的距离D1，D1的数值大于R
o
+R1，则无碰撞现象，反之发生碰撞现象；
[0026]情况二，障碍物的投影不在线段区域内，即X
c
不属于(X1‑
X2)、Y
c
不属于(Y1,Y2)、Z
c
不属于(Z1，Z2)，则计算球心R
o
到线段AB的距离D2，D2的数值大于R
o
+R1，则无碰撞现象，反之发生碰撞现象；
[0027]情况三，三轴都不与障碍物发生碰撞现象，则为安全，反之为碰撞现象。
[0028]优选的，所述步骤四中，奖励r针对机械臂路径规划，主要表现为机械臂能顺利避开障碍物并到达目标点，同时产生的步数尽量少，因此奖励函数的设置为：一是到达目标点为r＝r+100、碰撞为r＝r
‑
100、其他r＝0.6
×
P1或0.6
×
P2。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于强化深度学习训练七自由度冗余机械臂运动轨迹的方法，其特征在于：包括以下步骤：步骤一、强化学习基础：采用q
‑
learning算法和深度Q网络作为机械臂强化学习基础底层逻辑基础；步骤二、空间机械臂模型：首先对冗余机械臂进行建模，冗余机械臂采用D
‑
H法建立数学模型，同时机械臂相邻连杆关系采用4
×
4的齐次变换矩阵描述，以及调整机械臂为正运动，即得到三自由度串联机械臂模型，用以模拟七自由度机械臂运动轨迹和深度学习训练；步骤三、碰撞检测：将步骤二所得的三自由度串联机械臂模型置于三维障碍空间中，三维障碍空间中设置有球形障碍物，检测机械臂与球形障碍物碰撞参数，进行碰撞结果测算分析；步骤四、设定机械臂避障运动轨迹参数：设置奖励r、状态s和行为a；奖励r：表示机械臂执行动作轨迹，环境产生奖励，形成奖励函数参数；状态s：表示机械臂与环境的交互产生的状态变量参数；行为a：表示机械臂的关节转动角度向量；步骤五、DQN械臂路径规划：采用三层DNN网络作为DQN的网络主体，输入为机械臂的状态信息，输出为机械臂的运动关节角度，并通过机械臂避障路径规划算法，自动训练最优运动轨迹，避开空间障碍物，完成机械臂的强化深度学习训练。2.根据权利要求1所述的基于强化深度学习训练七自由度冗余机械臂运动轨迹的方法，其特征在于：所述步骤二中，旋转关节的齐次变换矩阵的一般形式为：3.根据权利要求1所述的基于强化深度学习训练七自由度冗余机械臂运动轨迹的方法，其特征在于：所述步骤三中，三自由度串联机械臂的当前位置与球形障碍物碰撞的判断步骤：步骤1、设定球形障碍物中心为P(X
o
,Y
o
,Z
o
)，半径为R
o
,三自由度串联机械臂的半径为R1，机械臂轴线两端点分别为A(X1,Y1,Z1)、B(X2,Y2,Z2)，同时设障碍物到直线的投影点为P
c
(X
c
,Y
c
,Z
c
)；步骤2、计算直线的方向向量为：(X1‑
X2,Y1‑
Y2,Z1‑
Z2)＝(M,N,P)；步骤3、根据AB的空间直线计算方程为：X
c
＝MT+X1,Y
c
＝NT+Y1,Z
c
＝PT+Z1；步骤4、根据障碍物与投影点连线与直线相交关系计算方程为：M(X0‑
X
C
)+N(Y0‑
Y
C
)+P(Z0‑
Z
c
)＝0；步骤5、根据上面两式计算投影点坐标P
c
(X
c
,Y
c
,Z
c
)，进而确定障碍物到机械臂的距离：D1＝√(X1‑
X
C
)2+(Y1‑
Y
C
)2+(Z1‑
...

【专利技术属性】
技术研发人员：吕楠，张丽秋，刘伟，
申请(专利权)人：无锡慧眼人工智能科技有限公司，
类型：发明
国别省市：