一种力矩控制的机械臂自主轨迹规划方法和系统技术方案

本发明专利技术公开了一种力矩控制的机械臂自主轨迹规划方法和系统，该方法包括：获取输入数据；其中，输入数据包括：目标点运动区域图像、机械臂在笛卡尔空间的末端位姿、以及机械臂在关节空间的角位置、速度、加速度和力矩；将输入数据输入至路径规划网络模型，通过路径规划网络模型对输入数据进行解算，输出关节力矩控制量；根据路径规划网络模型输出的关节力矩控制量，控制机械臂连续平滑快速地从当前点位姿运动至目标点位姿。本发明专利技术可自主规划运动轨迹，使机械臂末端到达目标点用时更短。使机械臂末端到达目标点用时更短。使机械臂末端到达目标点用时更短。

【技术实现步骤摘要】
一种力矩控制的机械臂自主轨迹规划方法和系统


[0001]本专利技术属于机器人
，尤其涉及一种力矩控制的机械臂自主轨迹规划方法和系统。

技术介绍

[0002]目前，串联式机械臂的轨迹规划方法主要有运动学法、人工势场法、快速扩展随机树法、神经网络模型法等：1)运动学法依赖于机械臂D
‑
H参数，在关节空间或笛卡尔空间进行多项式插值，构建平滑轨迹曲线。当机械臂多自由度冗余时，其参数繁多。且随着多项式阶次增加，平滑度提高，但计算更加复杂。2)人工势场法进行估计规划，具有良好的实时性，但在机械臂自由度较高时无法保证路径可靠性。3)快速扩展随机树法理论简单易行，但参数设置复杂，算法效率较低。4)神经网络模型法通过强化学习对机械臂进行训练，可实现关节空间到笛卡尔空间端到端的映射网络，减轻了对公式推导和复杂计算的依赖，为机械臂轨迹规划提供了新思路。
[0003]然而，上述方法均没有考虑动力学性能、关节电机的力矩
‑
速度曲线。实际中，机械臂能达到的最大加速度与动力学性能、电机输出力矩等因素有关。且电机特性并非由最大力矩或最大加速度规定，而是由力矩
‑
速度关系曲线即机械特性决定的。传统的规划方法难以将机械特性参数引入运动学公式推导中，如何在轨迹规划中充分利用加速度性能成为一大挑战。

技术实现思路

[0004]本专利技术的技术解决问题：克服现有技术的不足，提供一种力矩控制的机械臂自主轨迹规划方法和系统，可自主规划运动轨迹，使机械臂末端到达目标点用时更短。r/>[0005]为了解决上述技术问题，本专利技术公开了一种力矩控制的机械臂自主轨迹规划方法，包括：
[0006]获取输入数据；其中，输入数据包括：目标点运动区域图像、机械臂在笛卡尔空间的末端位姿、以及机械臂在关节空间的角位置、速度、加速度和力矩；
[0007]将输入数据输入至路径规划网络模型，通过路径规划网络模型对输入数据进行解算，输出关节力矩控制量；
[0008]根据路径规划网络模型输出的关节力矩控制量，控制机械臂连续平滑快速地从当前点位姿运动至目标点位姿。
[0009]在上述力矩控制的机械臂自主轨迹规划方法中，通过自主学习训练方式训练得到路径规划网络模型。
[0010]在上述力矩控制的机械臂自主轨迹规划方法中，路径规划网络模型在进行自主学习训练时，使用深度强化学习算法训练目标网络，通过最大化折扣后的未来期望累计奖励逼近至最优策略；采用如下非线性奖励函数评估机械臂当前动作的奖励r：
[0011][0012][0013]r＝r
pos
+r
ori
+q3r
step
[0014]其中，r
pos
表示位置奖励，r
ori
表示姿态奖励，r
step
表示时间惩罚；Δx、Δy、Δz表示目标位置与当前末端位置在机械臂基座坐标系下的差值；q1表示调整位置奖励斜率的系数；Δα、Δβ、Δγ表示目标姿态与当前末端姿态在机械臂基座坐标系下的差值，q2表示调整姿态奖励斜率的系数；q3表示调整时间惩罚的权重。
[0015]在上述力矩控制的机械臂自主轨迹规划方法中，路径规划网络模型在进行自主学习训练时，向“最大化折扣后的未来期望累计奖励”的方向更新目标网络参数，以逼近用时最短的最优路径规划策略；其中，折扣后的未来期望累计奖励指机械臂当前步数i下，状态S
i
‑
动作A
i
价值Q(S,A)。
[0016]在上述力矩控制的机械臂自主轨迹规划方法中，路径规划网络模型在进行自主学习训练时，收集机械臂样本到经验池，采用优先经验回放进行离线策略更新；同时对多样本进行学习和参数更新，提高策略更新效率，并提高样本独立性，解决机械臂不同回合的动态状态分布问题。
[0017]在上述力矩控制的机械臂自主轨迹规划方法中，路径规划网络模型在进行自主学习训练时，通过逼近最优策略，不仅能够学习机械臂关节角与末端位姿的运动学关系，同时学习了关节驱动电机的力矩
‑
速度关系以及机械臂的动力学性能，以更少的步数为目标，输出关节力矩，从而生成同时受速度和力矩约束的速度优化轨迹。
[0018]在上述力矩控制的机械臂自主轨迹规划方法中，路径规划网络模型在进行自主学习训练时，对路径规划网络施加各项约束，以保证机械臂自身安全与环境安全；其中，所施加的约束包括：单步力矩约束、电机最大力矩约束、机械臂工作空间约束、机械臂自身碰撞与奇异约束和回合最大步数约束。
[0019]在上述力矩控制的机械臂自主轨迹规划方法中，路径规划网络模型在进行自主学习训练时，对输入的目标点运动区域图像进行特征提取，将提取得到的特征通过卷积层和全局平均池化层后，送入激活函数来获取目标位姿信息。
[0020]在上述力矩控制的机械臂自主轨迹规划方法中，通过手眼相机采集得到目标点运动区域图像；通过所属关节力传感器获取机械臂在关节空间的角位置、速度、加速度和力矩。
[0021]相应的，本专利技术还公开了一种力矩控制的机械臂自主轨迹规划系统，包括：
[0022]数据获取模块，用于获取输入数据；其中，输入数据包括：目标点运动区域图像、机械臂在笛卡尔空间的末端位姿、以及机械臂在关节空间的角位置、速度、加速度和力矩；
[0023]解算模块，将输入数据输入至路径规划网络模型，通过路径规划网络模型对输入数据进行解算，输出关节力矩控制量；
[0024]控制模块，用于根据路径规划网络模型输出的关节力矩控制量，控制机械臂连续平滑快速地从当前点位姿运动至目标点位姿。
[0025]本专利技术具有以下优点：
[0026](1)本专利技术公开了一种力矩控制的机械臂自主轨迹规划方法，不同于传统的基于运动学轨迹规划方法，本专利技术考虑了机械臂动力学性能，学习关节驱动电机的力矩
‑
速度关系，不仅能够规划机械臂末端到达目标位置的连续平滑运动路径，同时考虑路径各点的速度、加速度信息，从而生成受力矩约束的速度优化轨迹。
[0027](2)本专利技术公开了一种力矩控制的机械臂自主轨迹规划方法，对于多自由度冗余的机械臂，采用样条插值和逆运动学等传统方案解算得到的路径曲线往往平滑性较差且计算复杂，本专利技术将具有高维度连续状态空间、连续动作控制地强化学习算法与机械臂轨迹规划任务相结合，训练的端到端神经网络极大提高了运算效率。
[0028](3)本专利技术公开了一种力矩控制的机械臂自主轨迹规划方法，深度强化学习不依赖机械臂物理模型，避免了模型不确定性带来的问题；不需要进行监督学习和増广示教；针对动力学复杂的目标函数，所设计的非线性奖励函数使训练模型具有更快的收敛速度和稳定性，避免出现局部最优或震荡不收敛的情况。
附图说明
[0029]图1是本专利技术实施例中一种力矩控制的机械臂自主轨迹规划方法的实现原理图；
[0030]图2本专利技术实施例中一种力矩控制的机械臂自主轨迹规划方法的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种力矩控制的机械臂自主轨迹规划方法，其特征在于，包括：获取输入数据；其中，输入数据包括：目标点运动区域图像、机械臂在笛卡尔空间的末端位姿、以及机械臂在关节空间的角位置、速度、加速度和力矩；将输入数据输入至路径规划网络模型，通过路径规划网络模型对输入数据进行解算，输出关节力矩控制量；根据路径规划网络模型输出的关节力矩控制量，控制机械臂连续平滑快速地从当前点位姿运动至目标点位姿。2.根据权利要求1所述的力矩控制的机械臂自主轨迹规划方法，其特征在于，通过自主学习训练方式训练得到路径规划网络模型。3.根据权利要求2所述的力矩控制的机械臂自主轨迹规划方法，其特征在于，路径规划网络模型在进行自主学习训练时，使用深度强化学习算法训练目标网络，通过最大化折扣后的未来期望累计奖励逼近至最优策略；采用如下非线性奖励函数评估机械臂当前动作的奖励r：奖励r：r＝r
pos
+r
ori
+q3r
step
其中，r
pos
表示位置奖励，r
ori
表示姿态奖励，r
step
表示时间惩罚；Δx、Δy、Δz表示目标位置与当前末端位置在机械臂基座坐标系下的差值；q1表示调整位置奖励斜率的系数；Δα、Δβ、Δγ表示目标姿态与当前末端姿态在机械臂基座坐标系下的差值，q2表示调整姿态奖励斜率的系数；q3表示调整时间惩罚的权重。4.根据权利要求3所述的力矩控制的机械臂自主轨迹规划方法，其特征在于，路径规划网络模型在进行自主学习训练时，向“最大化折扣后的未来期望累计奖励”的方向更新目标网络参数，以逼近用时最短的最优路径规划策略；其中，折扣后的未来期望累计奖励指机械臂当前步数i下，状态S
i
‑
动作A
i
价值Q(S,A)。5.根据权利要求2所述的力矩控制的机械臂自主轨迹规划方法，其特征在于，...

【专利技术属性】
技术研发人员：郭美杉，梁斌焱，王尧，陈志鸿，王燕波，
申请(专利权)人：北京精密机电控制设备研究所，
类型：发明
国别省市：