基于图像识别的机械臂多任务自主学习控制方法及系统技术方案

本发明专利技术公开了一种基于图像识别的机械臂多任务自主学习控制方法及系统，该方法步骤包括：辨识阶段发展一组同构刚性机械臂在关节空间联合轨迹下的分布式协同学习控制方法，构造通讯拓扑实现多机械臂间的神经网络权值在线经验分享，利用经验权值设计常值神经网络控制器，构建宽度学习系统作为图像分类器，建立映射表将图像的类别与控制任务的轨迹建立一一对应关系；识别阶段利用构建的图像分类器识别机械臂的不同控制任务，调用常值神经网络控制器实现刚性机械臂多任务自主控制。本发明专利技术不仅能从复杂的工作任务中获取和调用经验知识，而且能通过视觉传感器对外界工作任务进行实时监测，实现机械臂在多种工作任务下的智能自主控制。控制。控制。

【技术实现步骤摘要】
基于图像识别的机械臂多任务自主学习控制方法及系统


[0001]本专利技术涉及机器臂控制
，具体涉及一种基于图像识别的机械臂多任务自主学习控制方法及系统。

技术介绍

[0002]随着“工业4.0”的提出与机械臂应用的领域的不断扩展，人们对机械臂智能化程度的要求也越来越高，不仅希望通过多个机器人以协作的方式来执行分配的复杂任务并从工作任务中学习、存储、利用经验知识，以提高机器人的工作效率与工作质量，而且希望机器人能根据当前工作任务需要实现自主控制的能力。然而，现有的机器人控制技术仅能实现单个工作任务的高性能控制，无法采用一种控制技术实现多个工作任务的高精度自主控制。
[0003]近年来，分布式协同学习、宽度学习理论快速发展。协同学习能够解决一组具有相同非线性不确定动态的机器人在各自不同参考轨迹下，利用机器人间的无向拓扑通信，实现非线性不确定动态的经验知识获取、表达和应用问题，协同学习有效提升了多机器人间对各自工作任务的信息交互能力，使得每个机器人具备完成组内机器人的工作任务的能力。与此同时，机械臂随着应用场景日渐丰富，与模式识别结合应用的趋势日益明显，以进一步提升机械臂的智能化水平。在机器视觉领域中，为了提高函数逼近和模式分类的精度，网络结构不断朝着深度方向拓展，由此带来了网络训练时间长和速度慢、硬件性能要求高等问题。为了提高网络训练和模式识别的速度，宽度学习理论以宽度方式扩展包括特征映射节点和增强节点的神经元，然后通过岭回归算法计算输出权重的网络模型，给出了一种高效的机器学习与模式识别的学习框架，有效克服了深度网络结构带来的训练时间长、速度慢的问题。分布式协同学习和宽度学习理论分别在多任务控制和模式识别领域各自具有突出的优势。分布式协同学习可以为机械臂控制系统提供可完成多任务的控制器设计，宽度学习系统可以对外部图像进行分类，两种学习技术的结合可以实现机械臂在执行任务的过程中实时监测并切换工作任务，保证控制性能，实现机械臂的多任务自主智能控制。

技术实现思路

[0004]为了克服现有技术存在的缺陷与不足，本专利技术提供一种基于图像识别的机械臂多任务自主学习控制方法，本专利技术针对不同控制任务，基于分布式协同学习，设计可完成不同控制任务的常值神经网络控制器；通过识别控制任务轨迹，构建一类基于卷积神经网络的宽度学习系统作为图像分类器，建立映射表将图像的类别与控制任务的轨迹建立一一对应关系，使外界图像的变化能被常值神经网络控制器响应，在执行控制任务过程中，当机械臂检测到工作任务发生变化，调用常值神经网络控制器实现机械臂多任务自主控制。
[0005]为了达到上述目的，本专利技术采用以下技术方案：
[0006]本专利技术提供一种基于图像识别的机械臂多任务自主学习控制方法，包括下述步骤：
[0007]在辨识阶段构建一组同构机械臂的运动学模型、动力学模型和多个期望回归的笛卡尔空间轨迹模型，定义每种期望回归轨迹为一种工作任务；
[0008]在辨识阶段，根据构建的机械臂逆运动学模型将笛卡尔空间轨迹映射为机械臂关节空间回归轨迹，通过构建通讯拓扑结构，在关节空间联合轨迹下实现一组同构机械臂神经网络权值在线经验分享，设计自适应神经网络协同学习控制器为：
[0009][0010][0011]其中，c
i,2
为设计的正常数控制增益矩阵，为理想神经网络权值的估计值，S(ψ
i
)是以向量ψ
i
为输入的高斯径向基函数，a
ij
为机械臂间通讯拓扑的邻接矩阵元素，z
i,p
为误差变量，Γ
i
为设计的正定对角矩阵，σ
i
为常数；ρ为协同增益系数；
[0012]在协同学习控制后闭环系统一致收敛的时间段[t1,t2]内，选取常值神经网络权值形式为：
[0013][0014]利用经验权值设计常值神经网络控制器：
[0015][0016]在辨识阶段利用卷积神经网络的特征提取和泛化能力，训练图像经过卷积池化操作进行特征提取得到特征层，所述特征层再经过卷积池化操作，将特征泛化得到增强层，特征层与增强层全链接于输出层，构建一类基于卷积神经网络的宽度学习系统作为图像分类器；
[0017]在辨识阶段将图像分类器中图像的类别和多个工作任务设置映射表，建立一一对应关系，表示为：
[0018]f:κ
→
Σ
y
[0019]其中，κ∈{1,2,...,K}是图像分类的标签，Σ
y
是机械臂组可完成的所有工作任务；
[0020]在识别阶段摄像头实时监测环境变化，获得图像标签；
[0021]在识别阶段通过建立好的映射表切换到所述图像标签对应工作任务；
[0022]机械臂在识别阶段调用常值神经网络控制器，完成机械臂多任务自主控制。
[0023]作为优选的技术方案，在辨识阶段构建一组同构机械臂的运动学模型，具体步骤包括：
[0024]正运动学表示机械臂从关节空间到笛卡尔空间的映射：
[0025]χ＝T(q)
[0026]逆运动学表示机械臂从笛卡尔空间到关节空间的映射：
[0027]q＝InvT(χ)
[0028]其中，χ＝[x,y,z]T
为机械臂末端在笛卡尔空间的位置，q＝[θ1,θ2,...,θ
n
]T
为机械臂在关节空间的角位移，n对应着机械臂的关节数，T(
·
)为正运动学映射关系，InvT(
·
)为
正运动学映射关系。
[0029]作为优选的技术方案，所述一组同构机械臂的动力学模型表示为：
[0030][0031]其中，x
i,1
＝[x
i,1,1
,x
i,1,2
,
…
,x
i,1,n
]T
、x
i,2
＝[x
i,2,1
,x
i,2,2
,
…
,x
i,2,n
]T
分别为机械臂关节角位移和关节角速度，M(x
i,1
)为机械臂的惯性矩阵，C(x
i,1
,x
i,2
)为向心力矩阵，G(x
i,1
)为重力项，F(x
i,2
)为摩擦力向量，u
i
为控制力矩。
[0032]作为优选的技术方案，所述笛卡尔空间轨迹模型表示为：
[0033][0034]其中，分别为工作任务κ下的机械臂末端在笛卡尔空间下的期望回归轨迹，分别为已知的连续可导周期函数。
[0035]作为优选的技术方案，所述根据构建的机械臂逆运动学模型将笛卡尔空间轨迹映射为机械臂关节空间回归轨迹，具体表示为：
[0036]q
d
＝InvT(χ
d
)
[0037]其中，χ
...

【技术保护点】

【技术特征摘要】
1.一种基于图像识别的机械臂多任务自主学习控制方法，其特征在于，包括下述步骤：在辨识阶段构建一组同构机械臂的运动学模型、动力学模型和多个期望回归的笛卡尔空间轨迹模型，定义每种期望回归轨迹为一种工作任务；在辨识阶段，根据构建的机械臂逆运动学模型将笛卡尔空间轨迹映射为机械臂关节空间回归轨迹，通过构建通讯拓扑结构，在关节空间联合轨迹下实现一组同构机械臂神经网络权值在线经验分享，设计自适应神经网络协同学习控制器为：络权值在线经验分享，设计自适应神经网络协同学习控制器为：其中，c
i,2
为设计的正常数控制增益矩阵，为理想神经网络权值的估计值，S(ψ
i
)是以向量ψ
i
为输入的高斯径向基函数，a
ij
为机械臂间通讯拓扑的邻接矩阵元素，
i,p
为误差变量，Γ
i
为设计的正定对角矩阵，σ
i
为常数；ρ为协同增益系数；在协同学习控制后闭环系统一致收敛的时间段[t1,t2]内，选取常值神经网络权值形式为：利用经验权值设计常值神经网络控制器：在辨识阶段利用卷积神经网络的特征提取和泛化能力，训练图像经过卷积池化操作进行特征提取得到特征层，所述特征层再经过卷积池化操作，将特征泛化得到增强层，特征层与增强层全链接于输出层，构建一类基于卷积神经网络的宽度学习系统作为图像分类器；在辨识阶段将图像分类器中图像的类别和多个工作任务设置映射表，建立一一对应关系，表示为：f:κ
→
Σ
y
其中，κ∈{1,2,...,K}是图像分类的标签，Σ
y
是机械臂组可完成的所有工作任务；在识别阶段摄像头实时监测环境变化，获得图像标签；在识别阶段通过建立好的映射表切换到所述图像标签对应工作任务；机械臂在识别阶段调用常值神经网络控制器，完成机械臂多任务自主控制。2.根据权利要求1所述的基于图像识别的机械臂多任务自主学习控制方法，其特征在于，在辨识阶段构建一组同构机械臂的运动学模型，具体步骤包括：正运动学表示机械臂从关节空间到笛卡尔空间的映射：χ＝T(q)逆运动学表示机械臂从笛卡尔空间到关节空间的映射：q＝InvT(χ)其中，χ＝[x,y,z]
T
为机械臂末端在笛卡尔空间的位置，q＝[θ1,θ2,
…
,θ
n
]
T
为机械臂在关节空间的角位移，n对应着机械臂的关节数，T(
·
)为正运动学映射关系，InvT(
·
)为正运动学映射关系。
3.根据权利要求1所述的基于图像识别的机械臂多任务自主学习控制方法，其特征在于，所述一组同构机械臂的动力学模型表示为：其中，x
i,1
＝[x
i,1,1
,x
i,1,2
,
…
,x
i,1,n
]
T
、x
i,2
＝[x
i,2,1
,x
i,2,2
,
…
,x
i,2,n
]
T
分别为机械臂关节角位移和关节角速度，M(x
i,1
)为机械臂的惯性矩阵，C(x
i,1
,x
i,2
)为向心力矩阵，G(x
i,1
)为重力项，F(x
i,2
)为摩擦力向量，u
i
为控制力矩。4.根据权利要求1所述的基于图像识别的机械臂多任务自主学习控制方法，其特征在于，所述笛卡尔空间轨迹模型表示为：其中，分别为工作任务κ下的机械臂末端在笛卡尔空间下的期望回归轨迹，分别为已知的连续可导周期函数。5.根据权利要求1所述的基于图像识别的机械臂多任务自主学习控制方法，其特征在于，所述根据构建的机械臂逆运动学模型将笛卡尔空间轨迹映射为机械臂关节空间回归轨迹，具体表示为：q
d
＝InvT(χ
d
)其中，χ
d
表示笛卡尔空间轨迹，q
d
表示机械臂关节空间回归轨迹，InvT(
·
)表示正运动学映射关系。6.根据权利要求1所述的基于图像识别的机械臂多任务自主学习控制方法，其特征在于，所述训练图像经过卷积池化操作进行特征提取得到特征层，具体步骤包括：对训练数据集中第j个输入图像image
j
＝R
w0
×
h0
进行以下卷积和池化操作：T
ip
＝Pooling(T
ic
,p
f
,s
pf
)∈R
w2
×
h2
其中，T
ic
和T
ip
分别代表卷积Conv(
·
)和池化Pooling(
·
...

【专利技术属性】
技术研发人员：王敏，曾宇鹏，黄盛钊，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：