一种基于深度学习的机械手控制方法及系统技术方案

本发明专利技术涉及一种基于深度学习的机械手控制方法及系统，主要用于简化控制机械手控制策略并提高控制精度以及降低相应成本，属于机械设备控制领域，现有的控制方法大多采用专有的数学模型或控制回路，往往需要根据不同设备手工进行参数测量整定，繁琐且适应性不强，本发明专利技术基于深度学习神经网络对机械手运动位置和姿态信息以及相应控制量的映射进行自动学习，进而得出针对性的控制方法。与现有技术相比，本发明专利技术具有降低设计成本和时间，控制精度高，鲁棒性强，故障率低，抗干扰能力强等优点。

A Control Method and System of Robot Manipulator Based on Deep Learning

The invention relates to a manipulator control method and system based on in-depth learning, which is mainly used to simplify the control strategy of the manipulator, improve the control accuracy and reduce the corresponding cost. It belongs to the field of mechanical equipment control. The existing control methods mostly adopt a proprietary mathematical model or control loop, and often need to measure and adjust parameters manually according to different equipment, which is cumbersome and appropriate. The method is based on the deep learning neural network to automatically learn the position and attitude information of the manipulator and the mapping of the corresponding control quantity, and then obtains the pertinent control method. Compared with the prior art, the invention has the advantages of reducing design cost and time, high control accuracy, strong robustness, low failure rate and strong anti-interference ability.

【技术实现步骤摘要】
一种基于深度学习的机械手控制方法及系统
本专利技术涉及机械手控制领域，尤其是涉及一种基于深度学习的机械手控制方法及系统。
技术介绍
现代工业生产中广泛应用机械手去完成特定的任务，如抓取、搬运和分拣。它们代替人完成繁重且反复的工作任务，能在有害环境下操作以保护人身安全，实现生产的机械化和自动化，极大地解放了生产力，提高了生产效率。现在工业生产中应用的机械，普遍存在着以下问题：采用高精度执行机构、机械部件紧密咬合以换取更高的控制精度，增加了设计和制造的成本；控制方法具有专用性，需要根据具有结构去设计专门的算法，适应性和可移植性差。如专利技术专利《一种五自由度机械手控制方法》(申请公布号为CN106003041A)提出的机械手控制方法，依赖于对特定自由度特定机械结构机械手的专有数学模型，方法不具备扩展性与可移植性；如专利技术专利《一种机械手控制系统及其控制方法》(申请公布号为CN104772553A)提出的机械手控制方法，依赖于专有的整体高精度系统，且不能在脱离复杂控制电路的情况下完成更复杂动作，控制方法经济性、功能性低。另外尽管近年有提出基于学习等策略的控制方法，如专利技术专利《基于智能学习评价的柔性机械臂方法》(申请公布号为CN106773684A)，但其仍需建立在复杂的运动学模型上进行分析，然后引入神经网络加以辅助提高精度，只能说是一种局限性较大的方法。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的机械手控制方法及系统，不仅能够有效地解决一般机械手普遍存在的问题，很大程度上减小了机械手投入生产的时间及成本，而且采用读取关节位置并结合BP神经网络的方法，避免了针对特定机械手进行相关的姿态运动模型建构这一繁琐步骤。本专利技术的目的可以通过以下技术方案来实现：一种基于深度学习的机械手控制方法，包括以下步骤：步骤01：生成与机械手各关节对应的一组随机控制量，机械手根据随机控制量到达相应位置；步骤02：读取摄像头单帧图像提取机械手各关节的位置信息；步骤03：对机械手各关节的位置信息和随机控制量按设定的收集次数进行收集保存，若达到收集次数，执行步骤04，若未达到收集次数，重新执行步骤01；步骤04：构建深度学习神经网络，读取并将收集保存的机械手各关节的位置信息和随机控制量作为训练集按照指定的训练次数对深度学习神经网络进行训练；步骤05：保存经过训练的深度学习神经网络模型及训练结果；步骤06：判断根据随机控制量到达相应位置的机械手各关节的位置信息是否到达期望的目标位置，若是，控制结束，若否，执行步骤07；步骤07：把期望的目标位置信息输出到步骤05中保存的经过训练的深度学习神经网络模型，得出与期望的目标位置信息相对应控制量，机械手根据与期望的目标位置信息相对应控制量进行动作后执行步骤06形成对机械手的闭环控制。优选地，所述的深度学习神经网络为BP神经网络，所述BP神经网络的输入量为机械手各关节的位置信息，所述BP神经网络的输出量为机械手各关节的控制量。优选地，所述的BP神经网络包括多个神经元层，所述神经元层的个数为6个～8个，每个所述神经元层包括多个神经元，所述神经元的个数为16个～20个。优选地，所述的深度学习神经网络的迭代损失不大于0.2％。一种采用基于深度学习的机械手控制方法的基于深度学习的机械手控制系统，包括工作台、机械手臂、侧边相机和顶部相机，所述机械手臂通过底座固定于所述工作台的台面上，所述侧边相机夹持安装于所述工作台的侧面，所述顶部相机夹持安装与所述工作台的顶部。进一步地，所述侧边相机的安装位置需要满足条件一和条件二，所述条件一为所述侧边相机的视野包含所述机械手臂和所述工作台的工作区域，所述条件二为所述侧边相机的主光轴垂直于所述工作台的侧面平面。进一步地，所述顶部相机的安装位置需要满足条件三和条件四，所述条件三为所述顶部相机的视野包含所述机械手臂和所述工作台的工作区域，所述条件四为所述顶部相机的主光轴垂直于所述工作台的顶部平面。进一步地，所述机械手臂由所述底座、刚体关节和连杆所组成，所述机械手臂的顶部和侧边上还设有对应的顶部标记和侧边标记，用于形成计算机主控程序内的标记编号。进一步地，所述的刚体关节为具有可自由独立运动特性的刚体关节。与现有技术相比，本专利技术具有以下优点：(1)采用深度学习方法对机械手位置与控制量参数关系进行完全自动学习，避免了因机械手结构不同而人为重新建模、重新设计控制算法的不便，大大缩减了机械手投入生产的时间，节约了人力成本。(2)由于深度学习与神经网络的特性，本专利技术提出的控制方法对粗糙的执行机构依然能有较高的精度，在多干扰存在的工况下亦能保证整个系统运行平稳，工作稳定性好，鲁棒性强，不易出现故障，很大程度上降低了维护成本，提高经济效益。(3)基于深度学习神经网络对机械手运动位置和姿态信息以及侧边相机和顶部相机及位置条件设置以及相应控制量的映射进行自动学习，进而得出针对性的控制方法，参数整定可自动进行，控制方法简单且可移植性好，控制精度高。附图说明图1为本专利技术的系统示意图；图2为本专利技术的系统硬件关系图；图3为本专利技术中的神经网络训练流程图；图4为本专利技术的机械手的系统工作流程图；图5为本专利技术的整体流程示意图；附图标号说明：1为工作台；2为机械手臂；3为侧边相机；4为顶部相机；5为顶部标记；6为侧边标记。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。实施例如图1所示为本专利技术的方法应用时的配套系统结构示意图，其采用的机械手为六自由度机械手，但此专利技术的应用不受机械手自由度的限制，包括工作台1、机械手臂2、侧边相机3和顶部相机4，机械手臂2通过底座固定于工作台1的台面上，侧边相机3夹持安装于工作台1的侧面，顶部相机4夹持安装与工作台1的顶部，机械手臂2由所述底座、刚体关节和连杆所组成，机械手臂2的顶部和侧边上还设有对应的顶部标记5和侧边标记6，用于形成计算机主控程序内的标记编号，所应用的机械手应有以下特点：一、底座固定；二、刚体结构，可抽象成关节和连杆模型；三、各关节可以自由独立运动，机械手末端可以到达工作区域，刚体关节为具有可自由独立运动特性的刚体关节，侧边相机3的安装位置需要满足条件一和条件二，条件一为侧边相机3的视野包含机械手臂2和工作台1的工作区域，条件二为侧边相机3的主光轴垂直于工作台1的侧面平面，顶部相机4的安装位置需要满足条件三和条件四，条件三为顶部相机4的视野包含机械手臂2和工作台1的工作区域，条件四为顶部相机4的主光轴垂直于工作台1的顶部平面。如图2所示为本专利技术的方法应用时的配套系统硬件关系图，其示例系统各硬件之间的关系，摄像头抓取机械手图像，主控计算机为主要控制部分，其连接摄像头，用于读取图像、获取位置信息、运行已训练好的神经网络并输出控制信号。本专利技术提出的方法在应用前必须对神经网络进行训练，神经网络训练流程图如图3所示，其包括以下步骤：步骤101：运行计算机中的主控程序生成与机械手各关节对应的一组随机控制量；步骤102：主本文档来自技高网...

【技术保护点】
1.一种基于深度学习的机械手控制方法，其特征在于，包括以下步骤：步骤01：生成与机械手各关节对应的一组随机控制量，机械手根据随机控制量到达相应位置；步骤02：读取摄像头单帧图像提取机械手各关节的位置信息；步骤03：对机械手各关节的位置信息和随机控制量按设定的收集次数进行收集保存，若达到收集次数，执行步骤04，若未达到收集次数，重新执行步骤01；步骤04：构建深度学习神经网络，读取并将收集保存的机械手各关节的位置信息和随机控制量作为训练集按照指定的训练次数对深度学习神经网络进行训练；步骤05：保存经过训练的深度学习神经网络模型及训练结果；步骤06：判断根据随机控制量到达相应位置的机械手各关节的位置信息是否到达期望的目标位置，若是，控制结束，若否，执行步骤07；步骤07：把期望的目标位置信息输出到步骤05中保存的经过训练的深度学习神经网络模型，得出与期望的目标位置信息相对应控制量，机械手根据与期望的目标位置信息相对应控制量进行动作后执行步骤06形成对机械手的闭环控制。

【技术特征摘要】
1.一种基于深度学习的机械手控制方法，其特征在于，包括以下步骤：步骤01：生成与机械手各关节对应的一组随机控制量，机械手根据随机控制量到达相应位置；步骤02：读取摄像头单帧图像提取机械手各关节的位置信息；步骤03：对机械手各关节的位置信息和随机控制量按设定的收集次数进行收集保存，若达到收集次数，执行步骤04，若未达到收集次数，重新执行步骤01；步骤04：构建深度学习神经网络，读取并将收集保存的机械手各关节的位置信息和随机控制量作为训练集按照指定的训练次数对深度学习神经网络进行训练；步骤05：保存经过训练的深度学习神经网络模型及训练结果；步骤06：判断根据随机控制量到达相应位置的机械手各关节的位置信息是否到达期望的目标位置，若是，控制结束，若否，执行步骤07；步骤07：把期望的目标位置信息输出到步骤05中保存的经过训练的深度学习神经网络模型，得出与期望的目标位置信息相对应控制量，机械手根据与期望的目标位置信息相对应控制量进行动作后执行步骤06形成对机械手的闭环控制。2.根据权利要求1所述的一种基于深度学习的机械手控制方法，其特征在于，所述的深度学习神经网络为BP神经网络，所述BP神经网络的输入量为机械手各关节的位置信息，所述BP神经网络的输出量为机械手各关节的控制量。3.根据权利要求2所述的一种基于深度学习的机械手控制方法，其特征在于，所述的BP神经网络包括多个神经元层，所述神经元层的个数为6个～8个，每个所述神经元层包括多个神经元，所述神经元的个数为16个～20个。4.根据权利要求1或2所述的一种基...

【专利技术属性】
技术研发人员：赖豪文，陈劲树，江季，蒋磊，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31