一种基于多知识库的机械臂自主装配方法组成比例

本发明专利技术公开了一种基于多知识库的机械臂自主装配方法，首先构造实体库和技能库组成多知识库；实体库包含物体基本信息、关系信息、推理模型等；技能库包含技能序列、技能基元以及操作任务过程中产生的操作信息；在本发明专利技术中通过使用实体库来解决场景中的物体关系难以识别问题；通过使用技能库来对技能进行复用；从而解决了现有技术不能良好理解装配场景中物件之间的关系以及场景环境内高层次语义信息的问题。同时，利用技能库实现装配过程中技能快速的复用，结合视觉传感器与推理模块实现械臂闭环自主装配，提高了机械臂对环境的智能感知能力和理解能力，进而提高整个机械臂在执行装配任务的鲁棒性和准确性，具有泛化装配任务、闭环动态装配的特点。闭环动态装配的特点。闭环动态装配的特点。

【技术实现步骤摘要】
一种基于多知识库的机械臂自主装配方法


[0001]本专利技术涉及机械臂自主装配方法领域，特别是涉及一种基于多知识库的机械臂自主装配方法。

技术介绍

[0002]机械臂自主装配技术是机器人领域的研究热点以及难点之一，目前，具有操作灵活、精准度高等优点的高自由度机械臂已广泛用于工业生产、航空航天等领域。工业生产环境约束众多，在复杂的环境中，准确获得装配任务涉及的物体、零件以及物体在场景中的关系是机械臂高质量完成自主装配任务的关键，这对机械臂的智能化水平提出了更高的要求。视觉传感器因其非接触、能提供丰富的信息而广泛的应用在机器人技术中，目前利用规划知识库也可以快速对任务的执行路径进行规划。在此基础上，对于提高机械臂自主装配的智能化水平、扩展其应用范围具有重要的理论研究意义和广阔的实际应用前景。
[0003]在现代工业自动化生产中，传统的工业机器人已经得到了广泛应用，但目前大多数机器人系统都是通过视觉传感器、示教器或者离线编程方式工作的。尽管近几年，深度学习得到了迅速的发展，提出了很多分类性能优秀的网络模型，例如，R
‑
CNN、FasterR
‑
CNN等。这些算法可以针对不同的目标物体，利用训练好的网络结构使用相同的模型参数，同时完成对多个目标的识别及检测任务。但由于缺乏对环境的高层次语义感知和应变能力，这很难直接应用于类似3C、航空航天场景下的任务装配。现有自主装配任务主要存在下面两个方面的问题：1）、 场景中的物体关系难以识别；2）、 操作技能难以重复利用。对于问题1）：在装配场景中执行装配任务时，场景中的物体存在遮挡，嵌入（鸡蛋在碗里）、上下、紧邻等关系，这些关系很难通过视觉系统直接识别出来，但这些关系对自主装配的成功率有很大的影响。对于问题2）：现有的完成装配任务方式主要是使用MoveIt多步规划并结合硬编码指定装配顺序和过程。该过程缺乏准确性和灵活性，技能也无法得到复用，观察装配任务的操作过程，这些技能我们可以通过抽象进行封装、结构化存储和复用。（复用可以快速的推理出完成整个装配任务所需要的技能序列，同时在装配过程中，对装配出现的状况进行闭环再推理和断点执行修复；进而提高整个自主闭环装配的鲁棒性和准确性。）因此，需要研究一种新的技术方案来解决上述问题。

技术实现思路

[0004]为了解决上述现有技术的缺陷和不足，本专利技术提供了一种基于多知识库的机械臂自主装配方法（多知识库是包含物体基本信息、物体间关系信息、操作信息、技能信息、推理模型等综合数据信息的集合；首先构造实体库和技能库；实体库中主要包含物体基本信息、关系信息、推理模型等；技能库主要包含技能序列、技能基元以及操作任务过程中产生的操作信息。），其通过使用构建的实体库来解决场景中的物体关系难以识别问题；通过使用构建的技能库来对技能进行复用；从而解决了现有技术不能很好的理解装配场景中物件之间的关系以及场景环境内的高层次语义信息的问题。同时，该方案利用技能库实现装配过程
中技能快速的复用，结合视觉传感器与推理模块实现械臂闭环自主装配，提高了机械臂对环境的智能感知能力和理解能力，进而提高整个机械臂在执行装配任务的鲁棒性和准确性，具有泛化装配任务、闭环动态装配的特点。
[0005]为实现上述目的，本专利技术采用如下之技术方案：一种基于多知识库的机械臂自主装配方法，应用有多知识库，所述多知识库包括有实体库和技能库；还包括有如下步骤：步骤1、主机接收传来的装配任务和装配任务的相关描述；步骤2、利用分词工具以及语言解析模型获取与装配任务直接相关的目标物体和过程可能涉及到的工具；步骤3、利用视觉相机捕获机器人装配操作台上的图像；步骤4、利用基于深度学习的多目标检测网络，检测机械臂操作台上所有的未知物体，此时根据步骤2的结果以及推理模型得到的关系初步排除干扰物体；对初步排除结果后的物体获得图像特征；步骤5、根据步骤2的结果，利用实体库查询并轮询推理得到目标物体的特征值、用途、属性、描述信息、实体目标间的关系；步骤6、根据步骤4和步骤5的结果以及结合识别模型快速得到识别目标，进而得到具体所需目标的具体图像特征；步骤7、利用深度相机获得所需图像特征对应的深度值；步骤8、利用坐标转换将图像特征从2维的图像坐标系下转化为3维世界坐标系下，从而获得机械臂操作目标物体的最优抓取位置；步骤9、利用基于卷积神经网络的法向量估计网络获得场景的表面法向量；步骤10、根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂操作目标的最优姿态；步骤11、利用技能库获取操作该任务的序列；步骤12、向机械臂控制柜发送相应的控制信息以控制机械臂完成基于多知识库的自主装配任务。
[0006]作为一种优选方案，还包括有步骤13，当装配完成时，则任务执行结束；否则，再次进入步骤11，根据当前断点，调整、获得操作任务的执行序列。
[0007]作为一种优选方案，步骤4所述的图像特征为抓取目标的中心位置，其计算公式如下， 式中，()为抓去目标框的左下角的像素坐标，()为右下角的像素坐标。
[0008]作为一种优选方案，构建步骤5所述实体库包括以下过程：通过界面和/或Restful接口将实体数据信息存储于实体库。
[0009]作为一种优选方案，所述实体数据信息包括有实体的属性信息、实体的图像特征值、实体间的关系、实体的描述信息。
[0010]作为一种优选方案，步骤6所述的识别模型为：利用实体库中的原始数据及原始数据的增强训练得来。
[0011]作为一种优选方案，步骤7采用双目测距获得所需目标图像特征对应的深度值。
[0012]作为一种优选方案，步骤8中，包括将世界坐标系和最优抓取位置信息汇总为参数
A；步骤10中，包括将将图像特征的法向量和最优姿态信息汇总为参数B；步骤11所述序列由若干个动作基元组成，并且，步骤11将参数A和参数B封装入动作基元。
[0013]作为一种优选方案，步骤12中，主机通过以太网向机械臂控制柜发送控制信息。
[0014]作为一种优选方案，步骤2利用分词工具和语言解析模型的过程，包括以下步骤：首先，对输入的装配任务信息和相关描述进行分词，根据预训练进行推理，得到要执行的任务对象和工具，然后经过检测网络对装配操作台上的物体进行全范围检测，最后，提取检测框内的未知物体的特征值。
[0015]本专利技术与现有技术相比具有明显的优点和有益效果，具体而言，由上述技术方案可知，其主要是：一、本专利技术利用实体库应用于场景基础的存储,经过对实体主要详细属性提取和存储,能够为目标检测与识别提供基础数据集的同时提升装配目标的检测和识别的精准性和鲁棒性；二、实体库中包含复杂装配环境中实体与实体的关系；这种实体间的关联尤其在装配物体种类繁多、遮挡严重、光照变化、位置变化等复杂多变的环境下,能够通过装配目标与工具、目标与目标、工具与工具之间的关系；辅助智能体理解当前环境和操作实体间的语义信息；提高机械臂装配目标闭环的准确性和鲁棒性；三、本专利技术利用技能库并应用于装配任务执行序列中,根据技能基元的分解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多知识库的机械臂自主装配方法，应用有多知识库，所述多知识库包括有实体库和技能库；其特征在于：还包括有如下步骤：步骤1、主机接收传来的装配任务和装配任务的相关描述；步骤2、利用分词工具以及语言解析模型获取与装配任务直接相关的目标物体和过程可能涉及到的工具；步骤3、利用视觉相机捕获机器人装配操作台上的图像；步骤4、利用基于深度学习的多目标检测网络，检测机械臂操作台上所有的未知物体，此时根据步骤2的结果以及推理模型得到的关系初步排除干扰物体；对初步排除结果后的物体获得图像特征；步骤5、根据步骤2的结果，利用实体库查询并轮询推理得到目标物体的特征值、用途、属性、描述信息、实体目标间的关系；步骤6、根据步骤4和步骤5的结果以及结合识别模型快速得到识别目标，进而得到具体所需目标的具体图像特征；步骤7、利用深度相机获得所需图像特征对应的深度值；步骤8、利用坐标转换将图像特征从2维的图像坐标系下转化为3维世界坐标系下，从而获得机械臂操作目标物体的最优抓取位置；步骤9、利用基于卷积神经网络的法向量估计网络获得场景的表面法向量；步骤10、根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂操作目标的最优姿态；步骤11、利用技能库获取操作该任务的序列；步骤12、向机械臂控制柜发送相应的控制信息以控制机械臂完成基于多知识库的自主装配任务。2.根据权利要求1所述的一种基于多知识库的机械臂自主装配方法，其特征在于：还包括有步骤13，当装配完成时，则任务执行结束；否则，再次进入步骤11，根据当前断点，调整、获得操作任务的执行序列。3.根据权利要求1所述的一种基于多知识库的机械臂自主装配方法，其特征在于：步骤4所述的图像特征为抓...

【专利技术属性】
技术研发人员：袁建先，
申请(专利权)人：深圳巨隆基科技有限公司，
类型：发明
国别省市：