基于视力融合的机械臂操作铰接物体的方法技术

本发明专利技术公开了一种基于视力融合的机械臂操作铰接物体的方法，包括：(1)对机械臂示教，获取机械臂试触与操作铰接物体时相对于铰接物体的第一位姿；(2)利用视觉传感器采集机械臂试触与操作铰接物体时的场景点云数据，并依据场景点云数据确定铰接物体的法向量与粗糙中心；(3)依据铰接物体的法向量与粗糙中心确定铰接物体在视觉传感器坐标系下的粗糙第二位姿；(4)依据第一位姿和粗糙第二位姿，机械臂对铰接物体进行试触，依据机械臂末端的移动距离确定铰接物体的精确中心，该精确中心结合粗糙第二位姿，确定精确第二位姿；(5)依据第一位姿和精确第二位姿，机械臂实现对铰接物体的操作。该方法能够完成对铰接物体的操作。该方法能够完成对铰接物体的操作。该方法能够完成对铰接物体的操作。

【技术实现步骤摘要】
基于视力融合的机械臂操作铰接物体的方法


[0001]本专利技术属于机器人智能控制领域，具体涉及一种基于视力融合的机械臂操作铰接物体的方法。

技术介绍

[0002]互联网和信息化的迅速发展推动了机器人技术的发展，机器人逐渐在各行各业崭露头角，帮助人们完成各式各样的复杂任务。在工业中，机械臂是应用最为广泛的一种工业机器人。机械臂也叫机械手和机械手臂，顾名思义，机械臂有着与人类手臂类似的机械结构，常见的机械臂拥有四个或六个关节。机械臂由三大核心部件组成，分别是电机、减速器与系统，通过系统的示教器来进行编程，使电机传动减速器执行指定的轨迹，完成相应的任务，整个控制过程都由系统统一控制和反馈。机械臂由于其操作的灵活性，可以完成诸如搬运东西、加工产品、设备配套、喷涂油漆、焊接产品、组装打磨等应用。机械臂的优势在于，它不仅可以不厌其烦地完成指定好的各种加工任务，不会感到厌倦或是疲惫，而且，机械臂可以高精度地完成指定的工作，保证了在大规模生产中，产品的质量与性能。
[0003]对于机器人来说，要想能够自适应地在不断变化的场景中稳定运行，就需要感知外部环境，获取目标、障碍物等各类信息，根据信息来完成下一步的决策。感知外部信息，就需要各类传感器的帮助。传感器是用于采集各类信息并转换为特定信号的器件，目前常用在机械臂上的传感器有视觉传感器(摄像头、激光雷达)、力觉传感器、触觉传感器等。这些传感器就像人类的眼睛、皮肤，使得机械臂能够像人一样自主地完成各类任务。
[0004]近年来，随着视觉算法的不断发展，计算机已经可以根据已有的图片，对其进行图像分类、目标检测、语义分割和实例分割，对于三维场景来说，可以在复杂场景下将各种物体进行分类，并估计其位姿。借助这些算法，计算机可以控制机械臂主机，使其完成对目标物体的抓取，摆放，或者抓取工具进行简单的任务操作。不过，上述内容都是针对单个物体作为整体来操作的，事实上，除了这些类似于物块、工具等作为整体使用的单个物体，现实生活还中有许多物体是由多个部分组成，并通过铰接的方式连接，操作各个部分会带来不同的效果，这类物体也被称为铰接物体。常见的铰接物体有门、纸箱、窗户、抽屉等等，对其常见的操作即为对其铰接部分沿着轴的方向进行移动，比如开门、关上箱子、推开窗户、拉开抽屉等等。如何让计算机识别这类物体，如何让机械臂自主地适应并操作这一类的物体，是目前机器人智能控制研究领域的迫切需要解决的问题。

技术实现思路

[0005]鉴于上述，本专利技术的目的是提供一种基于视力融合的机械臂操作铰接物体的方法，借助于视力融合信息使机械臂在未知环境中自主识别铰接物体，并完成对铰接物体的操作。
[0006]本专利技术实施例提供的技术方案为：
[0007]一种基于视力融合的机械臂操作铰接物体的方法，包括以下步骤：
[0008](1)对机械臂示教，获取机械臂试触与操作铰接物体时相对于铰接物体的第一位姿；
[0009](2)利用视觉传感器采集机械臂试触与操作铰接物体时的场景点云数据，并依据场景点云数据确定铰接物体的法向量与粗糙中心；
[0010](3)依据铰接物体的法向量与粗糙中心确定铰接物体在视觉传感器坐标系下的粗糙第二位姿；
[0011](4)依据第一位姿和粗糙第二位姿，机械臂对铰接物体进行试触，依据机械臂末端的移动距离确定铰接物体的精确中心，该精确中心结合粗糙第二位姿，确定精确第二位姿；
[0012](5)依据第一位姿和精确第二位姿，机械臂实现对铰接物体的操作。
[0013]优选地，步骤(1)中，通过对机械臂示教，获取机械臂试触与操作铰接物体时，机械臂末端垂直于铰接物体平面的垂直相对位姿，机械臂末端倾斜于铰接物体平面的倾斜相对位姿，其中，垂直相对位姿用于确定铰接物体的精确中心，倾斜相对位姿用于指导机械臂实现对铰接物体的操作，垂直相对位姿和倾斜相对位姿统称为第一位姿。
[0014]优选地，步骤(2)中，依据场景点云数据确定铰接物体的法向量与粗糙中心包括：
[0015]计算场景点云数据的法向量，并依据法向量对场景点云数据进行聚类后，根据聚类结果分割得到铰接物体点云数据；
[0016]对铰接物体点云数据进行预处理后，计算铰接物体点云数据的法向量，并对法向量求均值后作为铰接物体的法向量，对铰接物体点云数据的位置求中位数作为铰接物体的粗糙中心。
[0017]优选地，采用K
‑
means算法对场景点云数据进行聚类。
[0018]优选地，对铰接物体点云数据进行的预处理包括：点云数据的滤波、消除孤立点以及平滑。
[0019]优选地，步骤(3)中，利用先验知识，获得铰接物体平面视觉传感器坐标系下的y轴方向，同时将铰接物体的法向量作为z轴方向，并以铰接物体的粗糙中心作为原点，构建物体坐标系，依据物体坐标系与平面视觉传感器坐标系的转换关系，确定铰接物体在视觉传感器坐标系下的第二位姿。
[0020]优选地，步骤(4)中，依据垂直相对位姿和粗糙第二位姿，进行机械臂末端对铰接物体的试触，通过力传感器判断机械臂是否接触铰接物体，从而采集机械臂末端的移动距离，依据该移动距离确定铰接物体的精确中心。
[0021]优选地，步骤(5)中，利用先验知识与精确第二位姿，获得铰接物体转动轴的相应位姿，依据第一位姿与倾斜相对位姿，使机械臂到达操作铰接物体的位姿，与铰接物体接触，结合相应位姿绕铰接物体的轴做弧线运动，通过力传感器判断操作是否完成，从而完成对铰接物体的操作。
[0022]优选地，所述视觉传感器采用RGB
‑
D摄像头。
[0023]实施例提供的基于视力融合的机械臂操作铰接物体的方法，具有的有益效果至少包括：
[0024]通过引入视觉传感器采集的点云数据确定铰接物体的法向量与粗糙中心，依据铰接物体的法向量与粗糙中心确定铰接物体在视觉传感器坐标系下的第二位姿；然后依据第一位姿和第二位姿，机械臂对铰接物体进行试触，依据机械臂末端的移动距离确定铰接物
体的精确中心；最后，依据第一位姿和铰接物体的精确中心，机械臂实现对铰接物体的操作，这样可以在机械臂与铰接物体相对位姿随机且未知的情况下，完成对铰接物体的识别与操作，且通过对不同铰接物体的提前示教，可以完成对不同型号的铰接物体的操作。
附图说明
[0025]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0026]图1是实施例提供的基于视力融合的机械臂操作铰接物体的方法的流程图。
具体实施方式
[0027]为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。
[0028]为了实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视力融合的机械臂操作铰接物体的方法，其特征在于，包括以下步骤：(1)对机械臂示教，获取机械臂试触与操作铰接物体时相对于铰接物体的第一位姿；(2)利用视觉传感器采集机械臂试触与操作铰接物体时的场景点云数据，并依据场景点云数据确定铰接物体的法向量与粗糙中心；(3)依据铰接物体的法向量与粗糙中心确定铰接物体在视觉传感器坐标系下的粗糙第二位姿；(4)依据第一位姿和粗糙第二位姿，机械臂对铰接物体进行试触，依据机械臂末端的移动距离确定铰接物体的精确中心，该精确中心结合粗糙第二位姿，确定精确第二位姿；(5)依据第一位姿和精确第二位姿，机械臂实现对铰接物体的操作。2.根据权利要求1所述的基于视力融合的机械臂操作铰接物体的方法，其特征在于，步骤(1)中，通过对机械臂示教，获取机械臂试触与操作铰接物体时，机械臂末端垂直于铰接物体平面的垂直相对位姿，机械臂末端倾斜于铰接物体平面的倾斜相对位姿，其中，垂直相对位姿用于确定铰接物体的精确中心，倾斜相对位姿用于指导机械臂实现对铰接物体的操作，垂直相对位姿和倾斜相对位姿统称为第一位姿。3.根据权利要求1所述的基于视力融合的机械臂操作铰接物体的方法，其特征在于，步骤(2)中，依据场景点云数据确定铰接物体的法向量与粗糙中心包括：计算场景点云数据的法向量，并依据法向量对场景点云数据进行聚类后，根据聚类结果分割得到铰接物体点云数据；对铰接物体点云数据进行预处理后，计算铰接物体点云数据的法向量，并对法向量求均值后作为铰接物体的法向量，对铰接物体点云数据的位置求中位数作为铰接物体的粗糙中心。4.根据权利要求3所...

【专利技术属性】
技术研发人员：王越，郭达顺，俞鸿翔，熊蓉，
申请(专利权)人：浙江大学，
类型：发明
国别省市：