一种基于3D相机的无序分拣方法及系统技术方案

本发明专利技术提出了一种基于3D相机的无序分拣方法及系统，涉及分拣方法领域。包括平台扫描物料台获取工件信息入库工业机器人将物料盒移动至分拣及装配工作站3D相机侧，将螺钉倒入物料盒中，通过3D智能相机进行拍照获取工件位姿；移动机器人将箱体移动至分拣及装配工作站铆接机侧，将箱体放置于铆接机工作台上；工业机器人切换夹具后，从物料台抓取螺母后放置于箱体的待安装位置后铆接；工业机器人切换夹具后，抓取上盖板，并装配至箱体上；工业机器人切换夹具后，从物料盒抓取螺钉，并放置于二次定位装置上；工业机器人切换螺钉锁付夹具后，从二次定位装置上抓取螺钉，将其锁付于箱体。本发明专利技术可避免碰撞，保证了产线的稳定性。保证了产线的稳定性。保证了产线的稳定性。

【技术实现步骤摘要】
一种基于3D相机的无序分拣方法及系统


[0001]本专利技术涉及分拣方法领域，具体而言，涉及一种基于3D相机的无序分拣方法及系统。

技术介绍

[0002]人工智能发展日新月异，伴随着风口而来的是AI领域人才需求激增。数据显示，2017年前10个月内，AI人才需求量已经达到了2016年的近两倍，2015年的5.3倍，人才需求直线上升复合增长率超过200％。为了解决人才紧缺问题再常规工业机器人教学设备上加入3D视觉进行集成。而在对焊接箱体进行装配时，在实际生产过程中，由于机器人对工件的抓取角度或位置不当，容易发生碰撞，造成生产效率降低和安装质量的问题，对生产过程带来了很大影响。

技术实现思路

[0003]本专利技术的目的在于提供一种基于3D相机的无序分拣方法，其能够通过基于强化学习的运动规划算法，在机器人进行抓取时，可自动选取合适的抓取角度和位置，避免碰撞，解决了生产效率降低和安装质量的问题，保证产线的稳定性。
[0004]本专利技术的另一目的在于提供一种基于3D相机的无序分拣系统，其能够通过基于强化学习的运动规划算法，在机器人进行抓取时，可自动选取合适的抓取角度和位置，避免碰撞，解决了生产效率降低和安装质量的问题，保证产线的稳定性。
[0005]本专利技术的实施例是这样实现的：
[0006]第一方面，本申请实施例提供一种基于3D相机的无序分拣方法，其包括如下步骤，S1、平台扫描物料台获取工件信息入库，工件包括螺母、螺钉和焊接箱体，其中螺母用于铆接于上述焊接箱体，螺钉用于锁紧于上述焊接箱体；S2、工业机器人将物料盒移动至分拣及装配工作站3D相机侧，将多个螺钉倒入3D智能相机视野下的物料盒中，通过3D智能相机进行拍照获取工件位姿以供上述工业机器人抓取螺钉；S3、移动机器人将上述焊接箱体移动至分拣及装配工作站铆接机侧，将上述焊接箱体放置于铆接机工作台上；工业机器人切换快换夹具后，从物料台抓取螺母后放置于上述焊接箱体的待安装位置上，并由铆压机进行铆接；S4、上述工业机器人切换快换夹具后，抓取待安装的上盖板，并装配至上述焊接箱体的铆接螺母上；上述工业机器人切换快换夹具后，从上述物料盒抓取螺钉，并放置于二次定位装置上，以供上述工业机器人抓取螺钉；S5、上述工业机器人切换螺钉锁付夹具后，从上述二次定位装置上抓取螺钉，将其锁付于铆接螺母上以将上述上盖板装配于上述焊接箱体；S6、上述移动机器人运送装配后的上述焊接箱体；S7、利用上述工业机器人内置/外置的传感器完成多项感知数据的采集，并进行预处理操作，包括对上述3D智能相机采集的工件数据进行标注，分别构建面向移动机器人和智能机器人的作业场景地图，及智能机器人的语音对话数据标注；S8、导入上述3D智能相机采集的训练集数据，设置训练参数，训练工件位姿识别模型；部署训练后的模型，对工件进行位姿识别测试，根据多次识别的精度进行评
分；利用图形化编程软件编写机器人程序，根据精度评分控制上述工业机器人完成螺钉的抓取及放置过程的位姿规整；利用图形化编程软件，编写机器人程序，结合上述3D智能相机的识别结果，控制上述工业机器人完成对上述物料盒中散乱螺钉的分拣操作；S9、对平台的机器人进行编程和规划，实现机器人自动决策、运动完成规定动作和任务、人机协同应用、机器人自我诊断和远程智能维护；S10、融合人工智能模型学习和训练的结果，以及结合机器人的自主规划功能，应用机器人人工智能应用技术，调用平台的相应功能组件，操作、编程并调试，在平台上实现典型工业场景完整任务。
[0007]在本专利技术的一些实施例中，上述步骤S2中，上述工业机器人将上述物料盒移动至分拣及装配工作站3D相机侧之前，还包括如下步骤，上述工业机器人就近移动至螺钉螺母物料台的待抓取位置上，利用头部双目相机获取上述物料盒位姿后抓取上述物料盒。
[0008]在本专利技术的一些实施例中，上述步骤S3中，上述移动机器人将上述焊接箱体移动至分拣及装配工作站铆接机侧之前，还包括如下步骤，上述移动机器人就近移动至箱体物料台的待抓取位置，上述移动机器人通过2D末端相机获取上述焊接箱体位姿后抓取上述焊接箱体。
[0009]在本专利技术的一些实施例中，上述步骤S7具体包括如下步骤，利用上述3D智能相机采集指定数量的图像，并完成标注；控制上述移动机器人在作业场景中全空间移动，生成移动机器人专用的作业场景平面地图模型；控制上述工业机器人在作业场景中全空间移动，生成上述工业机器人专用的作业场景平面地图模型；利用上述工业机器人的麦克风阵列采集操作人员的语音数据，设置上述工业机器人的语音对话提示词，实现操作人员与上述工业机器人的智能交互。
[0010]在本专利技术的一些实施例中，上述步骤S9具体包括如下步骤，对上述移动机器人进行编程，设置作业点、自动充电点，实现上述移动机器人自主运动规划，以及完成对箱体工件的定位及抓取；通过对2D末端相机进行编程，实现对箱体的识别；根据实际场景，在平面地图中设置上述移动机器人的作业点、自动巡检线路，及通过语音控制执行巡逻作业；对上述工业机器人进行编程，实现对上述物料盒的位姿识别与抓取。
[0011]在本专利技术的一些实施例中，上述步骤S10具体包括如下步骤，利用图形化编程软件，编写机器人程序，结合3D智能相机识别结果，控制工业机器人实现完整的分拣、铆接和锁螺钉流程；编写主控程序，实现各设备的联机通讯以及对各设备的控制；融合人工智能和机器人自主规划技术，实现完整的典型工业场景任务：a)通过语音启动完整流程，上述移动机器人为分拣及装配工作台运送半成品箱体，上述工业机器人为分拣及装配工作台运送螺钉工件；b)上述工业机器人执行分拣、铆接、锁螺钉任务，上述移动机器人自动返回充电桩位置执行充电任务以及自动巡检任务；c)上述移动机器人结束充电后，运送半成品箱体，同时将成品箱体搬运至立体仓库，工业机器人继续执行分拣、铆接和锁螺钉任务。
[0012]第二方面，本申请实施例提供一种基于3D相机的无序分拣系统，其基于第一方面任一项上述的一种基于3D相机的无序分拣方法实现。
[0013]相对于现有技术，本专利技术的实施例至少具有如下优点或有益效果：
[0014]针对第一方面～第二方面：本申请基于仿真场景下机器人智能路径规划算法实现，机器人利用特定的快换夹具，将铆接螺母准确放置于焊接箱体上，并锚固于焊接箱体孔位中。然后，基于3D智能相机识别散乱放置的螺钉位姿，机器人利用特定的快换夹具将螺钉
放置于二次定位装置，并切换螺钉锁付夹具，将螺钉锁紧至箱体的铆接螺母中。涉及的人工智能技术包括了，基于深度学习技术的图像语义分割技术，应用了面向二维图像的深度学习技术；基于3D点云信息的物体位姿估计技术，应用了面向点云的端到端深度学习技术；面向高维空间的机器人智能路径规划技术，应用了强化学习技术。本专利技术通过基于强化学习的运动规划算法，在机器人进行抓取时，可自动选取合适的抓取角度和位置，避免碰撞，解决了生产效率降低和安装质量的问题，保证产线的稳定性。
附图说明
[0015]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D相机的无序分拣方法，其特征在于，包括如下步骤，S1、操作平台扫描物料台获取工件信息入库，工件包括螺母、螺钉和焊接箱体，其中螺母用于铆接于所述焊接箱体，螺钉用于锁紧于所述焊接箱体；S2、工业机器人将物料盒移动至分拣及装配工作站3D相机侧，将多个螺钉倒入3D智能相机视野下的物料盒中，通过3D智能相机进行拍照获取工件位姿以供所述工业机器人抓取螺钉；S3、移动机器人将所述焊接箱体移动至分拣及装配工作站铆接机侧，将所述焊接箱体放置于铆接机工作台上；工业机器人切换快换夹具后，从物料台抓取螺母后放置于所述焊接箱体的待安装位置上，并由铆压机进行铆接；S4、所述工业机器人切换快换夹具后，抓取待安装的上盖板，并装配至所述焊接箱体的铆接螺母上；所述工业机器人切换快换夹具后，从所述物料盒抓取螺钉，并放置于二次定位装置上，以供所述工业机器人抓取螺钉；S5、所述工业机器人切换螺钉锁付夹具后，从所述二次定位装置上抓取螺钉，将其锁付于铆接螺母上以将所述上盖板装配于所述焊接箱体；S6、所述移动机器人运送装配后的所述焊接箱体；S7、利用所述工业机器人内置/外置的传感器完成多项感知数据的采集，并进行预处理操作，包括对所述3D智能相机采集的工件数据进行标注，分别构建面向移动机器人和智能机器人的作业场景地图，及智能机器人的语音对话数据标注；包括对所述3D智能相机采集的工件数据进行标注，分别构建面向移动机器人和智能机器人的作业场景地图，及智能机器人的语音对话数据标注；S8、导入所述3D智能相机采集的训练集数据，设置训练参数，训练工件位姿识别模型；部署训练后的模型，对工件进行位姿识别测试，根据多次识别的精度进行评分；利用图形化编程软件编写机器人程序，根据精度评分控制所述工业机器人完成螺钉的抓取及放置过程的位姿规整；利用图形化编程软件，编写机器人程序，结合所述3D智能相机的识别结果，控制所述工业机器人完成对所述物料盒中散乱螺钉的分拣操作；S9、对操作平台的机器人进行编程和规划，实现机器人自动决策、运动完成规定动作和任务、人机协同应用、机器人自我诊断和远程智能维护；S10、融合人工智能模型学习和训练的结果，以及结合机器人的自主规划功能，应用机器人人工智能应用技术，调用操作平台的相应功能组件，操作、编程并调试，在操作平台上实现典型工业场景完整任务。2.如权利要求1所述的一种基于3D相机的无序分拣方法，其特征在于，步骤S2中，所述工业机器人将所述物料盒移动至分拣及装配工作站3...

【专利技术属性】
技术研发人员：郭晓晨，朱悦灏，
申请(专利权)人：苏州海翌智能科技有限公司，
类型：发明
国别省市：