一种采用实例分割的机器人分拣方法及其系统技术方案

本发明专利技术涉及工业机器人乱序分拣技术，特别涉及一种采用实例分割的机器人分拣方法及其系统；本发明专利技术先通过传感器采集图片信息；再对采集到的图片信息进行灰度图与深度图的融合，形成混合图；然后建立训练模型，将混合图的数据作为训练模型的输入数据；最后分割出目标的完整度，根据目标的完整度来进行机器人抓取的顺序，目标的完整度是指目标露出部分的面积占整个目标的面积的比例数值；本发明专利技术利用深度图与灰色图混合，对乱序堆放的物品进行实例分割，然后建立模型从而确定物品露出的完整度来进行位姿的估计，再排序出无人机器人的抓取顺序，从而引导机器人进行分拣工作；本发明专利技术操作方便，机器人分拣效率高而且准确。机器人分拣效率高而且准确。机器人分拣效率高而且准确。

【技术实现步骤摘要】
一种采用实例分割的机器人分拣方法及其系统


[0001]本专利技术涉及工业机器人乱序分拣技术，特别涉及一种采用实例分割的机器人分拣方法及其系统。

技术介绍

[0002]随着工业发展，视觉与工业机器人相结合以其速度快，灵活性强等特点广泛应用在生产线的分拣行业。
[0003]近几年来随着深度学习技术的不断发展，计算机视觉的相关技术有了质的飞跃。图像的分割技术当前被广泛的应用在无人驾驶等领域，通过图像的分割技术给出当前无人车运行环境中的可行路径以及障碍物等相关信息，从而指引无人车更好的在复杂的环境中运行。
[0004]基于视觉的分拣系统主要将工业相机采集的图像进行处理，获取工件的位置信息，将信息传输给控制器，进而控制机器人完成对工件的分拣；然而无人机对工件进行分拣时，时常出现乱抓取的现象，主要是因为采集数据不清晰，导致生成的模型出现紊乱，致使后续无法进行排序顺序进行抓取，而且抓取顺序无法进行稳定地排序。

技术实现思路

[0005]本专利技术主要解决的技术问题是提供一种采用实例分割的机器人分拣方法，主要利用深度图与灰色图混合，对乱序堆放的物品进行实例分割，然后建立模型从而确定物品露出的完整度来进行位姿的估计，再排序出无人机器人的抓取顺序，从而引导机器人进行分拣工作；本专利技术还提供一种采用实例分割的机器人分拣系统。
[0006]为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种采用实例分割的机器人分拣方法，其中，包括如下步骤：
[0007]步骤S1、通过传感器采集图片信息；
[0008]步骤S2、对采集到的图片信息进行灰度图与深度图的融合，形成混合图；
[0009]步骤S3、建立训练模型，将混合图的数据作为训练模型的输入数据；
[0010]步骤S4、分割出目标的完整度，根据目标的完整度来进行机器人抓取的顺序，目标的完整度是指目标露出部分的面积占整个目标的面积的比例数值。
[0011]作为本专利技术的一种改进，在步骤S2内，将采集到的图片信息进行三通道的数据输入，三通道分别为用于输入灰度图信息的第一通道、用于输入深度图信息的第二通道和用于输入灰度图与深度图的混合图信息的第三通道。
[0012]作为本专利技术的进一步改进，在所述第一通道内，灰度图的像素的取值范围采用0～255。
[0013]作为本专利技术的更进一步改进，在所述第二通道内，深度图的数据使用2个字节的整型数据来表示。
[0014]作为本专利技术的更进一步改进，在所述第三通道内，将灰度图与深度图进行融合，是
指将灰度图的表示位数先对应到2个字节，然后再按照分别0.5的权重进行分配，形成最后的混合图。
[0015]作为本专利技术的更进一步改进，在步骤S3内，建立训练模型，将混合图的数据作为训练模型的输入数据，形成目标的模型，并设置虚拟相机的位置和视角，以及场景的环境光线，生成乱序的目标摆放场景，同时给出场景下所有目标的像素级标注。
[0016]作为本专利技术的更进一步改进，在步骤S4内，包括如下步骤：
[0017]步骤S41、得到目标其投影到成像平面上时，整个目标的面积与实际目标露出部分的面积；
[0018]步骤S42、采用目标露出部分的面积除以整个目标的面积作为完整度的度量值。
[0019]作为本专利技术的更进一步改进，在步骤S4内，依据目标的完整度从高至低的顺序，生成机器人抓取的顺序。
[0020]一种采用实例分割的机器人分拣系统，其中，包括：
[0021]采集模块，用于通过传感器采集图片信息；
[0022]融合模块，用于对采集到的图片信息进行灰度图与深度图的融合，形成混合图；
[0023]生成训练模块，用于建立训练模型，将混合图的数据作为训练模型的输入数据；
[0024]排序模块，用于分割出目标的完整度，根据目标的完整度来进行机器人抓取的顺序，目标的完整度是指目标露出部分的面积占整个目标的面积的比例数值。
[0025]本专利技术的有益效果是：与现有技术相比，本专利技术利用深度图与灰色图混合，对乱序堆放的物品进行实例分割，然后建立模型从而确定物品露出的完整度来进行位姿的估计，再排序出无人机器人的抓取顺序，从而引导机器人进行分拣工作；本专利技术操作方便，机器人分拣效率高而且准确。
附图说明
[0026]图1为本专利技术的采用实例分割的机器人分拣方法的步骤框图；
[0027]图2为本专利技术的采用实例分割的机器人分拣方法的步骤S4内的内部步骤框图；
[0028]图3为本专利技术的采用实例分割的机器人分拣系统的框图；
[0029]图4为本专利技术的一个实施例内采用Mask-RCNN的网络结构图；
[0030]图5为本专利技术的一个实施例内工件完整度预测的分子网络图。
具体实施方式
[0031]实例分割的目的是在图像中将每一个物体都找到并给出像素级的分类。实例分割可以看成是建立在目标检测与语义分割的基础上，一、其与目标检测的不同在于，实例分割给出目标更为精准的像素级的分了；二、其与语义分割不同的在于，同一类别的不同个体也要给与区分；因此，实例分割可以认为是更加复杂与困难的目标检测与语义分割。
[0032]如图1所示，本专利技术提供一种采用实例分割的机器人分拣方法，包括如下步骤：
[0033]步骤S1、通过传感器采集图片信息；
[0034]步骤S2、对采集到的图片信息进行灰度图与深度图的融合，形成混合图；
[0035]步骤S3、建立训练模型，将混合图的数据作为训练模型的输入数据；
[0036]步骤S4、分割出目标的完整度，根据目标的完整度来进行机器人抓取的顺序，目标
的完整度是指目标露出部分的面积占整个目标的面积的比例数值。
[0037]本专利技术利用深度图与灰色图混合，对乱序堆放的物品进行实例分割，然后建立模型从而确定物品露出的完整度来进行位姿的估计，再排序出无人机器人的抓取顺序，从而引导机器人进行分拣工作；本专利技术操作方便，机器人分拣效率高而且准确。
[0038]其中，在步骤S2内，将采集到的图片信息进行三通道的数据输入，三通道分别为用于输入灰度图信息的第一通道、用于输入深度图信息的第二通道和用于输入灰度图与深度图的混合图信息的第三通道；进一步，在第一通道内，灰度图的像素的取值范围采用0～255；在第二通道内，深度图的数据使用2个字节的整型数据来表示；在第三通道内，将灰度图与深度图进行融合，是指将灰度图的表示位数先对应到2个字节，然后再按照分别0.5的权重进行分配，形成最后的混合图。
[0039]在本专利技术内，在步骤S3内，建立训练模型，将混合图的数据作为训练模型的输入数据，形成目标的模型，并设置虚拟相机的位置和视角，以及场景的环境光线，生成乱序的目标摆放场景，同时给出场景下所有目标的像素级标注。
[0040]如图2所示，在步骤S4内，包括如下步骤：
[0041]步骤S41、得到目标其投影到成像平面上时，整个目标的面积与实际目标露出部分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种采用实例分割的机器人分拣方法，其特征在于，包括如下步骤：步骤S1、通过传感器采集图片信息；步骤S2、对采集到的图片信息进行灰度图与深度图的融合，形成混合图；步骤S3、建立训练模型，将混合图的数据作为训练模型的输入数据；步骤S4、分割出目标的完整度，根据目标的完整度来进行机器人抓取的顺序，目标的完整度是指目标露出部分的面积占整个目标的面积的比例数值。2.根据权利要求1所述的一种采用实例分割的机器人分拣方法，其特征在于，在步骤S2内，将采集到的图片信息进行三通道的数据输入，三通道分别为用于输入灰度图信息的第一通道、用于输入深度图信息的第二通道和用于输入灰度图与深度图的混合图信息的第三通道。3.根据权利要求2所述的一种采用实例分割的机器人分拣方法，其特征在于，在所述第一通道内，灰度图的像素的取值范围采用0～255。4.根据权利要求3所述的一种采用实例分割的机器人分拣方法，其特征在于，在所述第二通道内，深度图的数据使用2个字节的整型数据来表示。5.根据权利要求4所述的一种采用实例分割的机器人分拣方法，其特征在于，在所述第三通道内，将灰度图与深度图进行融合，是指将灰度图的表示位数先对应到2个字节，然后再按照分别0.5的权重进行分配，形...

【专利技术属性】
技术研发人员：刘世昌，梁亮，邹风山，王晓峰，孙铭泽，何书龙，
申请(专利权)人：山东新松工业软件研究院股份有限公司，
类型：发明
国别省市：