图像数据处理方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术公开了一种图像数据处理方法、装置、电子设备和存储介质。图像数据处理方法包括：获取包括至少一个待抓取物品的图像数据；对所述图像数据进行可抓取区域识别处理，识别图像中的待抓取物品的可抓取区域并生成可抓取区域参考数据，所述可抓取区域参考数据可视化地示出夹具能够抓起待抓取物品的可抓取区域；以及对所述图像数据进行压叠检测处理，预测图像中的每一个待抓取物品是否被压叠；基于所述压叠检测处理的结果，对所述可抓取区域参考数据进行处理，以在可抓取区域参考数据中剔除因压叠而导致的不可抓取的区域。本发明专利技术根据压叠检测清筐对待抓取物品的可抓取区域进行过滤，避免了使用夹具抓取物品时，由于物品被压叠，导致的抓取失败。导致的抓取失败。导致的抓取失败。

【技术实现步骤摘要】
图像数据处理方法、装置、电子设备和存储介质


[0001]本申请涉及机械手臂或夹具的自动控制、程序控制B25J领域，更具体而言，特别涉及图像数据处理方法、装置、电子设备和存储介质。

技术介绍

[0002]机器人具有感知、决策、执行等基本特征，可以辅助甚至替代人类完成危险、繁重、复杂的工作，提高工作效率与质量，服务人类生活，扩大或延伸人的活动及能力范围。随着工业自动化和计算机技术的发展，机器人开始进入大量生产和实际应用阶段。在工业场景中，工业机器人已经有很普遍的应用，能够代替人类执行一些重复性或者具有危险的工作。基于机器人视觉的智能型程控机器人，主要实现方式是通过相机等视觉采集装置获取与任务相关的图像数据，基于图像数据获得3D点云信息，再基于点云信息对机器人的作业进行规划，包括运动速度，运动轨迹等信息，从而控制机器人执行任务。
[0003]上述基于3D点云信息的机器人控制方法，可以在使用夹具执行抓取任务的场景中使用。除了基于3D点云信息，还开发了基于待抓取物品的可抓取区域信息控制夹具执行抓取任务的方案。然而在某些任务场景中，例如大量物品以无序，散乱的方式堆放在一起，而任务需求是将这些物品分拣抓取至指定位置的场景中，使用现有的基于可抓取区域控制夹具执行抓取的方案时，由于在这样的场景中物品之间相互堆叠的情况十分普遍，而上述现有的方案中并未考虑物品的压叠情况。如此，很容易导致在执行抓取任务时发生夹具将物品“带飞”出料框，导致货品损坏，或者一次性将两个或以上物体分拣出，或者夹具抓取被压叠的物体时吸力不足等异常情况。/>[0004]此外，目前已经存在的压叠检测方法通过点云聚类和点云几何分析的方式确定物品的压叠情况，然而点云聚类和分析的方法在压叠物体检测中存在以下问题：第一，计算速度慢，效率低，不能很好地满足机器人抓取的实时性要求；第二，需要设计复杂的规则，设计难度大，且对于不同抓取场景的泛化能力弱。为了解决工业机器人抓取场景下由于物体压叠导致的异常抓取情况，需要构建一种快速的、鲁棒的压叠物体检测方法。

技术实现思路

[0005]鉴于上述问题，提出了本专利技术以便克服上述问题或者至少部分地解决上述问题。具体地，首先，本专利技术能够根据压叠检测的判断结果对待抓取物品的可抓取区域进行过滤，将可能被压叠的物品所对应的可抓取区域剔除，使得夹具不会在该区域抓取物品，由此避免了使用夹具抓取物品时，由于物品被压叠，导致抓取时出现带飞，或者双抓等情况；其次，本专利技术还提出了基于图像数据处理的压叠检测方法，与现有的压叠检测方法不同，本专利技术基于物品实例识别，并针对每个识别出的实例确定其压叠概率，无需获取物品的点云数据并对点云数据进行聚类和分析处理，并且运算速度快，泛用性也较好。
[0006]本申请权利要求和说明书所披露的所有方案均具有上述一个或多个创新之处，相应地，能够解决上述一个或多个技术问题。具体地，本申请提供一种图像数据处理方法、装
置、电子设备和存储介质。
[0007]本申请的实施方式的图像数据处理方法，包括：
[0008]获取包括至少一个待抓取物品的图像数据；
[0009]对所述图像数据进行可抓取区域识别处理，识别图像中的待抓取物品的可抓取区域并生成可抓取区域参考数据，所述可抓取区域参考数据可视化地示出夹具能够抓起待抓取物品的可抓取区域；以及
[0010]对所述图像数据进行压叠检测处理，预测图像中的每一个待抓取物品是否被压叠；
[0011]基于所述压叠检测处理的结果，对所述可抓取区域参考数据进行处理，以在可抓取区域参考数据中剔除因压叠而导致的不可抓取的区域。
[0012]在某些实施方式中，所述识别图像中的待抓取物品的可抓取区域，包括：基于所述图像的像素点特征识别待抓取物品的可抓取区域。
[0013]在某些实施方式中，所述可抓取区域识别处理与所述压叠检测处理并行执行。
[0014]在某些实施方式中，基于深度学习网络执行可抓取区域识别处理和/或所述压叠检测处理。
[0015]在某些实施方式中，基于所述可抓取区域参考数据的中点以及待抓取物品的压叠情况，剔除因压叠而导致的不可抓取的区域。
[0016]在某些实施方式中，基于所述可抓取区域参考数据的外接矩形，获取所述可抓取区域参考数据的中点。
[0017]在某些实施方式中，所述基于所述可抓取区域参考数据的中点以及待抓取物品的压叠情况，剔除因压叠而导致的不可抓取的区域，具体包括：
[0018]确定可抓取区域参考数据的中心点；
[0019]获取可抓取区域参考数据中心点的位置信息；
[0020]基于所述位置信息判断所述中心点是否位于被检测为压叠的待抓取物品内；
[0021]当判断结果为是时，删除所述中心点对应的可抓取区域。
[0022]在某些实施方式中，所述可抓取区域参考数据包括可抓取区域掩膜。
[0023]本申请的实施方式的图像数据处理装置，包括：
[0024]图像数据获取模块，用于获取包括至少一个待抓取物品的图像数据；
[0025]可抓取区域识别模块，用于对所述图像数据进行可抓取区域识别处理，识别图像中的待抓取物品的可抓取区域并生成可抓取区域参考数据，所述可抓取区域参考数据可视化地示出夹具能够抓起待抓取物品的可抓取区域；以及
[0026]压叠检测模块，用于对所述图像数据进行压叠检测处理，预测图像中的每一个待抓取物品是否被压叠；
[0027]可抓取区域过滤模块，用于基于所述压叠检测处理的结果，对所述可抓取区域参考数据进行处理，以在可抓取区域参考数据中剔除因压叠而导致的不可抓取的区域。
[0028]在某些实施方式中，所述识别图像中的待抓取物品的可抓取区域，包括：基于所述图像的像素点特征识别待抓取物品的可抓取区域。
[0029]在某些实施方式中，所述可抓取区域处理模块与压叠检测模块并行对图像数据进行处理。
[0030]在某些实施方式中，所述可抓取区域识别模块和/或所述压叠检测模块基于深度学习网络对图像数据进行处理。
[0031]在某些实施方式中，所述可抓取区域过滤模块基于所述可抓取区域参考数据的中点以及待抓取物品的压叠情况，剔除因压叠而导致的不可抓取的区域。
[0032]在某些实施方式中，基于所述可抓取区域参考数据的外接矩形，获取所述可抓取区域参考数据的中点。
[0033]在某些实施方式中，可抓取区域过滤模块具体包括：
[0034]中心点确定模块，用于确定可抓取区域参考数据的中心点；
[0035]位置信息获取模块，用于获取可抓取区域参考数据中心点的位置信息；
[0036]判断模块，用于基于所述位置信息判断所述中心点是否位于被检测为压叠的待抓取物品内；
[0037]删除模块，用于当判断模块判断结果为是时，删除所述中心点对应的可抓取区域。
[0038]在某些实施方式中，所述可抓取区域参考数据包括可抓取区域掩膜。
[0039]本申请的实施方式的电子设备包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像数据处理方法，其特征在于，包括：获取包括至少一个待抓取物品的图像数据；对所述图像数据进行可抓取区域识别处理，识别图像中的待抓取物品的可抓取区域并生成可抓取区域参考数据，所述可抓取区域参考数据可视化地示出夹具能够抓起待抓取物品的可抓取区域；以及对所述图像数据进行压叠检测处理，预测图像中的每一个待抓取物品是否被压叠；基于所述压叠检测处理的结果，对所述可抓取区域参考数据进行处理，以在可抓取区域参考数据中剔除因压叠而导致的不可抓取的区域。2.根据权利要求1所述的图像数据处理方法，其特征在于：所述识别图像中的待抓取物品的可抓取区域，包括：基于所述图像的像素点特征识别待抓取物品的可抓取区域。3.根据权利要求1所述的图像数据处理方法，其特征在于：所述可抓取区域识别处理与所述压叠检测处理并行执行。4.根据权利要求1所述的图像数据处理方法，其特征在于：基于深度学习网络执行可抓取区域识别处理和/或所述压叠检测处理。5.根据权利要求1所述的图像数据处理方法，其特征在于：基于所述可抓取区域参考数据的中点以及待抓取物品的压叠情况，剔除因压叠而导致的不可抓取的区域。6.根据权利要求5所述的图像数据处理方法，其特征在于：基于所述可抓取区域参考数据的外接矩形，获取所述可抓取区域参考数据的中点。7.根据权利要求5所述的图像数据处理方法，其特征在于：所述基于所述可抓取区域参考数据的中点以及待抓取物品的压叠情况，剔除因压叠而导致的不可抓取的区域，具体包括：确定可抓取区域参考数据的中心点；获取可抓取区域参考数据中心点的位置信息；基于所述位置信息判断所述中心点是否位于被检测为压叠的待抓取物品内；当判断结果为是时，删除所述中心点对应的可抓取区域。8.根据权利要求1
‑
7中任一项所述的图像数据处理方法，其特征在于：所述可抓取区域参考数据包括可抓取区域掩膜。9.一种图像数据处理装置，其特征在于，包括：图像数据获取模块，用于获取包括至少一个待抓取物品的图像数据；可抓取区域识别模块，用于对所述图像数据进行可抓取区域识别处理，识别图像中的待抓取物品的可抓取区域并生成可抓取区域参考数据，所述可抓取区域参考数据可视化地示...

【专利技术属性】
技术研发人员：崔致豪，丁有爽，邵天兰，
申请(专利权)人：梅卡曼德北京机器人科技有限公司，
类型：发明
国别省市：