图像数据处理方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术公开了一种图像数据处理方法、装置、电子设备和存储介质。本发明专利技术的图像数据处理方法包括：获取包括至少一个待抓取物品的图像数据；检测所述图像数据中包括的全部待抓取物品的实例；对检测出的每一个实例进行处理以对每一个实例的压叠情况进行预测，并输出每个待抓取物品的压叠概率；对于每个待抓取物品，基于该物品的压叠概率以及预设的压叠检测阈值确定该物品是否被压叠。与现有的压叠检测方法不同，本发明专利技术基于物品实例识别，并针对每个识别出的实例确定其压叠概率，无需获取物品的点云数据并对点云数据进行聚类和分析处理，并且运算速度快，泛用性也较好。泛用性也较好。泛用性也较好。

【技术实现步骤摘要】
图像数据处理方法、装置、电子设备和存储介质


[0001]本申请涉及机械手臂或夹具的自动控制、程序控制B25J领域，更具体而言，特别涉及图像数据处理方法、装置、电子设备和存储介质。

技术介绍

[0002]机器人具有感知、决策、执行等基本特征，可以辅助甚至替代人类完成危险、繁重、复杂的工作，提高工作效率与质量，服务人类生活，扩大或延伸人的活动及能力范围。随着工业自动化和计算机技术的发展，机器人开始进入大量生产和实际应用阶段。在工业场景中，工业机器人已经有很普遍的应用，能够代替人类执行一些重复性或者具有危险的工作。基于机器人视觉的智能型程控机器人，主要实现方式是通过相机等视觉采集装置获取与任务相关的图像数据，基于图像数据获得3D点云信息，再基于点云信息对机器人的作业进行规划，包括运动速度，运动轨迹等信息，从而控制机器人执行任务。
[0003]上述基于3D点云信息的机器人控制方法，可以在使用夹具执行抓取任务的场景中使用。除了基于3D点云信息，还开发了基于待抓取物品的可抓取区域信息控制夹具执行抓取任务的方案。然而在某些任务场景中，例如大量物品以无序，散乱的方式堆放在一起，而任务需求是将这些物品分拣抓取至指定位置的场景中，使用现有的基于可抓取区域控制夹具执行抓取的方案时，由于在这样的场景中物品之间相互堆叠的情况十分普遍，而上述现有的方案中并未考虑物品的压叠情况。如此，很容易导致在执行抓取任务时发生夹具将物品“带飞”出料框，导致货品损坏，或者一次性将两个或以上物体分拣出，或者夹具抓取被压叠的物体时吸力不足等异常情况。/>[0004]此外，目前已经存在的压叠检测方法通过点云聚类和点云几何分析的方式确定物品的压叠情况，然而点云聚类和分析的方法在压叠物体检测中存在以下问题：第一，计算速度慢，效率低，不能很好地满足机器人抓取的实时性要求；第二，需要设计复杂的规则，设计难度大，且对于不同抓取场景的泛化能力弱。为了解决工业机器人抓取场景下由于物体压叠导致的异常抓取情况，需要构建一种快速的、鲁棒的压叠物体检测方法。

技术实现思路

[0005]鉴于上述问题，提出了本专利技术以便克服上述问题或者至少部分地解决上述问题。具体地，首先，本专利技术能够根据压叠检测的判断结果对待抓取物品的可抓取区域进行过滤，将可能被压叠的物品所对应的可抓取区域剔除，使得夹具不会在该区域抓取物品，由此避免了使用夹具抓取物品时，由于物品被压叠，导致抓取时出现带飞，或者双抓等情况；其次，本专利技术还提出了基于图像数据处理的压叠检测方法，与现有的压叠检测方法不同，本专利技术基于物品实例识别，并针对每个识别出的实例确定其压叠概率，无需获取物品的点云数据并对点云数据进行聚类和分析处理，并且运算速度快，泛用性也较好。
[0006]本申请权利要求和说明书所披露的所有方案均具有上述一个或多个创新之处，相应地，能够解决上述一个或多个技术问题。具体地，本申请提供一种图像数据处理方法、装
置、电子设备和存储介质。
[0007]本申请的实施方式的图像数据处理方法，包括：
[0008]获取包括至少一个待抓取物品的图像数据；
[0009]检测所述图像数据中包括的全部待抓取物品的实例；
[0010]对检测出的每一个实例进行处理以对每一个实例的压叠情况进行预测，并输出每个待抓取物品的压叠概率；
[0011]对于每个待抓取物品，基于该物品的压叠概率以及预设的压叠检测阈值确定该物品是否被压叠。
[0012]在某些实施方式中，还包括：生成至少一个待抓取物品的掩膜。
[0013]在某些实施方式中，压叠物品的掩膜与未被压叠物品的掩膜具有不同的图形特征。
[0014]在某些实施方式中，基于深度学习网络检测待抓取物品的实例并确定待抓取物品是否被压叠。
[0015]在某些实施方式中，所述待抓取物品的压叠概率包括待抓取物品的压叠置信度。
[0016]在某些实施方式中，所述深度学习网络基于物品的关键点来识别物品。
[0017]在某些实施方式中，所述物品的关键点包括物品的中心点。
[0018]在某些实施方式中，所述深度学习网络包括用于识别物品的组件以及用于生成物品掩膜的组件。
[0019]本申请的实施方式的图像数据处理装置，包括：
[0020]图像数据获取模块，用于获取包括至少一个待抓取物品的图像数据；
[0021]实例检测模块，用于检测所述图像数据中包括的全部待抓取物品的实例；
[0022]压叠概率预测模块，用于对检测出的每一个实例进行处理以对每一个实例的压叠情况进行预测，并输出每个待抓取物品的压叠概率；
[0023]压叠判断模块，用于对于每个待抓取物品，基于该物品的压叠概率以及预设的压叠检测阈值确定该物品是否被压叠。
[0024]在某些实施方式中，还包括：掩膜生成模块，用于生成至少一个待抓取物品的掩膜。
[0025]在某些实施方式中，压叠物品的掩膜与未被压叠物品的掩膜具有不同的图形特征。
[0026]在某些实施方式中，所述实例检测模块，压叠概率预测模块以及压叠判断模块，基于深度学习网络实现。
[0027]在某些实施方式中，所述待抓取物品的压叠概率包括待抓取物品的压叠置信度。
[0028]在某些实施方式中，所述深度学习网络基于物品的关键点来识别物品。
[0029]在某些实施方式中，所述物品的关键点包括物品的中心点。
[0030]在某些实施方式中，所述深度学习网络包括用于识别物品的组件以及用于生成物品掩膜的组件。
[0031]本申请的实施方式的电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施方式的图像数据处理方法。
[0032]本申请的实施方式的计算机可读存储介质其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施方式的图像数据处理方法。
[0033]本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0034]本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
[0035]图1是本申请的基于压叠检测调整物品可抓取区域的方法的流程示意图；
[0036]图2是本申请某些实施方式的掩膜预处理的示意图；
[0037]图3是本申请的物品压叠情况的示意图；
[0038]图4是本申请某些实施方式的确定物品是否被压叠的方法的流程示意图；
[0039]图5是本申请某些实施方式的对可抓取区域进行过滤的流程示意图；
[0040]图6a
‑
图6d是本申请某些实施方式的基于压叠检测结果对可抓取区域进行过滤的示意图；
[0041]图7是本申请某些实施方式的基于压叠检测调整物品可抓取区域的装置的结构示意图；
[0042]图8是本申请某些实施方式的确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像数据处理方法，其特征在于，包括：获取包括至少一个待抓取物品的图像数据；检测所述图像数据中包括的全部待抓取物品的实例；对检测出的每一个实例进行处理以对每一个实例的压叠情况进行预测，并输出每个待抓取物品的压叠概率；对于每个待抓取物品，基于该物品的压叠概率以及预设的压叠检测阈值确定该物品是否被压叠。2.根据权利要求1所述的图像数据处理方法，其特征在于，还包括：生成至少一个待抓取物品的掩膜。3.根据权利要求2所述的图像数据处理方法，其特征在于：压叠物品的掩膜与未被压叠物品的掩膜具有不同的图形特征。4.根据权利要求1
‑
3中任一项所述的图像数据处理方法，其特征在于：基于深度学习网络检测待抓取物品的实例并确定待抓取物品是否被压叠。5.根据权利要求4所述的图像数据处理方法，其特征在于：所述待抓取物品的压叠概率包括待抓取物品的压叠置信度。6.根据权利要求4所述的图像数据处理方法，其特征在于：所述深度学习网络基于物品的关键点来识别物品。7.根据权利要求4所述的图像数据处理方法，其特征在于：所述物品的关键点包括物品的中心点。8.根据权利要求4所述的图像数据处理方法，其特征在于：所述深度学习网络包括用于识别物品的组件以及用于生成物品掩膜的组件。9.一种图像数据处理装置，其特征在于，包括：图像数据获取模块，用于获取包括至少一个待抓取物品的图像数据；实例检测模块，用于检测所述图像数据中包括的全部待抓取物品的实例；压叠概率预测模块，用于对检测出的每一个实例进行处理以对每一个实例的压叠情况进行...

【专利技术属性】
技术研发人员：崔致豪，丁有爽，邵天兰，
申请(专利权)人：梅卡曼德北京机器人科技有限公司，
类型：发明
国别省市：