抓取系统及抓取方法技术方案

本公开公开了一种抓取系统和抓取方法。抓取方法用于对放置在物品盛放装置中的物品进行抓取，包括如下步骤：对待抓取的物品进行视觉信息采集；对所采集的视觉信息进行处理；基于所处理的视觉信息确定抓取策略；基于所述抓取策略，对物品进行抓取；对所采集的视觉信息进行处理包括：判断可抓取空间，并对可抓取空间中的所有物品的轮廓进行识别，从所述轮廓中分割出不同的物品，对分割出的物品进行三维建模，确认不同物品之间的相对空间关系。本公开采用三维机器视觉，从而准确的在无序堆叠状态下识别出物品的轮廓并三维建模，解决了二维图像特征不明显，品类识别不准的问题。品类识别不准的问题。品类识别不准的问题。

【技术实现步骤摘要】
抓取系统及抓取方法


[0001]本公开属于机器人
，具体来说涉及一种抓取系统及抓取方法。

技术介绍

[0002]随着机器人技术的发展，机械臂已经在多种场合获得了广泛应用。机器人能够代替人工从事复杂以及者重复性强的工作，其效率及精确度远远高于人工。此外，机器人能够到达对人而言并不合适的场合，例如危险场合，以及一些温度较高人类不适合工作太长时间的场合。例如，在各种工业流水线上，已经大量使用机器人以提高生产效率和良品率；在核电站、炼钢厂等场所，机器人的身影也频频出现。
[0003]目前，在餐饮行业也逐渐开始使用机器人。在餐饮行业中，主要是采用机械臂按照事先设定好的程序来抓取按照确定的规则摆放的具有规则结构的物品。
[0004]但是，在餐饮行业，目前采用机械臂来实现食品的抓取仍然存在很大的困难。以快餐行业为例，对于外观不规则的产品，例如鸡腿，如果顾客点了鸡腿，那么当机械臂在盛有鸡腿的餐盘中抓取时，由于每个鸡腿的形状存在差异，而堆叠在一起的多个鸡腿中的各个鸡腿的位置并无规则，且鸡腿的位置会随着其他鸡腿被抓取而发生改变，因此机械臂无法按照实现确定的程序来抓取鸡腿。这种情况同样适应于其他无序堆叠的视频，例如薯条、鸡翅等。并且，由于多个鸡腿是无序堆叠的，在基于图像识别的抓取装置中，在所识别到的图像中，可能会出现各个鸡腿连成一个完整的平面的情况，从而使得无法判断哪个鸡腿是可抓取对象。
[0005]此外，由于肉类食品的外观相似度较高，二维特征不明显，但每一份产品又都有不同的差异，因此，依靠二维图像对食品进行识别准确率比较低。

技术实现思路

[0006]基于此，有必要提供一种抓取系统以及抓取方法，以解决现有技术的抓取方式存在的上述问题中至少一个。
[0007]本公开提出一种抓取方法，用于对放置在物品盛放装置中的物品进行抓取，包括如下步骤：
[0008]对待抓取的物品进行视觉信息采集；
[0009]对所采集的视觉信息进行处理；
[0010]基于所处理的视觉信息确定抓取策略；
[0011]基于所述抓取策略，对物品进行抓取；
[0012]对所采集的视觉信息进行处理包括：
[0013]判断可抓取空间，并对可抓取空间中的所有物品的轮廓进行识别，从所述轮廓中分割出不同的物品，对分割出的物品进行三维建模，确认不同物品之间的相对空间关系。
[0014]根据本公开的一个方面，对所采集的视觉信息进行处理还包括：判断出物品盛放装置的边界，从而判断可抓取空间的边缘、底部发生碰撞，并避免在抓取过程中抓取到所述
边缘或与所述边缘、底部发生碰撞。
[0015]根据本公开的一个方面，所述视觉信息采集基于三维机器视觉技术。
[0016]根据本公开的一个方面，对所有可抓取物品中的每个物品的可抓取状态进行评分，并确认所有可抓取物品的评分中的评分最高项；
[0017]将评分最高项与阈值进行比较；如果评分最高项超过阈值，则抓取所述评分最高项对应的物品；如果评分最高项未超过阈值，则判定为无可抓取物品，在改变物品的放置状态后，重新进行抓取。
[0018]根据本公开的一个方面，对所采集的视觉信息进行处理还包括：
[0019]对待抓取的物品进行识别，确认物品的种类。
[0020]根据本公开的一个方面，对所采集的视觉信息进行处理还包括：
[0021]结合物体的三维模型以及识别出的物品种类，确认物品所处的位置坐标以及相应的姿态。
[0022]此外，本公开还提出一种用于执行本公开的抓取方法的抓取系统，所述抓取系统包括：
[0023]视觉信息采集装置，用于对物品盛放装置内的物品进行视觉信息采集；
[0024]视觉信息处理装置，接收来自所述视觉信息采集装置的视觉信息，并对所接收的视觉信息进行处理；
[0025]抓取装置控制装置，被配置为能够接收来自所述视觉信息处理装置的经处理的视觉信息，并基于该经处理的视觉信息给出控制策略；
[0026]抓取装置，被配置为按照所述抓取装置控制装置的控制策略对物品盛放装置内的物品执行对应的操作。
[0027]根据本公开的一个方面，所述抓取装置包括机械臂和夹爪。
[0028]根据本公开的一个方面，所述抓取装置控制装置结合待抓取的物品的种类、位置、姿态、重心中的至少一个，及不同物品间的空间关系，并结合可抓取空间以及物品盛放装置的边界信息，确认所述机械臂的下爪位置、角度，以及夹爪的抓取姿态。
[0029]根据本公开的一个方面，所述视觉信息采集装置选自三维坐标测量机、三维激光扫描仪或者照相式三维扫描仪中的至少一个。
[0030]本公开提出的抓取系统和抓取方法具有以下优点：
[0031]1、基于食物的三维模型进行碰撞检测，并计算对象的位置，姿态，重心点，可能的下爪空间，最终进行评分选出最优抓取对象，并且在不存在合适的抓取对象的情况下，可以通过对物品的拨动来改变当前物品的状态，以便获得合适的抓取对象；
[0032]2、采用三维机器视觉，从而准确的在无序堆叠状态下识别出物品的轮廓并三维建模；
[0033]3、使用三维视觉识别技术，解决了二维图像特征不明显，品类识别不准的问题。
附图说明
[0034]从以下对优选实施例的说明以及结合附图得到本公开的其它优点、特征和细节。之前在说明书中提到的特征和特征组合以及以下在附图说明中提到的和/或在图中单独示出的特征和特征组合不仅在各自所说明的组合中、也在其它组合中或单独地可采用，而没
有脱离本公开范围。在附图中：
[0035]图1示意性示出了待抓取的物品的俯视图；
[0036]图2示意性示出了根据本公开的抓取系统的模块图；
[0037]图3示意性示出了根据本公开的抓取方法的流程图；
[0038]图4是基于图3所示流程图的具体流程图。
[0039]附图仅是示意性的，且并不一定按比例绘制，此外它们仅示出为了阐明本公开所必需的那些部分，而其他部分可能被省略或仅仅简单提及。即，除附图中所示出的部件外，本公开还可以包括其他部件。
具体实施方式
[0040]虽然将参照含有本公开的较佳实施例的附图充分描述本公开，但在此描述之前应了解本领域的普通技术人员可修改本文中所描述的公开，同时获得本公开的技术效果。因此，须了解本文中的描述对本领域的普通技术人员而言为一广泛的揭示，且其内容不在于限制本公开所描述的示例性实施例。
[0041]另外，在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。在其他情况下，公知的结构和装置以图示的方式体现以简化附图。
[0042]参见图1，其中示意性地示出了待抓取的物品的示意图。在图1中，待抓取的物品200以鸡腿的形式示出，但是这仅仅是示意性的示例。除鸡腿外，还可以是例如鸡翅等形状虽然大致相似但是具体的尺寸本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抓取方法，用于对放置在物品盛放装置中的物品进行抓取，其特征在于，包括如下步骤：对待抓取的物品进行视觉信息采集；对所采集的视觉信息进行处理；基于所处理的视觉信息确定抓取策略；基于所述抓取策略，对物品进行抓取；对所采集的视觉信息进行处理包括：判断可抓取空间，并对可抓取空间中的所有物品的轮廓进行识别，从所述轮廓中分割出不同的物品，对分割出的物品进行三维建模，确认不同物品之间的相对空间关系。2.根据权利要求1所述的抓取方法，其特征在于，对所采集的视觉信息进行处理还包括：判断出物品盛放装置的边界，从而判断可抓取空间的边缘、底部发生碰撞，并避免在抓取过程中抓取到所述边缘或与所述边缘、底部发生碰撞。3.根据权利要求1所述的抓取方法，其特征在于，所述视觉信息采集基于三维机器视觉技术。4.根据权利要求1所述的抓取方法，其特征在于，确定抓取策略还包括：对所有可抓取物品中的每个物品的可抓取状态进行评分，并确认所有可抓取物品的评分中的评分最高项；将评分最高项与阈值进行比较；如果评分最高项超过阈值，则抓取所述评分最高项对应的物品；如果评分最高项未超过阈值，则判定为无可抓取物品，在改变物品的放置状态后，重新进行抓取。5.根据权利要求1
‑
4中任一项所述的抓取方法，其特征在于，对所采集的视觉信息进行处理还包括：对待抓取的物品进行识别，确认物品的种类。6.根据权利要求5所述的抓取方法，其特征在于，对所采集的视觉信息...

【专利技术属性】
技术研发人员：吴祺，胡晏莹，王鸿，
申请(专利权)人：胜斗士上海科技技术发展有限公司，
类型：发明
国别省市：