基于实例分割的目标物抓取方法和设备技术

本披露公开了一种基于实例分割的目标物抓取方法和设备。该方法包括：获取目标物图像；利用目标物分割模型对目标物图像进行实例分割，得到目标物掩膜；根据目标物掩膜计算目标物的中心位置；根据中心位置和目标物掩膜，确定目标物朝向；根据目标物朝向确定目标物的抓取角度，使得抓取装置以抓取角度抓取目标物时，目标物朝向与抓取装置的主轴方向相对应；基于中心位置和抓取角度，指示抓取装置抓取目标物。通过上述方法能够在抓取目标物时就完成抓取装置姿态的调整，从而令抓取装置在目标物上的统一抓取点进行抓取并以统一姿态实现码垛，无需进行二次姿态识别，也无需调整抓手姿态，有效提高了作业效率较低并降低作业成本。有效提高了作业效率较低并降低作业成本。有效提高了作业效率较低并降低作业成本。

【技术实现步骤摘要】
基于实例分割的目标物抓取方法和设备


[0001]本披露一般涉及图像处理
更具体地，本披露涉及一种基于实例分割的目标物抓取方法和设备。

技术介绍

[0002]随着智能制造的兴起，制造业逐渐采用机器人等相关的自动化设备来代替人工作业，例如：工件搬运作业等。为了让自动化设备能够顺利抓取目标物，在一些现有技术中，需要事先对机器人进行位置点示教，让机器人记录当前固定的搬运位置，但在此方案下，机器人只能以较为固定的方式进行抓取，容易引发抓空、抓偏及抓错的情况出现。
[0003]由此，现有技术中产生了一种通过计算机视觉处理来定位抓取目标物的方案，其通过图像处理定位出目标物的中心坐标，并基于该中心坐标指示机器人进行目标物抓取，防止机器人抓空、抓偏及抓错目标物。
[0004]但是，由于自动化设备搬运的目标物可能呈非规整形状，虽然统一抓取目标物的中心坐标能够防止抓空、抓偏及抓错的情况出现，但在自动化设备将目标物放置到目标位置时，需要对抓取的目标物再次进行图像采集并进行二次姿态识别。另外，还需要基于识别结果进行抓手姿态调整，方可保证目标物在目标位置整齐码垛，影响作业效率且二次姿态识别产生额外成本。
[0005]有鉴于此，亟需提供一种基于实例分割的目标物抓取方案，以便让抓取装置在放置目标物时，无需二次姿态识别和抓手姿态调整，即可以统一姿态完成目标物的码垛，提高作业效率较低并降低成本。

技术实现思路

[0006]为了至少解决如上所提到的一个或多个技术问题，本披露在多个方面中提出了基于实例分割的目标物抓取方案。
[0007]在第一方面中，本披露提供一种基于实例分割的目标物抓取方法，包括：获取目标物图像；利用目标物分割模型对目标物图像进行实例分割，得到目标物掩膜；根据目标物掩膜计算目标物的中心位置；根据中心位置和目标物掩膜，确定目标物朝向；根据目标物朝向确定目标物的抓取角度，使得抓取装置以抓取角度抓取目标物时，目标物朝向与抓取装置的主轴方向相对应；基于中心位置和抓取角度，指示抓取装置抓取目标物。
[0008]在一些实施例中，目标物朝向为中心位置指向目标物掩膜上目标边缘点的方向；在目标物掩膜的所有边缘点中，目标边缘点对应的曲率半径为极值。
[0009]在一些实施例中，目标物的中心位置为目标物的重心；根据中心位置和目标物掩膜，确定目标物朝向，包括：遍历目标物掩膜的所有边缘点，取其中与中心位置距离为极值的边缘点作为目标边缘点，以中心位置指向目标边缘点的方向作为目标物朝向。
[0010]在一些实施例中，根据中心位置和目标物掩膜，确定目标物朝向，包括：建立圆形窗口；令圆形窗口的圆心沿目标物掩膜的边缘移动，并计算每一边缘点对应的尖锐参数；尖
锐参数包括：圆形窗口的圆心在边缘点上对应的圆心角，或圆形窗口与目标物掩膜的重合面积；取尖锐参数极值对应的边缘点作为目标边缘点，以中心位置指向目标边缘点的方向作为目标物朝向。
[0011]在一些实施例中，目标物朝向与抓取装置的主轴方向相对应，包括：目标物朝向与抓取装置的主轴方向一致；或目标物朝向与抓取装置的主轴方向的相对关系与预设相对关系一致。
[0012]在一些实施例中，根据目标物掩膜计算目标物的中心位置之前，还包括：对目标物掩膜进行腐蚀处理，以更新目标物掩膜。
[0013]在一些实施例中，目标物图像包括由双目相机采集得到的左图像和右图像；基于中心位置和抓取角度，指示抓取装置抓取目标物，包括：根据中心位置计算预设抓取点在图像坐标系下的像素坐标；基于左图像和右图像进行匹配，得到预设抓取点的深度信息；利用双目相机的标定模型和深度信息，将像素坐标转换为世界坐标系下的空间坐标；指示抓取装置移动至空间坐标并以抓取角度抓取目标物。
[0014]在一些实施例中，基于左图像和右图像进行匹配，得到预设抓取点的深度信息，包括：通过极线约束搜索左图像和右图像的匹配点；利用三角定位原理，根据匹配点计算预设抓取点的深度信息。
[0015]在一些实施例中，对目标物图像进行实例分割，得到目标物掩膜之前，还包括：采集不同环境下呈不同排列方式的目标物样本图像；对目标物样本图像进行标注，以形成训练集；基于训练集对实例分割网络进行模型训练，以得到目标物分割模型。
[0016]在第二方面中，本披露提供一种电子设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如第一方面的方法。
[0017]通过如上所提供的基于实例分割的目标物抓取方法，本披露实施例在分割得到目标物掩膜后计算出目标物的中心位置，并利用该中心位置和目标物掩膜计算出目标物朝向，从而确定目标物的抓取角度。通过该抓取角度抓取目标物时，目标物朝向与抓取装置的主轴方向相对应，因此，每一目标物被抓取时，其与抓取装置的相对姿态是统一固定的，即在基于抓取角度和中心位置抓取目标物时就完成了抓取装置姿态的调整，从而令抓取装置在统一位置抓取目标物并能够以统一姿态实现目标物的码垛，无需对抓取的目标物进行二次姿态识别，也无需调整抓手姿态。通过在目标物位置定位的同时完成抓手姿态的调整，有效提高了作业效率较低并降低作业中图像处理的成本。
附图说明
[0018]通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本披露的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：图1示出了本披露实施例的基于实例分割的目标物抓取方法的示例性流程图；图2示出了一些耐火砖的示例性图像；图3示出了一些耐火砖的目标物掩膜的示例性图像；图4示出了本披露的一些实施例的抓取装置控制方法的示例性流程图；图5示出了本披露一些实施例的目标物朝向的确定方法的示例性流程图；
图6示出了本披露另一些实施例的目标物朝向的确定方法的示例性流程图；图7示出了本披露另一些实施例的目标物朝向的确定过程的示意图；图8示出了本披露另一些实施例的目标物分割模型的构建方法的示例性流程图；图9示出了本披露实施例的电子设备的示例性结构框图。
具体实施方式
[0019]下面将结合本披露实施例中的附图，对本披露实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本披露一部分实施例，而不是全部的实施例。基于本披露中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本披露保护的范围。
[0020]应当理解，本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0021]还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实例分割的目标物抓取方法，其特征在于，包括：获取目标物图像；利用目标物分割模型对所述目标物图像进行实例分割，得到目标物掩膜；根据所述目标物掩膜计算所述目标物的中心位置；根据所述中心位置和所述目标物掩膜，确定目标物朝向；所述目标物朝向为所述中心位置指向所述目标物掩膜上目标边缘点的方向；在所述目标物掩膜的所有边缘点中，所述目标边缘点对应的曲率半径为极值；根据所述目标物朝向确定所述目标物的抓取角度，使得抓取装置以所述抓取角度抓取所述目标物时，所述目标物朝向与所述抓取装置的主轴方向相对应；基于所述中心位置和所述抓取角度，指示抓取装置抓取目标物。2.根据权利要求1所述的基于实例分割的目标物抓取方法，其特征在于，所述目标物的中心位置为所述目标物的重心；所述根据所述中心位置和所述目标物掩膜，确定目标物朝向，包括：遍历所述目标物掩膜的所有边缘点，取其中与所述中心位置距离为极值的边缘点作为目标边缘点，以所述中心位置指向所述目标边缘点的方向作为所述目标物朝向。3.根据权利要求1所述的基于实例分割的目标物抓取方法，其特征在于，所述根据所述中心位置和所述目标物掩膜，确定目标物朝向，包括：建立圆形窗口；令所述圆形窗口的圆心沿所述目标物掩膜的边缘移动，并计算每一边缘点对应的尖锐参数；所述尖锐参数包括：所述圆形窗口的圆心在边缘点上对应的圆心角，或所述圆形窗口与所述目标物掩膜的重合面积；取尖锐参数极值对应的边缘点作为目标边缘点，以所述中心位置指向所述目标边缘点的方向作为所述目标物朝向。4.根据权利要求1所述的基于实例分割的目标物抓取方法，其特征在于，所述目标物朝向与所述抓取装置的主轴方向相对应，包括：所述目标物朝向与所述抓取装置的主轴方向一致；或所述目标...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：高视科技苏州有限公司，
类型：发明
国别省市：