目标物的抓取方法、设备和存储介质技术

本申请涉及目标物的抓取方法、设备和存储介质，属于计算机技术领域。该方法包括：获取待抓取区域的深度图像；提取深度图像中待抓取的目标物对应的目标图像区域；获取目标图像区域对应三维点云数据；将三维点云数据输入预先训练的抓取策略预测模型，得到目标物的最佳抓取策略；可以解决当多个目标物堆叠摆放时，现有的目标物抓取方法无法准确地识别待抓取区域中堆叠放置的目标物的具体位置，而导致的无法准确抓取的目标物的问题；由于最佳抓取策略是基于目标图像区域对应三维点云数据生成的，所以最佳抓取策略可以准确地反映待抓取区域中目标物的三维信息，在目标物堆叠放置时，可以准确定位目标物位置，从而提高目标物抓取的准确性。确性。确性。

【技术实现步骤摘要】
目标物的抓取方法、设备和存储介质


[0001]本申请涉及一种目标物的抓取方法、设备和存储介质，属于计算机


技术介绍

[0002]随着自动控制技术的不断发展，机器手、抓取机器人等自动抓取设备被广泛应用于工业流水线中。人们可以利用抓取设备实现对目标物分拣、组装和转移等操作的自动化，提高了工业生产的效率。
[0003]现有的目标物抓取方法包括：生成待抓取区域的2D图；然后，使用2D图确定目标物的空间位置，得到位置信息；将位置信息传输至抓取设备，以供抓取设备按照位置信息抓取目标物。
[0004]但是，由于2D图不包含深度信息，所以当多个目标物堆叠摆放在待抓取区域时，现有的目标物抓取方法无法准确地识别待抓取区域中堆叠放置的目标物的具体位置。这样，会导致由于目标物的空间位置定位错误，而无法准确抓取目标物的问题。

技术实现思路

[0005]本申请提供了一种目标物的抓取方法、设备和存储介质，可以解决现有的目标物抓取方法无法准确地识别待抓取区域中堆叠放置的目标物的具体位置，从而导致由于目标物的空间位置定位错误，而无法准确抓取目标物的问题。本申请提供如下技术方案：
[0006]第一方面，提供一种目标物的抓取方法，所述方法包括：
[0007]获取待抓取区域的深度图像；
[0008]提取所述深度图像中待抓取的目标物对应的目标图像区域；
[0009]获取所述目标图像区域对应三维点云数据；
[0010]将所述三维点云数据输入预先训练的抓取策略预测模型，得到所述目标物的最佳抓取策略，以供抓取设备按照所述最佳抓取策略抓取所述目标物；所述最佳抓取策略包括最佳抓取位置信息和最佳抓取位姿信息；
[0011]其中，所述抓取策略预测模型用于预测使用多种抓取位姿对所述目标物上不同的位置进行抓取时抓取成功的概率，所述最佳抓取策略为抓取所述目标物成功的概率最高时对应的抓取策略。
[0012]可选地，所述策略预测模型包括概率预测子模型，所述概率预测子模型用于预测利用每种抓取策略抓取所述目标物时抓取成功的概率；所述将所述三维点云数据输入预先训练的抓取策略预测模型，得到所述目标物的最佳抓取策略，包括：
[0013]基于所述三维点云数据选取n个初始采样点，并确定所述n个初始采样点的抓取位姿；所述n为正整数；
[0014]将本次选取的采样点和每个采样点对应的抓取位姿输入所述概率预测子模型，得到利用每个采样点和对应的抓取位姿构成的抓取策略抓取所述目标物时成功的概率；
[0015]将每个采样点对应的概率按照由大到小的顺序排序，并确定排序在前m位的采样
点，得到m个采样点；所述m为小于或等于输入所述概率预测子模型的采样点的数量；
[0016]使用高斯混合模型拟合所述m个采样点的分布情况，得到采样点分布；
[0017]基于所述采样点分布选取k个采样点，并确定所述k个采样点的抓取位姿，再次执行所述将本次选取的采样点和每个采样点对应的抓取位姿输入所述概率预测子模型的步骤，直至所述概率预测子模型的预测次数达到预设次数时停止，所述k为正整数；
[0018]将最后一次预测时概率最高的采样点和对应的抓取位姿确定为所述目标物的最佳抓取策略。
[0019]可选地，对于所述n个初始采样点和所述k个采样点中的每个采样点，确定所述采样点的抓取位姿，包括：
[0020]从所述三维点云数据中选择与所述采样点之间的距离小于预设距离、且位于所述目标物表面的邻近点；
[0021]计算所述采样点和所述邻近点构成的表面的表面法线，所述表面法线的方向为采样点的抓取位姿，且所述表面法线的方向指向所述目标物内部。
[0022]可选地，所述提取所述深度图像中待抓取的目标物对应的目标图像区域，包括：
[0023]识别所述深度图像中静态背景区域；
[0024]将所述静态背景区域设置为黑色、将所述深度图像中的非静态背景区域的设置为白色，得到第一图像；
[0025]接收对所述深度图像中所述目标物所在区域的框选操作，得到所述深度图像中包围所述目标物的多边型框；
[0026]在所述深度图像中，将所述多边型框之外的图像区域设置为黑色、将所述多边型框所包围的图像区域设置为白色，得到第二图像；
[0027]使用所述第一图像和所述第二图像生成图像掩膜；
[0028]使用所述图像掩膜在所述深度图像中确定所述目标图像区域。
[0029]可选地，所述识别所述深度图像中静态背景区域，包括：
[0030]获取静态背景图像，所述静态背景图像为在当前抓取场景中未放置所述目标物时得到的图像；
[0031]对所述静态背景图像和所述深度图像分别进行灰度化处理；
[0032]将所述深度图像对应的灰度图像与所述静态背景图像对应的灰度图像进行图像减法操作，得到所述深度图像中的静态背景区域和所述非静态背景区域。
[0033]可选地，所述使用所述第一图像和所述第二图像生成图像掩膜，包括：
[0034]将所述第一图像和所述第二图像进行与逻辑运算，得到所述图像掩膜。
[0035]可选地，所述深度图像由采集设备采集，所述目标图像区域通过所述目标图像区域在所述深度图像中的图像坐标表示，所述获取所述目标图像区域对应三维点云数据，包括：
[0036]获取所述采集设备的内参和外参；
[0037]基于所述内参和所述外参，将所述目标图像区域的图像坐标转换至世界坐标系，得到所述目标图像区域对应三维点云数据。
[0038]可选地，所述基于所述内参和所述外参，将所述目标抓取区域的图像坐标转换至世界坐标系，包括：
[0039]使用所述图像坐标和所述内参，计算所述目标抓取区域的相机坐标；
[0040]使用所述相机坐标和所述外参，计算所述目标抓取区域的世界坐标。
[0041]第二方面，提供一种电子设备，所述电子设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面提供的目标物的抓取方法。
[0042]第三方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的目标物的抓取方法。
[0043]本申请的有益效果至少包括：通过获取待抓取区域的深度图像；提取深度图像中待抓取的目标物对应的目标图像区域；获取目标图像区域对应三维点云数据；将三维点云数据输入预先训练的抓取策略预测模型，得到目标物的最佳抓取策略，以供抓取设备按照最佳抓取策略抓取目标物；可以解决当多个目标物堆叠摆放时，现有的目标物抓取方法无法准确地识别待抓取区域中堆叠放置的目标物的具体位置，而导致的因目标物的空间位置定位错误，而无法准确抓取的目标物的问题；由于最佳抓取策略是基于目标图像区域对应三维点云数据生成的，所以最佳抓取策略可以准确地反映待抓取区域中目标物的三维信息，在目标物堆叠放置时，可以准确定位目标物位置，所以可以提高目标物抓取的准确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标物的抓取方法，其特征在于，所述方法包括：获取待抓取区域的深度图像；提取所述深度图像中待抓取的目标物对应的目标图像区域；获取所述目标图像区域对应三维点云数据；将所述三维点云数据输入预先训练的抓取策略预测模型，得到所述目标物的最佳抓取策略，以供抓取设备按照所述最佳抓取策略抓取所述目标物；所述最佳抓取策略包括最佳抓取位置信息和最佳抓取位姿信息；其中，所述抓取策略预测模型用于预测使用多种抓取位姿对所述目标物上不同的位置进行抓取时抓取成功的概率，所述最佳抓取策略为抓取所述目标物成功的概率最高时对应的抓取策略。2.根据权利要求1所述的方法，其特征在于，所述策略预测模型包括概率预测子模型，所述概率预测子模型用于预测利用每种抓取策略抓取所述目标物时抓取成功的概率；所述将所述三维点云数据输入预先训练的抓取策略预测模型，得到所述目标物的最佳抓取策略，包括：基于所述三维点云数据选取n个初始采样点，并确定所述n个初始采样点的抓取位姿；所述n为正整数；将本次选取的采样点和每个采样点对应的抓取位姿输入所述概率预测子模型，得到利用每个采样点和对应的抓取位姿构成的抓取策略抓取所述目标物时成功的概率；将每个采样点对应的概率按照由大到小的顺序排序，并确定排序在前m位的采样点，得到m个采样点；所述m为小于或等于输入所述概率预测子模型的采样点的数量；使用高斯混合模型拟合所述m个采样点的分布情况，得到采样点分布；基于所述采样点分布选取k个采样点，并确定所述k个采样点的抓取位姿，再次执行所述将本次选取的采样点和每个采样点对应的抓取位姿输入所述概率预测子模型的步骤，直至所述概率预测子模型的预测次数达到预设次数时停止，所述k为正整数；将最后一次预测时概率最高的采样点和对应的抓取位姿确定为所述目标物的最佳抓取策略。3.根据权利要求2所述的方法，其特征在于，对于所述n个初始采样点和所述k个采样点中的每个采样点，确定所述采样点的抓取位姿，包括：从所述三维点云数据中选择与所述采样点之间的距离小于预设距离、且位于所述目标物表面的邻近点；计算所述采样点和所述邻近点构成的表面的表面法线，所述表面法线的方向为采样点的抓取位姿，且所述表面法线的方向指向所述目标物内部。4.根据权利要求1所述的方法，其特征在于，所述提取...

【专利技术属性】
技术研发人员：杨曦，慕佩其，黄开竹，闫毓垚，
申请(专利权)人：西交利物浦大学，
类型：发明
国别省市：