抓握装置、抓握系统、确定方法、学习装置、模型和方法制造方法及图纸

本公开内容涉及抓握装置、学习装置、学习模型、抓握系统、确定方法和学习方法。抓握装置(1)包括：图像数据获取单元(16)；机器人手臂(11)；控制单元(12)；抓握位置确定单元(18)，其被配置成使用由图像数据获取单元(16)获取的处于折叠且堆叠状态的被拍摄柔性物体的图像数据来确定该图像数据中的柔性物体的某部分是否适合被抓握。控制单元(12)控制机器人手臂(11)，以使位于堆叠的柔性物体顶部的柔性物体的顶面的端部变形。抓握位置确定单元(18)使用其顶面的端部已经变形的被拍摄柔性物体的图像数据来确定某部分是否适合被抓握。

Grasp device, grip system, determination method, learning device, model and method

【技术实现步骤摘要】
抓握装置、抓握系统、确定方法、学习装置、模型和方法
本公开内容涉及抓握装置、学习装置、学习模型、抓握系统、确定方法和学习方法。
技术介绍
已知一种使用机器学习来抓握物体的技术。例如，在MarcusGualtieri、AndreastenPas、KateSaenko和RobertPlatt，“Highprecisiongraspposedetectionindenseclutter(密集杂波中的高精度抓握姿势检测)”，arXivpreprintarXiv：1603.01564,2016中，抓握装置生成抓握姿势的候选者，使得夹具和物体的点组彼此接触并且足够的物体点组处于夹具中。然后，该抓握装置使用CNN(卷积神经网络)确定所生成的抓握姿势候选是否适合抓握。
技术实现思路
当使用图像数据的机器学习用于确定处于折叠且堆叠状态的柔性物体的抓握位置时，可能难以确定合适的抓握位置。专利技术人已经发现，由于在处于上述状态下的柔性物体的侧表面上出现规则的堆叠图案，并且适于被抓握的部分的图像与不适合被抓握的部分的图像之间的差异是不够的，故难以确定合适的抓握位置。第一示例性方面是一种抓握装置，包括：图像数据获取单元，其被配置成获取被拍摄的物体的图像数据；抓握单元，其被配置成抓握物体；控制单元，其被配置成控制抓握单元的运动；以及抓握位置确定单元，其被配置成使用由图像数据获取单元获取的处于折叠且堆叠状态的被拍摄柔性物体的图像数据来确定该图像数据中的柔性物体的某部分是否适合被抓握，其中，控制单元控制抓握单元，以使位于堆叠的柔性物体顶部的柔性物体的顶面的端部变形，并且抓握位置确定单元使用其顶面的端部已经变形的被拍摄柔性物体的图像数据来确定某部分是否适合被抓握。在该抓握装置中，柔性物体的顶面的端部可以通过抓握单元变形。由于被组合成一个端部的端部的变形形式与未被组合成一个端部的端部的变形形式不同，故在适合被抓握的部分的图像与不适合被抓握的部分的图像之间产生大的差异。因而，利用该抓握装置，可以确定合适的抓握位置。在上述示例性方面中，抓握装置还包括接触位置确定单元，其被配置成使用在顶面的端部变形之前的被拍摄柔性物体的图像数据来确定为了使顶面的端部变形该柔性物体与抓握单元接触的位置，该图像数据由图像数据获取单元获取，其中，为了使顶面的端部变形，控制单元可以执行控制，使得抓握单元在由接触位置确定单元确定的接触位置处使柔性物体位移。利用这种结构，可以自主地执行用于使柔性物体的顶面的端部变形的控制。在上述示例性方面中，控制单元可以控制抓握单元，以通过使抓握单元按压柔性物体来使顶面的端部变形。利用这种结构，可以容易地使顶面的端部变形。另外，另一示例性方面是一种学习装置，包括：训练数据获取单元，其被配置成获取包括被拍摄的物体的图像数据的训练数据；以及学习计算单元，其被配置成使用由训练数据获取单元获取的训练数据来执行机器学习的计算，其中，图像数据是处于折叠且堆叠状态的柔性物体的图像数据，并且包括其顶面的端部已经从规则的堆叠图案形状变形的柔性物体的第一图像数据和第二图像数据，第一图像数据是顶面的通过折叠柔性物体而被组合成一个端部的端部的图像数据，第二图像数据是顶面的通过折叠柔性物体未被组合成一个端部的端部的图像数据，并且学习计算单元使用训练数据进行计算以学习柔性物体的适合被抓握的部分。在该学习装置中，使用已经从规则的堆叠图案形状变形的柔性物体的图像数据来执行学习。由于被组合成一个端部的端部的变形形式与未被组合成一个端部的端部的变形形式不同，故可以使用在其之间具有大的差异以供用于学习的第一和第二图像数据来执行学习。因而，根据该学习装置，可以学习合适的抓握位置。另外，另一示例性方面是一种学习模型，其用于使计算机起作用以基于被拍摄的物体的图像数据将物体的某部分的抓握适合性输出为量化值，其中，使用包括被拍摄的物体的图像数据的训练数据来学习构成学习模型的神经网络的加权系数，训练数据中包括的图像数据是处于折叠且堆叠状态的柔性物体的图像数据，并且包括其顶面的端部已经从规则的堆叠图案形状变形的柔性物体的第一图像数据和第二图像数据，第一图像数据是顶面的通过折叠柔性物体而被组合成一个端部的端部的图像数据，第二图像数据是顶面的通过折叠柔性物体未被组合成一个端部的端部的图像数据，并且学习模型使计算机起作用，以针对被输入到神经网络的输入层的处于折叠且堆叠状态的柔性物体的图像数据根据加权系数执行计算，并且从神经网络的输出层输出图像数据中的柔性物体的某部分是否适合被抓握。在该模型中，使用已经从规则的堆叠图案形状变形的柔性物体的图像数据来执行学习。由于被组合成一个端部的端部的变形形式与未被组合成一个端部的端部的变形形式不同，故在用于学习的第一图像数据与第二图像数据之间存在大的差异。因而，根据该学习模型，可以确定合适的抓握位置。另外，另一方面是一种抓握系统，包括：图像拾取设备，其被配置成拍摄周围物体；图像数据获取单元，其被配置成获取由图像拾取设备拍摄的图像数据；抓握单元，其被配置成抓握物体；控制单元，其被配置成控制抓握单元的运动；以及抓握位置确定单元，其被配置成使用由图像数据获取单元获取的处于折叠且堆叠状态的被拍摄柔性物体的图像数据来确定该图像数据中的柔性物体的某部分是否适合被抓握，其中，控制单元控制抓握单元，以使柔性物体的顶面的端部变形，并且抓握位置确定单元使用其顶面的端部已经变形的被拍摄柔性物体的图像数据来确定某部分是否适合被抓握。在该抓握系统中，柔性物体的顶面的端部可以通过抓握单元变形。由于而被组合成一个端部的端部的变形形式与未被组合成一个端部的端部的变形形式不同，故在适合被抓握的部分的图像与不适合被抓握的部分的图像之间产生大的差异。因而，根据该抓握系统，可以确定合适的抓握位置。另外，另一示例性方面是一种确定方法，其用于控制抓握单元以使处于折叠且堆叠状态的多个柔性物体的顶面的端部变形，以及使用其顶面的端部已经变形的被拍摄柔性物体的图像数据来确定图像数据中的柔性物体的某部分是否适合而被抓握。在该确定方法中，柔性物体的顶面的端部可以通过抓握单元变形。由于被组合成一个端部的端部的变形形式与未被组合成一个端部的端部的变形形式不同，故在适合被抓握的部分的图像与不适合被抓握的部分的图像之间产生大的差异。因而，根据该确定方法，可以确定合适的抓握位置。另外，另一示例性方面是一种学习方法，包括：获取包括被拍摄的物体的图像数据的训练数据；以及使用所获取的训练数据执行机器学习的计算以确定柔性物体的适合被抓握的部分，其中，图像数据是处于折叠且堆叠状态的柔性物体的图像数据，并且包括其顶面的端部已经从规则的堆叠图案形状变形的柔性物体的第一图像数据和第二图像数据，第一图像数据是顶面的通过折叠柔性物体而被组合成一个端部的端部的图像数据，并且第二图像数据是顶面的通过折叠柔性物体未被组合成一个端部的端部的图像数据。在该学习方法中，使用从规则的堆叠图案形状变形的柔性物体的图像数据来执行学习。由于被组合成一个端部的端部的变形形式与未被组合成一个端部的端部的变形形式不同，故可以使用在其之间具有足够差异以用于学习的第一和第二图像数据来执行学习。因而，根据该学习方法，可以学习合适的抓握位置。根据本公开内容，可以提供能够确本文档来自技高网...

【技术保护点】
1.一种抓握装置，包括：图像数据获取单元，其被配置成获取被拍摄的物体的图像数据；抓握单元，其被配置成抓握物体；控制单元，其被配置成控制所述抓握单元的运动；以及抓握位置确定单元，其被配置成使用由所述图像数据获取单元获取的处于折叠且堆叠状态的被拍摄柔性物体的图像数据来确定该图像数据中的所述柔性物体的某部分是否适合被抓握，其中，所述控制单元控制所述抓握单元，以使位于堆叠的柔性物体顶部的柔性物体的顶面的端部变形，并且所述抓握位置确定单元使用其顶面的端部已经变形的所述被拍摄柔性物体的图像数据来确定某部分是否适合被抓握。

【技术特征摘要】
2017.12.18 JP 2017-2415551.一种抓握装置，包括：图像数据获取单元，其被配置成获取被拍摄的物体的图像数据；抓握单元，其被配置成抓握物体；控制单元，其被配置成控制所述抓握单元的运动；以及抓握位置确定单元，其被配置成使用由所述图像数据获取单元获取的处于折叠且堆叠状态的被拍摄柔性物体的图像数据来确定该图像数据中的所述柔性物体的某部分是否适合被抓握，其中，所述控制单元控制所述抓握单元，以使位于堆叠的柔性物体顶部的柔性物体的顶面的端部变形，并且所述抓握位置确定单元使用其顶面的端部已经变形的所述被拍摄柔性物体的图像数据来确定某部分是否适合被抓握。2.根据权利要求1所述的抓握装置，还包括接触位置确定单元，其被配置成使用在所述顶面的端部变形之前的所述被拍摄柔性物体的图像数据来确定为了使所述顶面的端部变形所述柔性物体与所述抓握单元接触的位置，该图像数据由所述图像数据获取单元获取，其中，为了使所述顶面的端部变形，所述控制单元执行控制，使得所述抓握单元在由所述接触位置确定单元确定的接触位置处使所述柔性物体位移。3.根据权利要求1或2所述的抓握装置，其中，所述控制单元控制所述抓握单元，以通过使所述抓握单元按压所述柔性物体来使所述顶面的端部变形。4.一种学习装置，包括：训练数据获取单元，其被配置成获取包括被拍摄的物体的图像数据的训练数据；以及学习计算单元，其被配置成使用由所述训练数据获取单元获取的所述训练数据来执行机器学习的计算，其中，所述图像数据是处于折叠且堆叠状态的柔性物体的图像数据，并且包括其顶面的端部已经从规则的堆叠图案形状变形的所述柔性物体的第一图像数据和第二图像数据，所述第一图像数据是所述顶面的通过折叠所述柔性物体而被组合成一个端部的端部的图像数据，所述第二图像数据是所述顶面的通过折叠所述柔性物体未被组合成一个端部的端部的图像数据，并且所述学习计算单元使用所述训练数据进行计算以学习所述柔性物体的适合被抓握的部分。5.一种计算机可读介质，其存储用于使计算机起作用以基于被拍摄的物体的图像数据来将物体的某部分的抓握适合性输出为量化值的学习模型，其中，使用包括所...

【专利技术属性】
技术研发人员：山崎公俊，佐野知树，出村聪规，中岛涉，竹下佳佑，
申请(专利权)人：国立大学法人信州大学，丰田自动车株式会社，
类型：发明
国别省市：日本,JP