【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及利用机械手把持收纳于容器的多个元件的技术，特别是能够优选地适用于料箱取物。
技术介绍
1、在非专利文献1中公开了如下技术：在料箱取物中，计算由机械手把持元件的情况下的把持成功概率。具体而言，从对堆积在箱内的多个元件进行拍摄而得到的箱图像切出包含对象元件的规定尺寸的斑块图像。然后，计算由位于该斑块图像的位置(切出位置)的机械手尝试斑块图像所包含的对象元件的把持的情况下的把持成功概率。该把持成功概率针对不同的对象元件的每一个计算出。
2、而且，作为把持元件的机器人的位置分量，不仅存在x方向或y方向这样的平移方向，还存在旋转方向。因此，为了反映机器人的旋转位置的差异，通过进行使箱图像旋转的运算而生成与相互不同的角度对应的多个箱图像，并针对多个箱图像的每一个执行斑块图像的切出和把持成功概率的计算。
3、现有技术文献
4、非专利文献
5、非专利文献1：improving dataefficiency ofself-supervised learning forrobotic grasping(2019)(提高机器人抓取的自监督学习的数据效率)
技术实现思路
1、专利技术所要解决的课题
2、根据上述方法，取得将机械手的旋转角度的数量与对象元件的数量相乘而得到的张数的斑块图像，并针对各斑块图像计算把持成功概率。因此，存在运算负荷过大的问题。
3、本专利技术是鉴于上述课题而完成的，其目的在于提供一种能够降低由机械
4、用于解决课题的技术方案
5、本专利技术所涉及的图像处理装置具备：位置对准部，当被输入了第一斑块图像时，输出用于对第一斑块图像所包含的一个元件校正对象范围的位置的校正量，所述第一斑块图像是将针对表示收纳于容器的多个元件的收纳元件图像所包含的多个元件中的一个元件设定的对象范围的图像切出而得到的；校正图像生成部，生成包含一个元件的第二斑块图像，该第二斑块图像是从收纳元件图像切出将对象范围校正校正量后的范围的图像而得到的；及把持分类部，计算由位于设定第二斑块图像的范围的机械手尝试第二斑块图像所包含的一个元件的把持的情况下的把持成功概率。
6、本专利技术所涉及的图像处理方法包括如下工序：当输入了第一斑块图像时，输出用于对第一斑块图像所包含的一个元件校正对象范围的位置的校正量的工序，所述第一斑块图像是将针对表示收纳于容器的多个元件的收纳元件图像所包含的多个元件中的一个元件设定的对象范围的图像切出而得到的；生成包含一个元件的第二斑块图像的工序，所述第二斑块图像是从收纳元件图像切出将对象范围校正校正量后的范围的图像而得到的；及计算由位于设定第二斑块图像的范围的机械手尝试第二斑块图像所包含的一个元件的把持的情况下的把持成功概率的工序。
7、在这样构成的图像处理装置和方法中，当输入了将针对一个元件设定的对象范围的图像切出而得到的第一斑块图像时，输出用于对第一斑块图像所包含的一个元件校正对象范围的位置的校正量。然后，生成包含一个元件的第二斑块图像，并针对该第二斑块图像计算把持成功概率，该第二斑块图像是从收纳元件图像切出将对象范围校正该校正量后的范围的图像而得到的。因此，能够基于根据第一斑块图像求出的校正量，得到在能够以高的成功概率把持一个元件的位置包含元件的第二斑块图像。因此，不需要针对与机械手在相互不同的多个位置(特别是旋转位置)把持一个元件的情况对应的多个斑块图像的每一个计算把持成功概率。这样，能够降低在由机械手尝试元件的把持的情况下的把持成功概率的计算所需的运算负荷。
8、另外，也可以将图像处理装置构成为，位置对准部将表示元件在对象范围内的适当位置的位置判定掩模与第一斑块图像所包含的元件的位置之差作为教师数据，对第一斑块图像与校正量的关系进行学习。在该结构中，能够利用位置判定掩模简便地评价第一斑块图像所示的元件从适当位置的偏移并进行学习。
9、另外，也可以将图像处理装置构成为，位置对准部基于第一斑块图像所包含的元件的形状生成位置判定掩模。在该结构中，能够使用符合元件的形状的适当的位置判定掩模进行学习。
10、另外，也可以将图像处理装置构成为，位置对准部执行如下学习：将第一斑块图像所包含的元件与位置判定掩模的位置的均方误差作为损失函数并进行误差反向传播，更新对第一斑块图像与校正量的关系进行规定的参数。在该结构中，能够利用均方误差准确地评价第一斑块图像所示的元件从适当位置的偏移并进行学习。
11、另外，也可以将图像处理装置构成为，位置对准部变更第一斑块图像并反复进行学习。在该结构中，能够得到高精度的学习结果。
12、另外，作为结束学习的条件，能够设想各种条件。例如，也可以将图像处理装置构成为，位置对准部在反复进行学习的次数达到规定次数时结束学习。或者，也可以将图像处理装置构成为，位置对准部根据损失函数的收敛状况结束学习。
13、另外，也可以将图像处理装置构成为，把持分类部使用卷积神经网络根据第二斑块图像计算把持成功概率。由此，能够根据第二斑块图像准确地计算出把持成功概率。
14、另外，也可以将图像处理装置构成为，把持分类部通过对从卷积神经网络输出的特征量映射添加注意掩模而对特征量映射进行加权，注意掩模表示关注在机械手把持元件的把持方向上延伸且通过第二斑块图像的中心的区域、和与把持方向正交且通过第二斑块图像的中心的区域。由此，能够在将元件的朝向、元件的周围的状况(其他元件的有无)对机械手的把持造成的影响纳入考虑的同时，准确地计算出把持成功概率。
15、另外，也可以将图像处理装置构成为，还具备：图像取得部，取得表示多个元件的亮度图像和表示多个元件的深度图像；图像合成部，通过将图像取得部所取得的亮度图像与深度图像合成而生成收纳元件图像；及斑块图像生成部，根据收纳元件图像生成第一斑块图像并输入到位置对准部。在该结构中，通过将分别表示多个元件的亮度图像与深度图像合成而生成合成图像。在这样生成的合成图像中，多个元件中的相对较高的位置的元件的形状容易残留，有利于识别该元件(换言之，把持成功概率高的元件)。
16、本专利技术所涉及的元件把持系统具备：上述的图像处理装置；及机械手，图像处理装置使机械手在基于计算出的把持成功概率决定的位置把持元件。
17、本专利技术所涉及的元件把持方法包括：当输入了第一斑块图像时，输出用于对第一斑块图像所包含的一个元件校正对象范围的位置的校正量的工序，所述第一斑块图像是将针对表示收纳于容器的多个元件的收纳元件图像所包含的多个元件中的一个元件设定的对象范围的图像切出而得到的；生成包含一个元件的第二斑块图像的工序，该第二斑块图像是从收纳元件图像切出将对象范围校正校正量后的范围的图像而得到的；计算由位于设定第二斑块图像的范围的机械手尝试第二斑块图像所包含的一个元件的把持的情况下的把持成功概率的工序；及使机械手在基于把持成功概率决定的位置本文档来自技高网...
【技术保护点】
1.一种图像处理装置，具备：
2.根据权利要求1所述的图像处理装置，其中，
3.根据权利要求2所述的图像处理装置，其中，
4.根据权利要求2或3所述的图像处理装置，其中，
5.根据权利要求4所述的图像处理装置，其中，
6.根据权利要求5所述的图像处理装置，其中，
7.根据权利要求5所述的图像处理装置，其中，
8.根据权利要求1至7中的任一项所述的图像处理装置，其中，
9.根据权利要求8所述的图像处理装置，其中，
10.根据权利要求1至9中任一项所述的图像处理装置，其中，还具备：
11.一种元件把持系统，具备：
12.一种图像处理方法，包括如下工序：
13.一种元件把持方法，包括如下工序：
【技术特征摘要】
【国外来华专利技术】
1.一种图像处理装置，具备：
2.根据权利要求1所述的图像处理装置，其中，
3.根据权利要求2所述的图像处理装置，其中，
4.根据权利要求2或3所述的图像处理装置，其中，
5.根据权利要求4所述的图像处理装置，其中，
6.根据权利要求5所述的图像处理装置，其中，
7.根据权利要求5所述的图像处理装...
【专利技术属性】
技术研发人员：山本惇史，
申请(专利权)人：雅马哈发动机株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。