用于控制机器人来拿起对象的装置和方法制造方法及图纸

按照各种实施方式，描述了一种用于控制机器人来拿起对象的方法，该方法具有：接收对象的摄像机图像；通过将摄像机图像输送给机器学习模型，确定摄像机图像中的表明对象的它不应该在那里被拿起的部位的图像区域，该机器学习模型被训练来给摄像机图像中的区域分配值，这些值表示这些区域是否表明对象的它不应该在那里被拿起的部位；将所确定的图像区域分配给空间区域；而且控制机器人来在所确定的空间区域以外的空间区域抓取该对象。域以外的空间区域抓取该对象。域以外的空间区域抓取该对象。

【技术实现步骤摘要】
用于控制机器人来拿起对象的装置和方法


[0001]本公开涉及用于控制机器人来拿起对象的装置和方法。

技术介绍

[0002]为了能够实现机器人对对象的灵活的生产或加工，值得期望的是：机器人能够无视对象在机器人的工作空间中所放置的姿势地对该对象进行操作。因而，机器人应该有能力识别对象处在怎样的方位，至少就对于拿起（例如抓取）对象重要的方面来说，也就是说该机器人应该有能力确定针对对象的拿起姿态（例如抓取姿态），以便可以相对应地使该机器人的末端执行器（例如带有抓手）准确地取向并且可以将该末端执行器移动到准确的位置。然而，可能出现如下情况作为附加条件：对象不允许在任何地方被抓取，例如原因在于否则条形码会被抓具遮挡或者原因在于对象当它在敏感部位被抓取时可能会被损坏。因此，值得期望的是针对用于在不同的方位拿起对象的机器人装置的控制方法，在这些不同的方位，避免了在对象的特定部位处进行抓取。

技术实现思路

[0003]按照各种实施方式，提供了一种用于控制机器人来拿起对象的方法，该方法具有：接收对象的摄像机图像；通过将摄像机图像输送给机器学习模型，确定摄像机图像中的表明对象的它不应该在那里被拿起的部位的图像区域，该机器学习模型被训练来给摄像机图像中的区域分配值，这些值表示这些区域是否表明对象的它不应该在那里被拿起的部位；将所确定的图像区域分配给空间区域；而且控制机器人来在所确定的空间区域以外的空间区域抓取该对象。
[0004]上述方法能够针对对象的任意方位实现对对象的可靠的拿起（例如抓取），其中避免了对象在它不应该在那里被抓取的部位处被抓取。
[0005]在下文说明了各种实施例。
[0006]实施例1是如上所述的用于控制机器人来在不同的方位拿起对象的方法。
[0007]实施例2是根据实施例1所述的方法，该方法具有：通过如下方式来确定该图像区域：针对该对象，训练机器学习模型以将对象的摄像机图像映射到描述符图像，其中摄像机图像应被映射到的描述符图像针对该摄像机图像在图像位置表明的该对象的部位在该图像位置处具有该对象的该部位的描述符值；获得该对象的它不应该在那里被拿起的部位的描述符值；借助于经训练的机器学习模型将该摄像机图像映射到描述符图像；确定描述符图像中的具有所获得的描述符值的区域；而且将该图像区域确定为该摄像机图像的在对应于描述符图像中的所确定的区域的图像位置处的区域。
[0008]训练这种机器学习模型以确定表明对象的它不应该在那里被拿起的部位的图像区域也能够实现：（以微小的额外花费）确定空间中的对象并且借此适当地控制机器人以拿起该对象。
[0009]实施例3是根据实施例2所述的方法，其中获得对象的它不应该在那里被拿起的部位的描述符值具有：借助于机器学习模型，将其中表明对象不应该在那里被拿起的部位的区域标记为区域的摄像机图像映射到描述符图像；并且从该描述符图像中选择所标记的区域的描述符值。
[0010]例如，用户可以唯一一次地（也就是说针对一个摄像机图像）标记该区域，而接着可以通过这些描述符值为所有其它摄像机图像确定表明对象的它不应该在那里被拿起的部位的区域。
[0011]实施例4是根据实施例2或3所述的方法，其中所确定的图像区域借助于经训练的机器学习模型通过如下方式被分配给该空间区域：确定对象的3D模型，其中3D模型具有顶点网格，这些顶点分配有描述符值；确定摄像机图像中的位置与3D模型的顶点之间的对应关系，其方式是给顶点分配如下位置，这些位置所具有的描述符值与描述符图像在这些位置处所具有的描述符值相同；而且根据摄像机图像中的位置与3D模型的顶点之间的所确定的对应关系，将所确定的图像区域分配给对象的部位。
[0012]以这种方式，也可以借助于机器学习模型来以微小的额外花费执行将图像区域分配给相对应的空间区域。
[0013]实施例5是根据实施例1所述的方法，该方法具有：通过如下方式来确定该图像区域：借助于多个摄像机图像和在这些摄像机图像中的表明对象不应该在那里被拿起的部位的一个或多个图像区域的标注来训练机器学习模型，以识别摄像机中的表明对象的对象不应该在那里被拿起的部位的图像区域；而且通过将摄像机图像输送给经训练的机器学习模型来确定图像区域。
[0014]如果为机器学习模型的这种训练提供训练数据，例如具有不允许被遮挡的条形码对象的示例的图像，则这提供了一种用于确定表明对象的它不应该在那里被拿起的部位的图像区域的高效途径。
[0015]实施例6根据实施例1至5中任一项所述的方法，其中接收摄像机图像的图像区域的深度信息并且借助于这些深度信息将所确定的图像区域分配给该空间区域。
[0016]使用例如由RGB
‑
D摄像机提供的深度信息能够以微小的计算花费将所确定的图像区域分配给空间区域。
[0017]实施例7是一种机器人控制装置，该机器人控制装置被设立为执行按照实施例1至6中任一项所述的方法。
[0018]实施例8是一种计算机程序，该计算机程序具有指令，这些指令在由处理器执行时引起：该处理器执行根据实施例1至6中任一项所述的方法。
[0019]实施例9是一种计算机可读介质，该计算机可读介质存储指令，这些指令在由处理器执行时引起：该处理器执行根据实施例1至6中任一项所述的方法。
附图说明
[0020]在附图中，通常在不同视图各处类似的附图标记都涉及相同的部分。这些附图不一定比例正确，反而重点通常在于阐明本专利技术的原理。在下文的描述中，参考如下附图来描述不同方面，其中：图1示出了机器人；图2阐明了按照实施方式的神经网络的训练；图3阐明了用于确定抓取姿势的方法；图4阐明了对于关于图3所描述的方法针对使用密集对象网络的情况进行训练；图5阐明了对于关于图3所描述的方法针对训练机器学习模型以在摄像机图像中识别非抓取区域的情况进行训练；图6示出了用于控制机器人来拿起对象的方法。
具体实施方式
[0021]下文的详细描述涉及随附的附图，这些附图阐明性地示出了其中可实现本专利技术的本公开的特殊细节和方面。在不脱离本专利技术的保护范围的情况下，可以使用其它方面并且可以进行结构更改、逻辑更改和电更改。本公开的不同方面不一定是相互排斥的，因为本公开的有些方面可以与本公开的一个或多个其它方面相结合，以便形成新的方面。
[0022]在下文更详细地描述了各种示例。
[0023]图1示出了机器人100。
[0024]机器人100包含机器人臂101，例如用于操作或安装工件（或者一个或多个其它对象）的工业机器人臂。机器人臂101包含操纵器102、103、104和基座（或托座）105，借助于该基座来支撑这些操纵器102、103、104。术语“操纵器”涉及机器人臂101的可移动部分，对这些可移动部分的操纵能够实现与环境的物理交互，例如以便执行任务。为了进行控制，机器人100包含（机器人）控制装置106，该（机器人）控制装置被设计用于按照控制程序来实现与环境的交互。操纵器102、103、104的最后一个构件104（本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于控制机器人来拿起对象的方法，所述方法具有：接收对象的摄像机图像；通过将所述摄像机图像输送给机器学习模型，确定所述摄像机图像中的表明所述对象的它不应该在那里被拿起的部位的图像区域，所述机器学习模型被训练来给摄像机图像中的区域分配值，所述值表示所述区域是否表明对象的它不应该在那里被拿起的部位；将所确定的图像区域分配给空间区域；而且控制所述机器人来在所确定的空间区域以外的空间区域抓取所述对象。2.根据权利要求1所述的方法，所述方法具有：通过如下方式来确定所述图像区域：针对所述对象，训练所述机器学习模型以将所述对象的摄像机图像映射到描述符图像，其中摄像机图像应被映射到的描述符图像针对所述摄像机图像在图像位置表明的所述对象的部位在所述图像位置处具有所述对象的所述部位的描述符值；获得所述对象的它不应该在那里被拿起的部位的描述符值；借助于经训练的机器学习模型将所述摄像机图像映射到描述符图像；确定所述描述符图像中的具有所获得的描述符值的区域；而且将所述图像区域确定为所述摄像机图像的在对应于所述描述符图像中的所确定的区域的图像位置处的区域。3.根据权利要求2所述的方法，其中获得对象的它不应该在那里被拿起的部位的描述符值具有：借助于机器学习模型，将其中表明对象不应该在那里被拿起的部位的区域标记为区域的摄像机图像映射到描述符图像；并且从所述描述符图像中选择所标记的区域的描述符值。4.根据权利要求2或3所述的方法，其中所确定的图像区域借助于经训练的机器学...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：罗伯特，
类型：发明
国别省市：