用于控制机器人的设备和方法技术

根据各种实施例，描述了一种用于控制机器人的方法，该方法包括：从对象的机器人的视角施行演示和用于演示的描述符图像；选择特征点集，其中通过搜索目标函数的最优值来选择特征点，该目标函数奖励在描述符图像中可见的所选特征点；使用演示来训练机器人控制模型；以及通过以下方式针对具有对象的控制场景控制机器人：确定对象的描述符图像，在对象的描述符图像中定位所选特征点集，确定所定位的特征点的欧几里德坐标，从所确定的欧几里德坐标估计姿态，以及借助于具有所估计的姿态的机器人控制模型来控制机器人处理对象。制模型来控制机器人处理对象。制模型来控制机器人处理对象。

【技术实现步骤摘要】
用于控制机器人的设备和方法


[0001]本公开涉及用于控制机器人的设备和方法。

技术介绍

[0002]机器人技能可以通过从演示学习（LfD）方法来编程，其中机器人从演示学习技能的名义计划。LfD的主要思想是通过监测机器人工作空间的相机的姿态和机器人要处理的目标对象来参数化高斯分布。为此，并且也为了使用所得到的机器人控制模型，需要对给定场景中的对象姿态施行估计。一种可能性是基于RGB图像的姿态估计技术。然而，这些可能都不可靠。
[0003]因此，期望允许在LfD上下文中进行可靠姿态估计的方法。

技术实现思路

[0004]根据各种实施例，提供了一种用于控制机器人的方法，该方法包括：施行演示，其中每个演示演示对象的处理；对于每个演示，从对象的机器人的视角提供至少一个描述符图像，其中描述符图像指定对象上的位置的特征点；从指定的特征点选择特征点集，其中通过搜索奖励在描述符图像中可见的所选特征点的目标函数的最优值来选择特征点；使用演示来训练机器人控制模型，其中机器人控制模型被配置为取决于输入的对象姿态来输出控制信息；并且通过以下方式针对具有对象的控制场景控制机器人：从机器人的视角确定对象的描述符图像，在对象的描述符图像中定位所选特征点集，为控制场景确定所定位的特征点的欧几里德坐标，从所确定的欧几里德坐标估计姿态，以及借助于机器人控制模型来控制机器人处理对象，其中所估计的姿态被供应给机器人控制模型作为输入。
[0005]因此，施行用于对象姿态估计的特征点的自动选择，使得所选特征点清晰可见（例如，在大多数描述符图像中）。因此，可以看到特征点的选择是基于以下假设：在演示中看到的特征（例如，为记录演示而拍摄的图像）在某种意义上是好的特征，并且它们大部分时间是在机器人应该施行相应操纵技能的场景中看到的。
[0006]机器人的视角例如是附接到机器人的相机的视角，例如机器人末端效应器的视角。
[0007]因此，上面所描述的方法允许对对象进行准确和可靠的姿态（例如6D姿态）估计。
[0008]在下文中，给出了各种示例。
[0009]示例1是一种如上面所描述的用于控制机器人的方法。
[0010]示例2是根据示例1的方法，其中目标函数进一步奖励在描述符空间中间隔开的一个或多个所选特征点，对象上对应于所选特征点的位置在欧几里德空间中间隔开，并且对象的所选特征点的检测误差低。
[0011]这些条件确保可以为对象可靠地检测特征点，并且当已经检测到特征点时，可以可靠地确定对象的姿态。
[0012]示例3是根据示例1或2的方法，进一步包括将平面与对象匹配，并且选择特征点，
使得它们在平面上定义坐标框架，并且从所定位的特征点的确定的欧几里德坐标和关于匹配的平面的姿态的信息来估计姿态。
[0013]这确保了可靠的姿态估计，即使对象是平坦的和/或在空间方向上几乎没有变化（即，不是“真实的”3D对象）。
[0014]示例4是根据示例3的方法，其中从所确定的欧几里德坐标估计姿态包括将所定位的特征点的欧几里德坐标投影到匹配的超平面。
[0015]因此，即使检测到特征点使得它们的欧几里德坐标不在平面上，也可以导出平面坐标框架（在平面中）。
[0016]示例5是根据示例3或4的方法，其中平面与对象匹配，选择特征点使得它们定义平面上的坐标框架，并且如果对象在空间方向上的变化低于预确定阈值，则从所定位的特征点的确定的欧几里德坐标和关于平面姿态的信息来估计姿态。
[0017]因此，可以针对真实和非真实3D对象两者训练可靠的姿态确定方案。特别地，真实3D对象的姿态检测仍然是高效的，因为（超）平面拟合仅在必要时应用。
[0018]示例6是根据示例1至5中任一个的方法，包括从所选特征点的欧几里德坐标确定坐标框架的导出规则，其中从所确定的欧几里德坐标估计姿态包括将该导出规则应用于所选特征点，其中该导出规则是通过在欧几里德坐标中搜索坐标框架与噪声的依赖性的最小值来确定的。
[0019]这确保了可靠的姿态检测，即使在特征点的检测误差的情况下。
[0020]示例7是根据示例1至6中任一个的方法，其中使用演示来训练机器人控制模型包括，对于每个演示，在演示中定位对象的描述符图像中的所选特征点集，为演示确定所定位的特征点的欧几里德坐标，并且从为演示确定的欧几里德坐标来估计姿态。
[0021]这意味着所选特征点可以用于机器人控制模型本身训练的姿态估计。
[0022]示例8是根据示例1至7中任一个的方法，包括通过密集对象网络从对象的相机图像确定对象的描述符图像。
[0023]密集对象网络（DON）可以被训练来唯一地标识对象上的点。给定对象的不同配置，可以可靠地跟踪这样的点。
[0024]示例9是一种机器人控制器，被配置为施行示例1至8中任一项的方法。
[0025]示例10是一种包括指令的计算机程序，该指令当由计算机执行时使得计算机施行根据示例1至8中任一项的方法。
[0026]示例11是一种包括指令的计算机可读介质，该指令当由计算机执行时使得计算机施行根据示例1至8中任一项的方法。
附图说明
[0027]在附图中，贯穿不同的视图，相似的附图标记一般指代相同的部分。附图不一定是按比例的，取而代之的是重点一般放在说明本专利技术的原理上。在以下描述中，参考以下附图描述了各个方面，在附图中：图1示出了一个机器人。
[0028]图2图示了用于选择特征点和学习训练数据集中的对象的坐标框架以及在部署中应用坐标框架的方法，所述训练数据集在一个方向上几乎没有变化。
[0029]图3示出了图示用于控制机器人的方法的流程图。
具体实施方式
[0030]以下详细描述参考了附图，这些附图通过图示的方式示出了本专利技术可以实践的本公开的具体细节和方面。在不脱离本专利技术的范围的情况下，可以利用其它方面，并且可以进行结构、逻辑和电气的改变。本公开的各个方面不一定是互斥的，因为本公开的一些方面可以与本公开的一个或多个其它方面相组合以形成新的方面。
[0031]在下文中，将更详细地描述各种示例。
[0032]图1示出了机器人100。
[0033]机器人100包括机器人臂101，例如用于处理或组装工件（或一个或多个其它对象）的工业机器人臂。机器人臂101包括机械手102、103、104和支撑机械手102、103、104的基座（或支撑件）105。术语“机械手”指的是机器人臂101的可移动构件，其致动使得能够与环境进行物理交互，例如以实行任务。为了控制，机器人100包括（机器人）控制器106，其被配置为根据控制程序实现与环境的交互。机械手102、103、104的最后一个构件104（离支撑件105最远）也被称为末端效应器104，并且可以包括一个或多个工具（诸如焊炬、抓取仪器、喷涂装备或诸如此类）。
[0034]其它机械手102、103（更接近支撑件105）可以形成定位设备，使得与末端效应器104一起，提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于控制机器人的方法，包括：施行演示，其中每个演示演示对象的处理；对于每个演示，从对象的机器人的视角提供至少一个描述符图像，其中所述描述符图像指定对象上的位置的特征点；从指定的特征点选择特征点集，其中通过搜索目标函数的最优值来选择特征点，所述目标函数奖励在描述符图像中可见的所选特征点；使用演示来训练机器人控制模型，其中所述机器人控制模型被配置为取决于输入的对象姿态来输出控制信息；以及通过以下方式针对具有对象的控制场景控制机器人：从机器人的视角确定对象的描述符图像，在对象的描述符图像中定位所选特征点集，为控制场景确定所定位的特征点的欧几里德坐标，从所确定的欧几里德坐标估计姿态，和借助于机器人控制模型来控制机器人处理对象，其中所估计的姿态作为输入被供应给机器人控制模型。2.根据权利要求1所述的方法，其中所述目标函数进一步奖励在描述符空间中间隔开的一个或多个所选特征点，对象上对应于所选特征点的位置在欧几里德空间中间隔开，并且对象的所选特征点的检测误差低。3.根据权利要求1或2所述的方法，进一步包括将平面与对象匹配，并且选择特征点，使得它们在平面上定义坐标框架，并从所定位的特征点的确定的欧几里德坐标和关于匹配的平面的姿态的信息来估计姿态。4.根据权利要求3所述的方法，其中从所确定的欧几里德坐标来估计姿态包括将所定位的...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：罗伯特，
类型：发明
国别省市：