用于操作机器人手臂的方法技术

提供了用于操作机器人手臂的方法

【技术实现步骤摘要】
用于操作机器人手臂的方法、装置、设备和介质


[0001]本公开的示例性实现方式总体涉及机器人控制，特别地涉及用于操作机器人手臂的方法
、
装置
、
设备和计算机可读存储介质
。

技术介绍

[0002]近年来，机器人技术已经得到了迅速发展，并且已经被广泛地用于多个

。
例如，在工厂的生产线上，可以使用机器人手臂来执行加工
、
抓取
、
分类
、
包装等多种任务
。
进一步，机器学习技术也已经被广泛应用于多个应用场景
。
此时，期望可以结合机器人技术和机器学习技术，进而以更为简单并且有效的方式控制机器人的操作
。

技术实现思路

[0003]在本公开的第一方面，提供了一种用于操作机器人手臂的方法
。
在该方法中，接收用于指定由机器人手臂实现的目标的语言描述；获取机器人手臂的当前状态
。
根据动作模型，基于语言描述和当前状态来确定由机器人手臂将要执行的动作
。
[0004]在本公开的第二方面，提供了一种用于操作机器人手臂的装置
。
该装置包括：接收模块，被配置用于接收用于指定由机器人手臂实现的目标的语言描述；获取模块，被配置用于获取机器人手臂的当前状态；以及确定模块，被配置用于根据动作模型，基于语言描述和当前状态来确定由机器人手臂将要执行的动作
。
[0005]在本公开的第三方面，提供了一种电子设备
。
该电子设备包括：至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，指令在由至少一个处理单元执行时使电子设备执行根据本公开第一方面的方法
。
[0006]在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被处理器执行时使处理器实现根据本公开第一方面的方法
。
[0007]应当理解，本内容部分中所描述的内容并非旨在限定本公开的实现方式的关键特征或重要特征，也不用于限制本公开的范围
。
本公开的其它特征将通过以下的描述而变得容易理解
。
附图说明
[0008]在下文中，结合附图并参考以下详细说明，本公开各实现方式的上述和其他特征
、
优点及方面将变得更加明显
。
在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
[0009]图1示出了根据本公开的一个示例性实现方式的使用机器人手臂的应用环境的框图；
[0010]图2示出了根据本公开的一些实现方式的用于操作机器人手臂的框图；
[0011]图3示出了根据本公开的一些实现方式的动作模型的输入
/
输出的框图；
[0012]图4示出了根据本公开的一些实现方式的动作模型的结构的框图；
[0013]图
5A
至图
5E
示出了根据本公开的一些实现方式的动作模型中的各种编码器和解码器的结构的框图；
[0014]图6示出了根据本公开的一些实现方式的执行预训练的过程的框图；
[0015]图7示出了根据本公开的一些实现方式的执行预训练的过程中的各种数据之间的对应关系的框图；
[0016]图8示出了根据本公开的一些实现方式的执行微调的过程的框图；
[0017]图9示出了根据本公开的一些实现方式的执行微调的过程中的各种数据之间的对应关系的框图；
[0018]图
10
示出了根据本公开的一些实现方式的推理阶段的框图；
[0019]图
11
示出了根据本公开的一些实现方式的使用动作模型获得的结果与已有技术方案之间的比较的框图；
[0020]图
12
示出了根据本公开的一些实现方式的使用不同方式来训练动作模型获得的结果之间的比较的框图；
[0021]图
13
示出了根据本公开的一些实现方式的用于操作机器人手臂的方法的流程图；
[0022]图
14
示出了根据本公开的一些实现方式的用于操作机器人手臂的装置的框图；以及
[0023]图
15
示出了能够实施本公开的多个实现方式的设备的框图
。
具体实施方式
[0024]下面将参照附图更详细地描述本公开的实现方式
。
虽然附图中示出了本公开的某些实现方式，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实现方式，相反，提供这些实现方式是为了更加透彻和完整地理解本公开
。
应当理解的是，本公开的附图及实现方式仅用于示例性作用，并非用于限制本公开的保护范围
。
[0025]在本公开的实现方式的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。
术语“基于”应当理解为“至少部分地基于”。
术语“一个实现方式”或“该实现方式”应当理解为“至少一个实现方式”。
术语“一些实现方式”应当理解为“至少一些实现方式”。
下文还可能包括其他明确的和隐含的定义
。
如本文中所使用的，术语“模型”可以表示各个数据之间的关联关系
。
例如，可以基于目前已知的和
/
或将在未来开发的多种技术方案来获取上述关联关系
。
[0026]可以理解的是，本技术方案所涉及的数据
(
包括但不限于数据本身
、
数据的获取或使用
)
应当遵循相应法律法规及相关规定的要求
。
[0027]可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型
、
使用范围
、
使用场景等告知用户并获得用户的授权
。
[0028]例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息
。
从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备
、
应用程序
、
服务器或存
储介质等软件或硬件提供个人信息
。
[0029]作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹出窗口的方式，弹出窗口中可以以文字的方式呈现提示信息
。
此外，弹出窗口中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件
。
[0030]可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于操作机器人手臂的方法，包括：接收用于指定由所述机器人手臂实现的目标的语言描述；获取所述机器人手臂的当前状态；以及根据动作模型，基于所述语言描述和所述当前状态来确定由所述机器人手臂将要执行的动作，其中所述动作模型是利用包括人物手臂的相关数据的参考数据来预训练的
。2.
根据权利要求1所述的方法，进一步包括：根据所述动作模型，基于所述语言描述和所述当前状态来确定所述机器人手臂执行所述动作的场景的图像预测
。3.
根据权利要求2所述的方法，进一步包括：接收用于指定由所述机器人手臂执行的动作的步骤的位置和数量；以及根据所述动作模型，确定与所述步骤的位置和数量相匹配的动作和所述图像预测
。4.
根据权利要求1所述的方法，其中所述机器人手臂的所述当前状态包括以下至少任一项：所述机器人手臂的图像
、
姿态以及所述机器人手臂的工具的状态，所述动作涉及所述姿态和所述工具的状态的变化
。5.
根据权利要求2所述的方法，其中所述动作模型包括语言编码器
、
状态编码器
、
以及动作解码器，其中确定所述动作包括：利用所述语言编码器来确定所述语言描述的语言表示；利用所述状态编码器来确定所述当前状态的状态表示；以及利用所述动作解码器，基于所述语言表示和所述状态表示来确定所述动作
。6.
根据权利要求2所述的方法，其中所述动作模型进一步包括图像解码器，以及确定所述图像预测包括：利用所述图像解码器，基于所述语言表示和所述状态表示来确定所述图像预测
。7.
根据权利要求2所述的方法，其中所述动作模型是基于以下来获得的：利用包括参考人物动作的参考人物视频和描述所述人物视频的参考语言描述，预训练所述动作模型以获得预训练的所述动作模型；以及利用包括参考机器人手臂动作的参考机器人手臂视频以及描述所述机器人手臂视频的参考动作语言描述，微调预训练的所述动作模型以获得微调的所述动作模型
。8.
根据权利要求7所述的方法，其中预训练所述动作模型包括：从所述参考人物视频中分别提取第一组参考帧和所述第一组参考帧之后的第二组参考帧；以及利用所述动作模型，基于所述参考语言描述以及所述第一组参考帧来确定所述第二组参考帧的预测；以及基于所述第二组参考帧的所述预测与所述第二组参考帧之间的第一损失，更新所述动作模型
。9.
根据权利要求8所述的方法，其中微调预训练的所述动作模型包括：从所述参考机器人手臂视频中分别提取第三组参考帧...

【专利技术属性】
技术研发人员：吴弘涛，荆雅，郑子琳，陈光增，徐佳锋，孔涛，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：