【技术实现步骤摘要】
本公开涉及机器人控制，具体涉及一种大模型驱动物体自主摆放的机器人控制方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
2、在日常生活中，物体重新摆放涉及到各种各样的任务，例如整理桌面、将物体存放到柜子中以及打扫房间。这也是具身智能的一项基础技能。对于机器人来说，物体重新摆放的目的是根据特定的规则或指令将物体从初始位置移动到到所需的位置。
3、大多数机器人物体重新摆放的方法是采用监督学习框架来学习摆放规则，用来预测目标状态。然而，一方面，创建训练数据需要大量的手动标注工作，这限制了这些方法的可扩展性和应用。另一方面，此类方法仅预测物体的目标状态作为物体重新摆放的引导，而忽略了操作物体实现所需设置的顺序和轨迹。因此，他们只能处理相对简单的场景。例如，仅仅处理了四种场景，包括圆形、塔形、直线和桌面设置或者仅介绍三个任务场景，物体分别来自五个类别。
4、最近，大模型已经展示了提取丰富的常识推理知识的强大能力，从而在数据生成和机器人操作领域产生了各种应用，很自然地考虑利用大模型来解决现有机器人物体重新摆放方法的上述两个缺点；但是现有的方法存在开发一个框架来处理重新摆放任务，但没有明确的目标说明；或者，提出了语言引导的物体重新摆放框架，根据初始观测和语言指令来预测目标状态；或者，许多研究人员将扩散模型应用于物体的重新摆放任务中，提出一种名为lego-net的扩散模型，以重新摆放房间中的家具，如桌子、椅子、沙发等，以及训练一种基于图的扩散模型，以将任意摆放
技术实现思路
1、本公开为了解决上述问题，提出了一种大模型驱动物体自主摆放的机器人控制方法及系统，提出dynamicdiffusion大模型框架，利用基于transformer的扩散模型来生成用于机器人物体重新摆放的轨迹序列，即：设计基于transformer的扩散器来预测物体重新摆放的目标状态；提出基于llm的轨迹生成器来确定物体重新摆放的顺序，并为机器人生成相应的运动轨迹。
2、根据一些实施例，本公开采用如下技术方案：
3、一种大模型驱动物体自主摆放的机器人控制方法，包括：
4、获取候选物体对象的属性信息以及所述候选物体对象的初始状态；
5、根据候选物体对象的初始状态，生成候选物体对象指定摆放偏好的用户指令；
6、将所述属性信息和所述用户指令输入至基于transformer的扩散模型中，获取预测的以用户指令和初始状态为条件的物体重新摆放的目标状态；
7、再将所述目标状态和初始状态输入至基于llm的轨迹生成器中，确定物体重新摆放到目标状态的顺序，然后采用rrt-connect运动规划方法，以递归方式生成用于机器人物体重新摆放物体至目标状态的无碰撞轨迹。
8、根据一些实施例，本公开采用如下技术方案：
9、一种大模型驱动物体自主摆放的机器人控制系统，包括：
10、数据获取模块，用于获取候选物体对象的属性信息以及所述候选物体对象的初始状态；
11、初始化模块，用于根据候选物体对象的初始状态，生成候选物体对象指定摆放偏好的用户指令；
12、预测模块，用于将所述属性信息和所述用户指令输入至基于transformer的扩散模型中，获取预测的以用户指令和初始状态为条件的物体重新摆放的目标状态；
13、顺序及轨迹生成模块，用于再将所述目标状态和初始状态输入至基于llm的轨迹生成器中，确定物体重新摆放到目标状态的顺序，然后采用rrt-connect运动规划方法，以递归方式生成用于机器人物体重新摆放物体至目标状态的无碰撞轨迹。
14、根据一些实施例，本公开采用如下技术方案：
15、一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的一种大模型驱动物体自主摆放的机器人控制方法及系统。
16、根据一些实施例，本公开采用如下技术方案：
17、一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的一种大模型驱动物体自主摆放的机器人控制方法及系统。
18、与现有技术相比，本公开的有益效果为：
19、本公开的一种大模型驱动物体自主摆放的机器人控制方法，提出dynamicdiffusion框架，即一种基于扩散模型的新颖方法，它生成机器人轨迹序列来执行语言引导的物体重新摆放任务，具体的，提出于transformer的框架作为扩散模型来预测，该扩散模型以初始状态和用户指令为条件预测目标状态。还设计基于llm的轨迹生成器来确定物体重新摆放的顺序并生成相应的运动轨迹。不仅可以预测物体的目标状态，而且可以以合理的顺序生成机器人运动轨迹。并且通过实验证明，dynamicdiffusion在仿真和真实场景中都优于所有基线方法。
20、本公开的一种大模型驱动物体自主摆放的机器人控制方法，针对现有方法只是将物体重新摆放作为目标状态预测的任务，而忽略了操作轨迹的问题，本公开提出的方法不仅实现预测目标状态，而且还生成实现目标状态的轨迹和顺序。
本文档来自技高网...【技术保护点】
1.一种大模型驱动物体自主摆放的机器人控制方法，其特征在于，包括：
2.如权利要求1所述的一种大模型驱动物体自主摆放的机器人控制方法，其特征在于，所述候选物体对象的属性信息包括位置、3D边界框、旋转以及类别，所述候选物体对象的初始状态表示为候选物体对象的属性信息的集合。
3.如权利要求1所述的一种大模型驱动物体自主摆放的机器人控制方法，其特征在于，将指令引导的物体重新摆放目标预测视为扩散模型的过程，扩散的过程是逐渐向候选物体对象的初始状态添加噪声，通过去噪的过程，从噪声数据中恢复原始状态。
4.如权利要求1所述的一种大模型驱动物体自主摆放的机器人控制方法，其特征在于，基于Transformer的扩散模型包括语音指令编码器和物体属性编码器，对输入的语音的用户指令进行编码，使用指令编码器从用户指令中提取文本标记，对输入的属性信息进行编码，采用位置编码器独立提取物体属性特征，不同属性具有不同的维度，使用额外的线性层将编码投影到相同的维度中，将提取的物体属性特征进行连接，随后通过MLP处理，最终输出物体属性标记。
5.如权利要求1所述的一种
6.如权利要求1所述的一种大模型驱动物体自主摆放的机器人控制方法，其特征在于，无碰撞轨迹的生成步骤包括：首先，将初始场景表示为3D体素图，3D体素图被创建为W×L×H工作空间，根据离散化分辨率均匀离散化为w×l×h个单元，每个单元被分配一个特定的值0、1或2，对应3种不同的空间状态。
7.如权利要求6所述的一种大模型驱动物体自主摆放的机器人控制方法，其特征在于，将物体对象的初始状态和目标状态作为输入并输出被操作物体的顺序，在创建的3D体素图中，给定所有要操作的物体对象，使用RRT-Connect，生成第一个要操作的物体的无碰撞运动轨迹，然后将上一个移动的物体从其初始状态投影到其目标状态并更新体素图，同时，第二个要操作的物体变成当前要操作的物体，以此递归地为所有要操作的物体生成无碰撞轨迹。
8.一种大模型驱动物体自主摆放的机器人控制系统，其特征在于，包括：
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-7任一项所述的一种大模型驱动物体自主摆放的机器人控制方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的一种大模型驱动物体自主摆放的机器人控制方法。
...【技术特征摘要】
1.一种大模型驱动物体自主摆放的机器人控制方法，其特征在于，包括：
2.如权利要求1所述的一种大模型驱动物体自主摆放的机器人控制方法，其特征在于，所述候选物体对象的属性信息包括位置、3d边界框、旋转以及类别，所述候选物体对象的初始状态表示为候选物体对象的属性信息的集合。
3.如权利要求1所述的一种大模型驱动物体自主摆放的机器人控制方法，其特征在于，将指令引导的物体重新摆放目标预测视为扩散模型的过程，扩散的过程是逐渐向候选物体对象的初始状态添加噪声，通过去噪的过程，从噪声数据中恢复原始状态。
4.如权利要求1所述的一种大模型驱动物体自主摆放的机器人控制方法，其特征在于，基于transformer的扩散模型包括语音指令编码器和物体属性编码器，对输入的语音的用户指令进行编码，使用指令编码器从用户指令中提取文本标记，对输入的属性信息进行编码，采用位置编码器独立提取物体属性特征，不同属性具有不同的维度，使用额外的线性层将编码投影到相同的维度中，将提取的物体属性特征进行连接，随后通过mlp处理，最终输出物体属性标记。
5.如权利要求1所述的一种大模型驱动物体自主摆放的机器人控制方法，其特征在于，基于transformer的扩散模型包括前向扩散和反向扩散，前向扩散为添加高斯噪声的过程，反向扩散是去噪的过程，在前向过程中，对物体的属性信息进行加噪处理，然后由物体属性编码器进行编码，用户指令由语言编码器处理，然后，执行物体编码和语言编码的hadamard积来对齐两种类型的特征，输出预测的以用户指令...
【专利技术属性】
技术研发人员：张伟，赵晨琨，宋然，杨硕，李大猷，魏鹏坤，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。