面向机器人大模型的物理细粒度可控动画合成方法及系统技术方案

技术编号:44803400 阅读:23 留言:0更新日期:2025-03-28 19:52
本公开涉及机器人训练与示教领域,尤其涉及面向机器人大模型的物理细粒度可控动画合成方法及系统,用于解决现有技术机器人作业视频仿真中,复杂场景构造成本高,难以满足现在飞速发展的面向通用任务的机器人大模型的需求的问题。本公开技术方案通过文本描述自动生成机器人作业场景布局及相关作业流程,并转换为代码片段,通过运行仿真生成逼真的视频场景和细粒度的场景描述,为机器人训练与示教提供支持。

【技术实现步骤摘要】

本公开涉及机器人训练与示教领域,尤其涉及面向机器人大模型的物理细粒度可控动画合成方法及系统


技术介绍

1、随着机器人的广泛使用,其作业情景也越来越复杂,需要根据多模态大语言模型(llms)进一步增强描述以合成更加复杂场景及支持机器人精细作业。

2、目前开放的机器人作业视频仿真,其作业任务比较单一,作业场景比较简单,但复杂场景构造成本高,难以满足现在飞速发展的面向通用任务的机器人大模型的需求。


技术实现思路

1、本公开旨在解决复杂作业场景中机器人精细作业的训练数据缺乏、物理仿真不够逼真以及实际环境构建成本高的问题。具体技术方案如下。

2、第一方面,本公开提出一种面向机器人大模型的物理细粒度可控动画合成方法,所述方法包括下述步骤:基于任务描述和预设的布局文本提示语,获取场景中的主体物理属性描述作为当前布局信息,基于所述布局信息和预设的第一代码文本提示,生成场景设置代码段;基于所述任务描述和所述当前布局信息,获取机械臂运动控制的作业任务,基于所述机械臂运动控制的作业任务和预设的第二代码文本本文档来自技高网...

【技术保护点】

1.一种面向机器人大模型的物理细粒度可控动画合成方法,其特征在于,所述方法包括下述步骤:

2.根据权利要求1所述的方法,其特征在于,当前布局信息获取步骤包括:

3.根据权利要求1所述的方法,其特征在于:所述任务描述采用自然语言指令描述。

4.根据权利要求1所述的方法,其特征在于:

5.根据权利要求4所述的方法,其特征在于:所述代码检索采用SimCodeLLM。

6.根据权利要求1所述的方法,其特征在于,所述机械臂运动控制的作业任务,获取步骤包括:基于所述任务描述和所述当前布局信息,从任务知识库中检索出最接近所述任务描述和所述当前...

【技术特征摘要】

1.一种面向机器人大模型的物理细粒度可控动画合成方法,其特征在于,所述方法包括下述步骤:

2.根据权利要求1所述的方法,其特征在于,当前布局信息获取步骤包括:

3.根据权利要求1所述的方法,其特征在于:所述任务描述采用自然语言指令描述。

4.根据权利要求1所述的方法,其特征在于:

5.根据权利要求4所述的方法,其特征在于:所述代码检索采用simcodellm。

6.根据权利要求1所述的方法,其特征在于,所述机械臂运动控制的...

【专利技术属性】
技术研发人员:程俊吴福祥郝富生宋呈群张锲石
申请(专利权)人:中国科学院深圳先进技术研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1