【技术实现步骤摘要】
本公开涉及机器人训练与示教领域,尤其涉及面向机器人大模型的物理细粒度可控动画合成方法及系统。
技术介绍
1、随着机器人的广泛使用,其作业情景也越来越复杂,需要根据多模态大语言模型(llms)进一步增强描述以合成更加复杂场景及支持机器人精细作业。
2、目前开放的机器人作业视频仿真,其作业任务比较单一,作业场景比较简单,但复杂场景构造成本高,难以满足现在飞速发展的面向通用任务的机器人大模型的需求。
技术实现思路
1、本公开旨在解决复杂作业场景中机器人精细作业的训练数据缺乏、物理仿真不够逼真以及实际环境构建成本高的问题。具体技术方案如下。
2、第一方面,本公开提出一种面向机器人大模型的物理细粒度可控动画合成方法,所述方法包括下述步骤:基于任务描述和预设的布局文本提示语,获取场景中的主体物理属性描述作为当前布局信息,基于所述布局信息和预设的第一代码文本提示,生成场景设置代码段;基于所述任务描述和所述当前布局信息,获取机械臂运动控制的作业任务,基于所述机械臂运动控制的作业任务
...【技术保护点】
1.一种面向机器人大模型的物理细粒度可控动画合成方法,其特征在于,所述方法包括下述步骤:
2.根据权利要求1所述的方法,其特征在于,当前布局信息获取步骤包括:
3.根据权利要求1所述的方法,其特征在于:所述任务描述采用自然语言指令描述。
4.根据权利要求1所述的方法,其特征在于:
5.根据权利要求4所述的方法,其特征在于:所述代码检索采用SimCodeLLM。
6.根据权利要求1所述的方法,其特征在于,所述机械臂运动控制的作业任务,获取步骤包括:基于所述任务描述和所述当前布局信息,从任务知识库中检索出最接近所
...【技术特征摘要】
1.一种面向机器人大模型的物理细粒度可控动画合成方法,其特征在于,所述方法包括下述步骤:
2.根据权利要求1所述的方法,其特征在于,当前布局信息获取步骤包括:
3.根据权利要求1所述的方法,其特征在于:所述任务描述采用自然语言指令描述。
4.根据权利要求1所述的方法,其特征在于:
5.根据权利要求4所述的方法,其特征在于:所述代码检索采用simcodellm。
6.根据权利要求1所述的方法,其特征在于,所述机械臂运动控制的...
【专利技术属性】
技术研发人员:程俊,吴福祥,郝富生,宋呈群,张锲石,
申请(专利权)人:中国科学院深圳先进技术研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。