一种基于大模型动作解析和自动编程的3C装配免编程方法技术

本发明专利技术提出一种基于大模型动作解析和自动编程的3C装配免编程方法，包括，构建智能化装配产线，基于智能化装配产线，构建多模态虚拟环境；在多模态虚拟环境中，建立包含视觉、触觉、深度的感知模型，实现对多模态示教视频数据的采集；对多模态示教视频数据进行动作解析，得到动作序列集合；构建基础任务学习模型，将动作序列集合输入基础任务学习模型进行训练，得到任务学习模型；将任务学习模型的输入和输出的结果定义为执行序列，根据执行序列实现所学技能策略从多模态虚拟环境到真实环境的迁移。通过本发明专利技术提出的方法，智能体在3C制造领域能够更好地理解和适应不同场景、任务，提高了系统的智能水平、技能迁移和泛化能力。

【技术实现步骤摘要】

本专利技术属于智能装配领域。

技术介绍

1、随着信息技术的高速发展，人们对计算机类、通信类和消费类电子产品(3c产品)的需求不断增加。现有的3c装配中刚性零件的智能装配已经基本实现，柔性可变形零件尤其是可变线性物体(dlo)的装配还只能依靠人工装配，也无法实现不同产线的切换和迁移。

2、在3c装配行业中仍需要通过构建智能化柔性装配生产线来解决柔性装配出现的物料异性且易变形、装配工艺复杂等难题，提高装配精度和效率，实现智能化生产的需求，突破传统手工装配的局限，适应智能化装配的高速发展。

3、技能学习与发育是机器人实现精准控制与精细操作的重要手段，知识表达是技能学习的核心要素。当前面向装配场景的知识表达缺乏精准性和有效性，且机器人在智能装配的任务理解、动作控制、记忆、和拓展的新技能与任务等方面仍存在巨大挑战。

4、首先，需要依赖大量的技能知识(几何、物理、功能、工艺、数据等)来支持智能化装配的建模、规划、仿真、控制、优化等环节。现有的知识表示系统主要基于静态知识库，对机器人操纵的物体和行为的描述不够细致和灵活。而且，系统的结本文档来自技高网...

【技术保护点】

1.一种基于大模型动作解析和自动编程的3C装配免编程方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述智能化装配产线，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述多模态示教视频数据进行动作解析，包括：

4.根据权利要求1所述的方法，其特征在于，所述构建基础任务学习模型，将所述动作序列集合输入所述基础任务学习模型进行训练，包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述任务学习模型的输入和输出的结果定义为执行序列，根据所述执行序列实现所学技能策略从所述多模态虚拟环境到真实环境的迁移，包...

【技术特征摘要】

1.一种基于大模型动作解析和自动编程的3c装配免编程方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述智能化装配产线，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述多模态示教视频数据进行动作解析，包括：

4.根据权利要求1所述的方法，其特征在于，所述构建基础任务学习模型，将所述动作序列集合输入所述基础任务学习模型进行训练，包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述任务学习模型的输入和输出的结果定义为执行序列，根据所述执行序列实现所学技能策略从所述多模态虚拟环境到真实环境的迁移，包括：

6.一种基于大模型动作解析...

【专利技术属性】
技术研发人员：孙富春，周怀东，
申请(专利权)人：清华大学，
类型：发明
国别省市：