本发明专利技术公开了基于跨模态大语言模型的机械臂智能交互与控制系统的构建方法，所述系统的构建方法包括如下步骤：校准仿真模型、配置仿真环境、构建任务导向性的大语言模型智能体、开发系统中间层、搭建系统用户界面、构建控制器、构建能够实现移动或抓取等任务的工具模块；通过该方法构建的系统与用户的自然语言交互，不仅增强了操作的便捷性，还提升了用户体验，实现了机械臂控制系统在自然语言理解和复杂任务执行方面的提高，为未来机械臂在更广泛应用领域的发展奠定了基础。
【技术实现步骤摘要】
本专利技术涉及自动化，具体为基于跨模态大语言模型的机械臂智能交互与控制系统的构建方法。
技术介绍
1、在当前的自动化
，机械臂系统的操作精度和自由度已达到先进水平，但其应用依然受限于预编程的路径和手动设定的操作流程。这种依赖导致机械臂无法灵活应对未预设的任务场景，需要大量人力进行细节规划，限制了其在复杂环境中的应用潜能。
2、与此同时，大语言模型(llm)，例如chatgpt等，已经展现出其在自然语言理解和任务规划方面的卓越能力。它们能够理解复杂的人类指令，自由交互，提出行动计划，并辅助决策过程。然而，它们的潜力囿于文本交互层面，尚未得到充分利用。
3、鉴于此，整合llm的机械臂控制系统提供了一个突破传统界限的解决方案。通过llm对人类语言的深入理解，机械臂能够接收和解析直接的语言指令，自动执行操作流程，实现对复杂任务场景的灵活响应。这不仅减轻了人工规划的负担，也显著提高了操作效率和适应性。
4、因此，本专利技术提出基于跨模态大语言模型的机械臂智能交互与控制系统的构建方法。
>技术实现思路本文档来自技高网...
【技术保护点】
1.基于跨模态大语言模型的机械臂智能交互与控制系统的构建方法，其特征在于，所述系统的构建方法包括如下步骤：
2.根据权利要求1所述的基于跨模态大语言模型的机械臂智能交互与控制系统的构建方法，其特征在于：S3中所述大语言模型智能体的构建方法包括：手动构建适用于进行机械臂控制指导的会话样本jsonl数据集，使用数据集对大语言模型原始神经网络进行微调。
3.根据权利要求1所述的基于跨模态大语言模型的机械臂智能交互与控制系统的构建方法，其特征在于：S3中所述大语言模型智能体的构建方法包括：构建基于大语言模型的Agent，配置与任务执行相关的工具集合，构建会话上下文记忆链条...
【技术特征摘要】
1.基于跨模态大语言模型的机械臂智能交互与控制系统的构建方法，其特征在于，所述系统的构建方法包括如下步骤：
2.根据权利要求1所述的基于跨模态大语言模型的机械臂智能交互与控制系统的构建方法，其特征在于：s3中所述大语言模型智能体的构建方法包括：手动构建适用于进行机械臂控制指导的会话样本jsonl数据集，使用数据集对大语言模型原始神经网络进行微调。
3.根据权利要求1所述的基于跨模态大语言模型的机械臂智能交互与控制系统的构建方法，其特征在于：s3中所述大语言模型智能体的构建方法包括：构建基于大语言模型的agent，配置与任务执行相关的工具集合，构建会话上下文记忆链条，编写调度程序管理复杂会话线程并合理使用工具模块。
4.根据权利要求1所述的基于跨模态大语言模型的机械臂智能交互与控制系统的构建方法，其特征在于：s3中所述大语言模型智能体的构建...
【专利技术属性】
技术研发人员：李稚凌，王春林，
申请(专利权)人：李稚凌，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。