一种基于多模态数据融合的机器人控制方法及装置制造方法及图纸

本申请公开了一种基于多模态数据融合的机器人控制方法及装置，方法包括：响应于用户输入的控制指令，接收并预处理预先设置在机器人上的多类传感器反馈的感知信息，得到多模态数据；动态调整各模态数据的权重，提取各模态数据的特征向量；根据动态调整的各模态数据的权重，对提取的各模态数据的特征向量进行融合，生成用于表征当前环境全面状态的综合特征向量；根据综合特征向量，通过预设大语言模型对控制指令进行分析，得到机器人的最终决策结果；根据最终决策结果，调用并执行机器人所需执行的指令集，以驱动机器人完成相关动作。因此，采用本申请实施例，机器人能够最大化有效处理和利用来自不同模态的信息，实现机器人更好的决策和性能。

【技术实现步骤摘要】

本申请涉及机器人，特别涉及一种基于多模态数据融合的机器人控制方法及装置。

技术介绍

1、机器人已成为连接物理世界与数字世界的桥梁，它们在家庭、工业、医疗、教育等多个领域中扮演着越来越重要的角色。这些应用场景要求机器人能够理解和响应复杂的自然语言指令，同时处理来自视觉、听觉、触觉等多种传感器的数据，以实现高度仿真和自然的交互。

2、相关技术中，机器人的操作系统仅支持单一的模态信息处理，例如仅依赖视觉或听觉信息，无法全面整合视觉、听觉、触觉等多种传感器数据，限制了机器人在复杂环境中的感知和交互能力。同时现有系统难以实现对用户意图的深层次理解，导致机器人在提供交互体验时缺乏自然性和个性化，无法满足用户对智能化交互的期待。

技术实现思路

1、本申请实施例提供了一种基于多模态数据融合的机器人控制方法及装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详本文档来自技高网...

【技术保护点】

1.一种基于多模态数据融合的机器人控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述动态调整各模态数据的权重，包括

3.根据权利要求2所述的方法，其特征在于，按照以下步骤生成预先训练的环境分析模型，包括：

4.根据权利要求2所述的方法，其特征在于，所述各模态数据包括视觉模态数据、听觉模态数据以及触觉模态数据；

5.根据权利要求1所述的方法，其特征在于，所述各模态数据的特征向量是采用特征提取技术获取的；

6.根据权利要求1所述的方法，其特征在于，所述根据所述综合特征向量，通过预设大语言模型对所述控...

【技术特征摘要】

1.一种基于多模态数据融合的机器人控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述动态调整各模态数据的权重，包括

3.根据权利要求2所述的方法，其特征在于，按照以下步骤生成预先训练的环境分析模型，包括：

4.根据权利要求2所述的方法，其特征在于，所述各模态数据包括视觉模态数据、听觉模态数据以及触觉模态数据；

5.根据权利要求1所述的方法，其特征在于，所述各模态数据的特征向量是采用特征提取技术获取的；

6.根据权利要求1所述的方法，其特征在于，所述根据所述综合特征向量，通过预设大语言模型对所述控制指令进行分析，...

【专利技术属性】
技术研发人员：朱小芳，杨隐峰，梁亮，
申请(专利权)人：杭州泛嘉科技有限公司，
类型：发明
国别省市：