基于多模态的环境感知与控制方法、系统、介质与产品技术方案

本申请公开了一种基于多模态的环境感知与控制方法、系统、设备、存储介质和计算机程序产品，涉及多模态数据融合技术领域，包括：采集预设环境的环境数据和点云数据，并接收用户指令数据；对所述环境数据和所述用户指令数据进行预处理，得到处理数据；将所述处理数据和预处理后的点云数据，进行数据对齐和特征融合，得到多模态数据；根据多模态大语言模型对所述多模态数据进行语义理解，并根据语义理解结果生成智能控制指令，通过所述智能控制指令对预设环境的智能化控制。本申请解决了环境感知的片面性。

【技术实现步骤摘要】

本申请涉及多模态数据融合，尤其涉及基于多模态的环境感知与控制方法、基于多模态的环境感知与控制方法系统、基于多模态的环境感知与控制方法设备、存储介质和计算机程序产品。

技术介绍

1、目前现有的环境感知与控制系统主要依赖单一模态的数据(如单独的视觉、音频或文字)进行处理和分析，因而无法综合多种感知模态的数据，导致对环境感知的片面性，难以实现复杂环境中的智能控制和交互。

技术实现思路

1、本申请的主要目的在于提供一种基于多模态的环境感知与控制方法、基于多模态的环境感知与控制方法系统、基于多模态的环境感知与控制方法设备、存储介质和计算机程序产品，旨在解决环境感知的片面性的技术问题。

2、为实现上述目的，本申请提出一种基于多模态的环境感知与控制方法，所述基于多模态的环境感知与控制方法包括：

3、采集预设环境的环境数据和点云数据，并接收用户指令数据；

4、对所述环境数据和所述用户指令数据进行预处理，得到处理数据；

5、将所述处理数据和预处理后的点云数据，进行数据对齐和特征融本文档来自技高网...

【技术保护点】

1.一种基于多模态的环境感知与控制方法，其特征在于，所述基于多模态的环境感知与控制方法，包括：

2.如权利要求1所述基于多模态的环境感知与控制方法，其特征在于，所述将所述处理数据和预处理后的点云数据，进行数据对齐和特征融合，得到多模态数据的步骤，包括：

3.如权利要求1所述基于多模态的环境感知与控制方法，其特征在于，所述将所述处理数据和预处理后的点云数据，进行数据对齐和特征融合，得到多模态数据的步骤之前，包括：

4.如权利要求3所述基于多模态的环境感知与控制方法，其特征在于，所述对预处理后的点云数据重建得到预设环境的三维模型的步骤之后，包括：

<...

【技术特征摘要】

1.一种基于多模态的环境感知与控制方法，其特征在于，所述基于多模态的环境感知与控制方法，包括：

2.如权利要求1所述基于多模态的环境感知与控制方法，其特征在于，所述将所述处理数据和预处理后的点云数据，进行数据对齐和特征融合，得到多模态数据的步骤，包括：

3.如权利要求1所述基于多模态的环境感知与控制方法，其特征在于，所述将所述处理数据和预处理后的点云数据，进行数据对齐和特征融合，得到多模态数据的步骤之前，包括：

4.如权利要求3所述基于多模态的环境感知与控制方法，其特征在于，所述对预处理后的点云数据重建得到预设环境的三维模型的步骤之后，包括：

5.一种基于多模态的环境感知与控制系统，其特征在于，所述基于多模态的环境感知与控制系统包括：

6.如权利要求5所述的基于多模态的环境感知与控制系统，其特征在于，所述多模态数据采...

【专利技术属性】
技术研发人员：李聿轩，
申请(专利权)人：深圳开鸿数字产业发展有限公司，
类型：发明
国别省市：