基于多模态大模型的自动驾驶车辆动态接送管理系统技术方案

本发明专利技术提出了基于多模态大模型的自动驾驶车辆动态接送管理系统，属于自动驾驶技术领域，该系统包括多模态数据采集模块；多模态大模型处理模块；个性化接送点推荐模块；动态路径规划与接送点调整模块；智能乘客交互与反馈模块；该系统旨在为自动驾驶车辆提供智能化的接送点选择和动态调整能力；该系统通过融合多模态数据，实现对复杂环境的高效感知和实时响应，实时生成最佳路径和接送点；该系统能够根据实时交通、环境变化和乘客需求，自动调整接送点和路径规划，提供个性化的乘客体验。

【技术实现步骤摘要】

本专利技术涉及自动驾驶，具体而言，涉及基于多模态大模型的自动驾驶车辆动态接送管理系统。

技术介绍

1、随着自动驾驶技术的快速发展，自动接送乘客的服务逐渐被提出来；通过自动驾驶技术实现自动接送乘客的服务具有：提高交通安全性、提升交通效率、改善乘客体验、节省时间和促进交通系统的智能化等优点。

2、但自动驾驶车辆在运行过程中同时存在各种问题，比如：通过现有自动驾驶车辆的分析系统选择的路线不是最佳路线，且不能实时调整；自动驾驶车辆选择的接送点位置并不是乘客需求的；自动驾驶车辆选择的接送点不能根据乘客需求和环境变化进行实时的调整。

3、因此，需要对自动驾驶车辆的自动接送系统进行改进，使得改进以后的系统不但能够生成准确的接送路径和接送点，还能够实时的根据环境变化和乘客需求对接送路径和接送点进行调整和更新。

技术实现思路

1、本专利技术的目的在于克服现有技术存在的以上问题，以及在原有技术基础上大大提高其技术效果；为此，本专利技术提供了基于多模态大模型的自动驾驶车辆动态接送管理系统，该系统包括：...

【技术保护点】

1.基于多模态大模型的自动驾驶车辆动态接送管理系统，其特征在于，所述系统包括：

2.根据权利要求1所述的基于多模态大模型的自动驾驶车辆动态接送管理系统，其特征在于，所述多模态数据采集模块包括：数据的采集和数据特征的提取；所述数据的采集指通过自动驾驶汽车的各种传感器获取乘客信息和实时环境数据；所述数据特征的提取指通过对采集的数据进行特征提取，获取对应数据的特征数据；数据特征的提取共分为：语音输入处理、图像视频输入处理和传感器数据处理；所述语音输入处理采用端到端ASR模型；所述端到端ASR模型是一种语音识别方法，它试图通过一个统一的神经网络模型直接从原始语音信号中输出文本，省略了...

【技术特征摘要】

1.基于多模态大模型的自动驾驶车辆动态接送管理系统，其特征在于，所述系统包括：

2.根据权利要求1所述的基于多模态大模型的自动驾驶车辆动态接送管理系统，其特征在于，所述多模态数据采集模块包括：数据的采集和数据特征的提取；所述数据的采集指通过自动驾驶汽车的各种传感器获取乘客信息和实时环境数据；所述数据特征的提取指通过对采集的数据进行特征提取，获取对应数据的特征数据；数据特征的提取共分为：语音输入处理、图像视频输入处理和传感器数据处理；所述语音输入处理采用端到端asr模型；所述端到端asr模型是一种语音识别方法，它试图通过一个统一的神经网络模型直接从原始语音信号中输出文本，省略了传统asr模型中的多个独立步骤；即端到端asr模型将包括声学模型、语音模型和解码器对语音信息的处理同意了起来；端到端asr模型处理语音信息的步骤为：预训练阶段：通过无监督的方式训练使得模型学习语音信号的特征来生成潜在表示，从而捕捉到音频中的语音模式；微调阶段：使用标注数据进一步的优化模型，使模型能够从语音信号中准确的映射到文本上；解码阶段：通过模型中的transformer解码器从训练后的模型中提取最终的语音到文本的转换过程，根据输入的语音特征和转换过程生成一系列的可能文本输出，通过选取最可能的序列，得到最终的识别结果；将语音信号转换为文本的语音公式为：

3.根据权利要求1所述的基于多模态大模型的自动驾驶车辆动态接送管理系统，其特征在于，所述多模态大模型处理模块包括：自然语言处理nlp、图像与视频处理、环境感知与3d空间理解和语言情感识别；所述自然语言处理nlp通过bert大型语言模型和引入多任务学习mtl的方法对特征文本信息进行理解和处理，处理的步骤为：be rt预训练，通过大模型自动驾驶语料库进行bert预训练，bert学习到通用的语言表示；微调bert和多任务学习mtl结合，将多个任务包括：分类、命题实体识别和问答添加到bert的基础上，同时优化bert的共享层和...

【专利技术属性】
技术研发人员：梁晓辉，陈荣波，蔡轶佳，杨昊，
申请(专利权)人：广州智体科技有限公司，
类型：发明
国别省市：