【技术实现步骤摘要】
本专利技术涉及车联网，尤其涉及一种基于端侧多模态大模型的车辆主动服务系统及其动态推理方法。
技术介绍
1、随着汽车智能化的快速发展，车载主动服务系统已成为提升驾乘体验的重要技术方向。现有的车载系统主要基于驾驶员主动操作触发相应功能，在驾乘场景理解和个性化服务方面仍存在诸多不足。
2、传统车载服务系统通常采用云端大模型进行数据处理和决策推理，存在以下技术缺陷：首先，云端依赖导致网络延迟较高，响应时间通常在500-1000毫秒以上，难以满足车载场景的实时性要求；其次，用户数据需要上传至云端处理，存在隐私泄露风险；再次，单一模态的传感器识别准确率有限，特别是在暗光环境下，传统rgb摄像头无法有效识别复杂驾乘场景；最后，现有系统缺乏动态推理机制，无法根据推理过程的中间结果动态获取所需参数，导致推理决策不够精准和灵活。
3、中国公开号为cn115175138b的专利技术专利公开了一种基于用户特征提供车载应用的线上服务的方法及车载系统。该专利通过第一车载设备检测多个第二车载设备当前服务的各用户的特征数据，根据特征数据确定用户...
【技术保护点】
1.一种基于端侧多模态大模型的车辆主动服务系统，其特征在于：包括：
2.如权利要求1所述的一种基于端侧多模态大模型的车辆主动服务系统，其特征在于：所述图像数据包括RGB图像数据和红外图像数据，多模态数据采集模块还包括：
3.如权利要求1所述的一种基于端侧多模态大模型的车辆主动服务系统，其特征在于：所述多模态大模型处理单元采用教师-学生网络架构进行知识蒸馏，具体包括：
4.如权利要求1所述的一种基于端侧多模态大模型的车辆主动服务系统，其特征在于：所述将不同模态的特征数据转换为查询、键、值三元组，具体包括：
5.如权利要求4...
【技术特征摘要】
1.一种基于端侧多模态大模型的车辆主动服务系统，其特征在于：包括：
2.如权利要求1所述的一种基于端侧多模态大模型的车辆主动服务系统，其特征在于：所述图像数据包括rgb图像数据和红外图像数据，多模态数据采集模块还包括：
3.如权利要求1所述的一种基于端侧多模态大模型的车辆主动服务系统，其特征在于：所述多模态大模型处理单元采用教师-学生网络架构进行知识蒸馏，具体包括：
4.如权利要求1所述的一种基于端侧多模态大模型的车辆主动服务系统，其特征在于：所述将不同模态的特征数据转换为查询、键、值三元组，具体包括：
5.如权利要求4所述的一种基于端侧多模态大模型的车辆主动服务系统，其特征在于：所述双向注意力机制的计算方法具体包括：
6.如权利要求1所述的一种基于端侧多模...
【专利技术属性】
技术研发人员：徐宝田，赵源，潘春，赵益红，
申请(专利权)人：上海弋途科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。