基于VLA架构与蒸馏学习的无人物流车驾驶决策方法及系统技术方案

本发明专利技术涉及基于VLA架构与蒸馏学习的无人物流车驾驶决策方法及系统，本申请通过蒸馏学习将模型的体积压缩，同时可以降低算力需求以及硬件成本。此外，解决了复杂的道路行驶情况，如果出现轻量化模型无法准确判断的情形，本申请将视觉数据发送至云端进行语义标注，并将语义标注图像发送至管理人员，管理人员可以通过语音进行远程控制。语音数据通过解析成为语音控制指令，通过适配层适配对应的控制向量。本申请解决了现有模型无法通过自然语言直接控制的缺点，使用场景更加灵活。

【技术实现步骤摘要】

本专利技术涉及自动驾驶，具体是基于vla架构与蒸馏学习的无人物流车驾驶决策方法及系统。

技术介绍

1、在低成本物流车领域，自动驾驶主要依赖融合视觉-语言-动作（vla）大模型，但是vla大模型的传统方案中，需要独立开发感知、规划、控制模块（例如雷达/相机/控制器分立设计），导致成本高且系统冗余。传统的vla等通用多模态模型参数量大（如gpt-4约1.8万亿参数），无法在车载嵌入式平台运行（t930g域控制器内存≤32gb）。此外，现有的物流车无法通过解析自然语言指令来实施车辆控制，需要依赖预设路径，灵活性较差。

技术实现思路

1、有鉴于此，本专利技术的目的是提供基于vla架构与蒸馏学习的无人物流车驾驶决策方法及系统，以解决上述技术问题。

2、为了实现上述目的，本专利技术采用了如下技术方案：

3、本专利技术的基于vla架构与蒸馏学习的无人物流车驾驶决策方法，包括步骤：

4、获取无人物流车的摄像头采集的视觉数据；

5、将所述视觉数据输入至轻量化模型中，得到多个控制指本文档来自技高网...

【技术保护点】

1.基于VLA架构与蒸馏学习的无人物流车驾驶决策方法，其特征在于，包括步骤：

2.根据权利要求1所述的基于VLA架构与蒸馏学习的无人物流车驾驶决策方法，其特征在于，所述轻量化模型的构建方法包括：

3.根据权利要求1所述的基于VLA架构与蒸馏学习的无人物流车驾驶决策方法，其特征在于，所述语义分割图像包括目标提取框以及目标提取框的标签，所述视觉分割模型由园区内采集的多个训练样本训练得到，所述视觉分割模型部署在云端服务器中。

4.根据权利要求3所述的基于VLA架构与蒸馏学习的无人物流车驾驶决策方法，其特征在于，对所述语音数据进行解析，得到语音控制指令，包括：...

【技术特征摘要】

1.基于vla架构与蒸馏学习的无人物流车驾驶决策方法，其特征在于，包括步骤：

2.根据权利要求1所述的基于vla架构与蒸馏学习的无人物流车驾驶决策方法，其特征在于，所述轻量化模型的构建方法包括：

3.根据权利要求1所述的基于vla架构与蒸馏学习的无人物流车驾驶决策方法，其特征在于，所述语义分割图像包括目标提取框以及目标提取框的标签，所述视觉分割模型由园区内采集的多个训练样本训练得到，所述视觉分割模型部署在云端服务器中。

4.根据权利要求3所述的基于vla架构与蒸馏学习的无人物流车驾驶决策方法，其特征在于，对所述语音数据进行解析，得到语音控制指令，包括：

5.根据权利要求4所述的基于vla架构与蒸馏...

【专利技术属性】
技术研发人员：王振江，
申请(专利权)人：蜂巢智行上海技术有限公司，
类型：发明
国别省市：