一种基于AR-HUD的智能行人交互系统、方法及设备技术方案

本发明专利技术涉及一种基于AR‑HUD的智能行人交互系统、方法及设备，属于智能驾驶技术领域；其包括通过多传感器实时采集目标车辆的多模态数据；将多模态数据输入训练好的深度学习模型中，对行人和斑马线进行检测识别，获得增强现实信息，并通过HUD投影显示；其中，所述增强现实信息包括斑马线位置、行人方向和车辆让行状态；当检测到行人接近斑马线时，结合环境感知信息，向行人发出安全提醒。上述方案能够确保在各种复杂环境下准确检测和识别行人及斑马线，以提高系统的鲁棒性和可靠性，并且在与行人进行交互时，通过准确的行人检测和高效的交互机制，可有效减少交通事故发生，提升行人过街的安全性。

【技术实现步骤摘要】

本专利技术属于智能驾驶，具体涉及一种基于ar-hud的智能行人交互系统、方法及设备。

技术介绍

1、在多数交通法规与道路通行规则里，汽车行至斑马线这类供行人横穿道路的标志或信号区域时，通常必须停车，待行人完全通过之后，方可继续行驶。此规定旨在保障行人安全，确保他们能够安心、顺利地横穿马路。即便车辆正处于行驶状态，在接近斑马线时也会主动减速；一旦有行人准备通过，更会立刻停车等待行人先行。

2、对于行人而言，当有车辆驶近时，第一反应往往是等待车辆先行通过后再迈步。而在此种情境下，驾驶员通常会在车内挥手示意，礼让行人优先通行。长此以往，这种彼此等待、互相礼让却缺乏明确沟通的情况，给驾驶员和行人都带来了困扰。

3、鉴于此，亟需一种能与行人有效交互的方式，以统一双方的行为认知。然而，当前现有技术所采用的交互手段相对单一，多局限于闪烁灯光、按喇叭等传统方式。并且，传统车机系统在行人检测方面存在明显短板，尤其在复杂环境或低光照条件下，极易出现误检行人或漏检行人的状况。此外，传统车机系统在与行人进行信息交互时，信息传递的及时性欠佳，这极有可能引发行本文档来自技高网...

【技术保护点】

1.一种基于AR-HUD的智能行人交互方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述通过多传感器实时采集目标车辆的多模态数据包括：

3.如权利要求1所述的方法，其特征在于，获得训练好的深度学习模型包括：

4.如权利要求1所述的方法，其特征在于，所述深度学习模型的预先构建包括:

5.如权利要求4所述的方法，其特征在于，所述对预设范围内的行人进行检测包括：确定目标车辆位置，将行人位置信息与云端稀疏地图中的斑马线空间位置信息进行特征点匹配，寻找距离行人最近的斑马线；将行人位置信息与行人朝向方向信息相结合，计算目标车辆位置相...

【技术特征摘要】

1.一种基于ar-hud的智能行人交互方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述通过多传感器实时采集目标车辆的多模态数据包括：

3.如权利要求1所述的方法，其特征在于，获得训练好的深度学习模型包括：

4.如权利要求1所述的方法，其特征在于，所述深度学习模型的预先构建包括:

5.如权利要求4所述的方法，其特征在于，所述对预设范围内的行人进行检测包括：确定目标车辆位置，将行人位置信息与云端稀疏地图中的斑马线空间位置信息进行特征点匹配，寻找距离行人最近的斑马线；将行人位置信息与行人朝向方向信息相结合，计算目标车辆位置相对于最近的行人和斑马线的相对位置和朝向。

6.如权利要求5所述的方法，其特征在于，所述确定目标车辆位置包括：

7.如权利要求6所述的方法，其特征在于，所述预先生成云端稀疏...

【专利技术属性】
技术研发人员：王兆麟，王兆麒，王宏民，张浩楠，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：