一种基于增强现实的驾驶辅助系统及方法技术方案

本发明专利技术涉及一种增强现实的驾驶辅助系统及方法，所述系统包括所述ADAS模块，用于获取环境信息，对所述环境信息进行识别，得到目标对象的信息，其中，所述目标对象的信息包括距离信息和图像信息；所述车内相机，用于对驾驶员的眼睛进行实时定位；所述处理模块，用于根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在所述显示模块的显示位置；所述显示模块，用于在所述显示位置处显示所述目标对象的虚拟图像。本发明专利技术能够根据驾驶员在驾驶过程中视线的变化，实时计算HUD上图像的显示位置，实现AR‑HUD的显示结果与真实道路情况的高精度贴合。

A Driving Assistance System and Method Based on Augmented Reality

The invention relates to an augmented reality driving assistance system and method, which includes the ADAS module for acquiring environmental information, recognizing the environmental information and obtaining the information of the target object, in which the information of the target object includes distance information and image information, and the in-car camera for real-time positioning of the driver's eyes. A module is used to calculate the display position of the virtual image of the target object in real time according to the distance information of the target object and the real-time positioning information of the driver's eyes, and the display module is used to display the virtual image of the target object at the display position. The invention can calculate the display position of the image on the HUD in real time according to the change of the driver's sight in driving process, and realize the high precision coincidence between the display result of AR_HUD and the real road condition.

【技术实现步骤摘要】
一种基于增强现实的驾驶辅助系统及方法
本专利技术涉及智能驾驶
，尤其涉及一种基于增强现实的驾驶辅助系统及方法。
技术介绍
增强现实技术(AugmentedReality，简称AR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，使得真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。平视显示器(HeadUpDisplay，HUD)最早出现在军用飞机上，其作用是降低飞行员需要低头查看仪表的频率，从而避免注意力中断以及丧失对状态意识的掌握。后来为了相同的目的，HUD技术应用于汽车上，从而希望能够避免因为减少低头看中控台显示而引起交通事故的发生。在汽车领域，AR-HUD实现方式采用虚拟提示信息和实际路况的贴合，从而保证驾驶者能够清晰直观的对道路、障碍物、方向和车道线进行观测预判，从而在很大程度上避免了危险的发生和导航错误。现有技术中对于AR-HUD的实现方式，有的是直接将实际路况信息按预设方式显示在HUD上，没有考虑到显示结果是否精细地符合驾驶员的视线角度；有的是在驾驶汽车之前，通过驾驶员手动调节HUD的显示高度和角度，直到调到合适的角度。由于每个驾驶员的头部视角高度、坐姿变化以及眼睛离显示器的距离不同，而导致每个驾驶员的视线不同，同一驾驶员在不同坐姿变化后实现也不同，上述技术方案均不能根据驾驶员在驾驶过程中的坐姿变化带来的视线变化，实时调整AR-HUD显示的结果，使得AR-HUD显示的结果无法与真实路况信息高精度贴合。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种基于增强现实的驾驶辅助系统及方法，能够根据驾驶员在驾驶过程中视线的变化，实时计算HUD上图像的显示位置，实现AR-HUD的显示结果与真实道路情况的高精度贴合。为了解决上述技术问题，第一方面，本专利技术提供了一种基于增强现实的驾驶辅助系统，包括ADAS模块、车内相机、处理模块和显示模块，所述ADAS模块、所述车内相机、所述显示模块均与所述处理模块通信连接，所述ADAS模块还与所述显示模块通信连接，所述ADAS模块，用于获取环境信息，对所述环境信息进行识别，得到目标对象的信息，其中，所述目标对象的信息包括距离信息和图像信息；所述车内相机，用于对驾驶员的眼睛进行实时定位；所述处理模块，用于根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在所述显示模块的显示位置；所述显示模块，用于在所述显示位置处显示所述目标对象的虚拟图像。进一步地，所述车内相机包括：距离检测模块，用于检测所述车内相机到驾驶员眼睛的第一距离；角度计算模块，用于根据所述车内相机的光学参数和安装参数，以及驾驶员眼睛中心的成像位置，计算所述车内相机与驾驶员眼睛的夹角。优选地，所述处理模块包括：距离计算模块，用于根据所述距离信息、所述第一距离以及所述夹角，计算所述虚拟图像的显示高度和显示宽度。进一步地，所述ADAS模块还包括图像发送模块，用于向所述显示模块发送所述图像信息。优选地，所述显示模块包括匹配模块，用于根据所述目标对象的类型，确定与所述目标对象匹配的图像形式。第二方面，本专利技术提供了一种基于增强现实的驾驶辅助方法，包括：获取环境信息，对所述环境信息进行识别，得到目标对象的信息，其中，所述目标对象的信息包括距离信息和图像信息；对驾驶员的眼睛进行实时定位；根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在显示模块的显示位置；在所述显示位置处显示所述目标对象的虚拟图像。进一步地，所述对驾驶员的眼睛进行实时定位包括：检测车内相机到驾驶员眼睛的第一距离；根据所述车内相机的光学参数和安装参数，以及驾驶员眼睛中心的成像位置，计算所述车内相机与驾驶员眼睛的夹角。优选地，所述根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在所述显示模块的显示位置包括：根据所述距离信息、所述第一距离以及所述夹角，计算所述虚拟图像的显示高度和显示宽度。进一步地，所述方法还包括：向所述显示模块发送所述图像信息。优选地，所述在所述显示位置处显示所述目标对象的虚拟图像包括：根据所述目标对象的类型，确定与所述目标对象匹配的图像形式。实施本专利技术实施例，具有如下有益效果：本专利技术通过ADAS模块获取环境信息，并进行识别得到目标对象的信息；车内相机通过在驾驶过程中对驾驶员的眼睛进行实时定位；处理模块根据ADAS模块获取的信息以及车内相机获取的信息，计算目标对象的虚拟图像的显示位置，并通过显示模块显示出来。本专利技术能够根据驾驶员在驾驶过程中视线的变化，实时计算HUD上图像的显示位置，实现AR-HUD的显示结果与真实道路情况的高精度贴合，使得显示的虚拟现实信息正好落在驾驶员所见的目标对象上。附图说明图1是本专利技术实施例提供的一种基于增强现实的驾驶辅助系统示意图；图2是本专利技术实施例提供的车内相机框图；图3是本专利技术实施例提供的驾驶员视线第一示意图；图4是本专利技术实施例提供的驾驶员视线第二示意图；图5是本专利技术实施例提供的一种基于增强现实的驾驶辅助方法示意图；图6是本专利技术实施例提供的一种对驾驶员眼睛进行实时定位的方法。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参见图1，其示出了本专利技术实施例提供的一种基于增强现实的驾驶辅助系统示意图，所述系统包括ADAS模块110、车内相机120、处理模块130和显示模块140，所述ADAS模块110、所述车内相机120、所述显示模块140均与所述处理模块130通信连接，所述ADAS模块110还与所述显示模块140通信连接。本专利技术中的车内相机120采用的是TOF(TimeofFlight，飞行时间)深度相机，也称作为PMD(光子混合装置)相机，具有TOF传感器，该传感器装置具有多个传感器元件，所述传感器元件通常矩阵形地，即成行成列地设置并且传感器元件分别是光敏的。TOF相机是3D相机系统，所述3D相机系统借助于渡越时间法测量距离，即从TOF相机到对象的间距。为此，在相机的视野中借助于辐射脉冲照射区域，也称作画面，并且TOF相机针对每个像素，即针对每个传感器元件，测量相应的电磁辐射到达对象并且再回来所需的时间。所需的时间是直接与距离成比例的。因此，TOF相机针对每个像素提供在其上成像的对象的距离。本实施例仅以TOF深度相机为例，但不仅限于TOF深度相机，任何能够测量相机到人眼距离的相机均可应用在本专利技术中。本专利技术中的显示模块140具体可为抬头显示器HUD，所述抬头显示器HUD具有资料处理与影像显示的功能。所述ADAS模块110，用于获取环境信息，对所述环境信息进行识别，得到目标对象的信息，其中，所述目标对象的信息包括距离信息和图像信息。本实施例中的目标对象包括行人、车辆、路标和车道线等。这里的ADAS模块110可以包括ADAS相机、ADAS控制器以及若干传感器，通过ADAS相机及相关传感器来获取周边环境信息，所述传感器包括但不限于GPS、本文档来自技高网...

【技术保护点】
1.一种基于增强现实的驾驶辅助系统，其特征在于，包括ADAS模块、车内相机、处理模块和显示模块，所述ADAS模块、所述车内相机、所述显示模块均与所述处理模块通信连接，所述ADAS模块还与所述显示模块通信连接，所述ADAS模块，用于获取环境信息，对所述环境信息进行识别，得到目标对象的信息，其中，所述目标对象的信息包括距离信息和图像信息；所述车内相机，用于对驾驶员的眼睛进行实时定位；所述处理模块，用于根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在所述显示模块的显示位置；所述显示模块，用于在所述显示位置处显示所述目标对象的虚拟图像。

【技术特征摘要】
1.一种基于增强现实的驾驶辅助系统，其特征在于，包括ADAS模块、车内相机、处理模块和显示模块，所述ADAS模块、所述车内相机、所述显示模块均与所述处理模块通信连接，所述ADAS模块还与所述显示模块通信连接，所述ADAS模块，用于获取环境信息，对所述环境信息进行识别，得到目标对象的信息，其中，所述目标对象的信息包括距离信息和图像信息；所述车内相机，用于对驾驶员的眼睛进行实时定位；所述处理模块，用于根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在所述显示模块的显示位置；所述显示模块，用于在所述显示位置处显示所述目标对象的虚拟图像。2.根据权利要求1所述的一种基于增强现实的驾驶辅助系统，其特征在于，所述车内相机包括：距离检测模块，用于检测所述车内相机到驾驶员眼睛的第一距离；角度计算模块，用于根据所述车内相机的光学参数和安装参数，以及驾驶员眼睛中心的成像位置，计算所述车内相机与驾驶员眼睛的夹角。3.根据权利要求2所述的一种基于增强现实的驾驶辅助系统，其特征在于，所述处理模块包括：距离计算模块，用于根据所述距离信息、所述第一距离以及所述夹角，计算所述虚拟图像的显示高度和显示宽度。4.根据权利要求1所述的一种基于增强现实的驾驶辅助系统，其特征在于，所述ADAS模块还包括图像发送模块，用于向所述显示模块发送所述图像信息。5.根据权利要求1所述的一种基于增强现实的驾驶辅助系统，其特征在于，所述...

【专利技术属性】
技术研发人员：吴国苏州，梁振宝，
申请(专利权)人：福瑞泰克智能系统有限公司，
类型：发明
国别省市：浙江,33