平视显示器（HUD）内容控制系统和方法技术方案

提供了一种用于控制平视显示器的内容以提供环境中自然出现的轮廓和表面的增强的可见性的系统和方法。深度信息与预定义的照明状况一起被提供，以便由HUD输出具有增强的特征轮廓的图像。轮廓的图像。轮廓的图像。

【技术实现步骤摘要】
【国外来华专利技术】平视显示器（HUD）内容控制系统和方法

技术介绍

[0001]本公开涉及用于增强驾驶员视野的系统、部件和方法。特别地，本公开涉及执行图像轮廓描绘并与自然发生的视野对准地投影该轮廓描绘的图像以增强在视野中的特征的可见性的系统、部件和方法。

技术实现思路

[0002]根据本公开，提供了用于控制HUD以增强驾驶员视场内的可见性的系统、部件和方法。
[0003]根据所公开的实施例，提供了用于控制HUD的结构和软件，使得显示器可以投影车辆外部自然发生的视场或视场一部分的增强轮廓描绘的图像。增强轮廓描绘的图像可以是视场中深度信息、照明状况和特征的乘积。
[0004]根据至少一个实施例，深度信息使用激光成像、检测和测距(LIDAR)来感测并被格式化为深度图像。视场中的特征可以由相机捕获。照明状况可以是例如镜面、漫射或环境遮挡，并且可以使用从深度图像计算的法向矢量来计算。
[0005]根据至少一个实施例，可以基于车辆轨迹、一天中的时间和/或一年中的日期来确定照明状况。光轮廓描绘的图像可由HUD响应于平坦或低照明状况或所感测到的雨来投影。HUD和处理器可集成在车辆中，以经由通信总线与各种车辆传感器和输入通信。
[0006]在考虑例示目前所理解的执行本公开的最佳模式的说明性实施例时，本公开的附加特征对于本领域技术人员将变得显而易见。
附图说明
[0007]详细描述具体参考了附图，其中：图1是由所公开的实施例用来在HUD中提供自然增强视野的硬件结构和软件的框图；图2是在挡风玻璃视野上操纵各种图像数据以及投影和对准所操纵的数据以在HUD中提供自然增强视野的示图；以及图3是生成自然增强视野的方法的流程图。
具体实施方式
[0008]本文提供的附图和描述可能已经被简化以说明与清楚理解本文描述的设备、系统和方法相关的方面，同时为了清楚起见，消除了可以在典型设备、系统和方法中发现的其它方面。本领域的普通技术人员可以认识到，其它元件和/或操作对于实现本文所述的设备、系统和方法可能是期望的和/或必要的。由于这样的元件和操作在本领域中是公知的，并且由于它们并不促进对本公开的更好理解，所以在此可以不提供对这样的元件和操作的讨论。然而，本公开被认为固有地包括了本领域普通技术人员将已知的对所描述的方面的所有这样的元件、变化和修改。
[0009]在说明性实施例中，图1中示出了其一个示例，提供用于HUD内容控制系统100的结构和软件以用于改善、增强或提高车辆外部自然出现的视野的可见性。HUD系统100说明性地被实现为集成到车辆104的通信总线102中。HUD系统说明性地包括一个或多个传感器106，其被实现为包括被配置为感测车辆外部的特征的地理区域的传感器。还可以提供相机110以捕获车辆外部的地理区域的图像。处理器118可以接收来自传感器106的信息，处理该信息，并控制到车辆挡风玻璃上的HUD 120的输出。处理器118可进一步提供有本地存储器124，用于存储命令、历史感测数据和/或生成的HUD输出。车辆还可以包括地图的数据库114、导航系统116和可以与处理器118通信的另外的车辆传感器112。为此，将根据车辆104的驾驶员和挡风玻璃的视场来描述和定位HUD。然而，该系统可以在多个不同视点为车辆内的乘客单独地或同时在如可以从车辆看到的不同窗户和视野处生成多个不同显示。
[0010]系统100说明性地包括一个或多个传感器106，其被实现为包括至少一个LIDAR传感器，用于接收指示车辆与从挡风玻璃的视野中的各个点之间的距离数据。车辆还可以包括地图的数据库114、GPS单元115和导航系统116，以及诸如罗盘、天气和速度传感器之类的另外的车辆传感器112，或者诸如信息娱乐触摸屏之类的输入接口112，其可以与处理器118通信。为了说明的目的，将根据车辆104的驾驶员和挡风玻璃的视点来描述和定位HUD。然而，HUD系统可以在车辆内的多个不同视点处单独地或同时地生成和投影多个不同的显示。
[0011]如图2中所见，处理器218可以是图形处理单元(GPU)，并且可以在平坦照明状况期间处理挡风玻璃视场的光图像224和相机图像226，以生成光轮廓描绘的图像228。光轮廓描绘的图像228可被传送到HUD 220。HUD可将光轮廓描绘的图像228投影到挡风玻璃以及相应的挡风玻璃视野230上，使得光轮廓描绘的图像228与实际挡风玻璃视野230对齐，从而产生自然增强视野232。
[0012]用于实时生成自然增强视野的方法可以经由手动驾驶员输入开始300，例如在诸如中央控制台或信息娱乐接口的车辆接口处。另外，该过程可以被编程为当感测到低照明状况时和/或当车辆前灯被点亮时自动开始。可以捕获车辆前方的视野的深度数据302，并且同时可以捕获车辆前方的视野的真实图像数据304。深度数据可例如使用LIDAR或其他深度传感器来捕获。深度数据可以作为深度图像被捕获至图像格式的缓冲器中，并且然后被图像处理以提供关于车辆前方的视野的几何形状的信息。可以使用相机或使用地图图像数据库（诸如GOOGLE EARTH[TM]、HERE[TM]地图或其他街道视野地图数据库）连同可以例如经由车辆导航系统来提供的车辆的当前地理位置和取向信息一起来捕获真实图像数据。
[0013]使用深度数据和真实图像数据可以生成306光轮廓描绘的图像。首先，可确定308深度图像内几何形状或特征的每个像素的法向矢量。为了计算几何表面上每个像素处的法向矢量，计算表面上的第一正切矢量。然后，正切矢量的叉积生成法向矢量。在深度图像中的每个像素处，在与当前像素相邻的四个像素的方向上计算从相机到几何结构的矢量。然后，使用两个相邻的水平像素矢量来计算差矢量。该差矢量的归一化可以用作当前像素的几何表面上的水平正切矢量的估计。可以对两个相邻垂直像素重复该过程，以确定垂直正切矢量的估计。然后，法向矢量可以针对像素确定为水平正切矢量和垂直正切矢量的叉积。下面更详细地提供该法向矢量处理的一个示例。
[0014]深度图像空间可以根据相机视野空间来定义，以便计算从相机到几何结构的每个法线。z轴可被定义为沿着相机瞄准方向，正z是从场景朝向相机的，x轴是在查看深度图像
时的水平方向，正x是右，y轴是垂直的，正y是向上的。因此，使用CG相机的标准透视投影，从相机到像素x，y的单位矢量可以计算为：其中，fovY=在Y(垂直)方向上的视场角度，width（宽度）=深度图像的以像素为单位的宽度，height（高度）=深度图像的以像素为单位的高度，aspect（纵横比）=宽度/高度，并且y和y分别是范围从[0
…
width
‑
1]到[0
…
height
‑
1]的像素坐标。通过将x和y坐标值中的每一个加上.5来计算通过每个像素的中心的矢量。
[0015]使用x，y像素处的深度值，像素x，y处的最近几何结构处的点是：。
[0016]使用上述“PointOnGeomitryAtPixel（在像素处的几何结构上的点）”公式，系本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于实时增强驾驶员视场中的特征的可见性的系统(100)，所述系统包括：相机(110)，被配置为捕获驾驶员视场中的图像，至少一个深度传感器，被配置为捕获驾驶员视场中的深度数据，以及用于从所捕获的图像和所述深度数据生成光轮廓描绘的图像(228)并且将所述光轮廓描绘的图像(228)叠加在所述驾驶员视场上以使所述驾驶员视场中的特征的可见性增强的装置。2.根据权利要求1所述的系统，其中，用于生成和叠加的装置包括与平视显示单元(120)通信的处理器(118、218)。3.根据权利要求1所述的系统，其中，至少一个深度传感器包括LIDAR传感器(106)，被配置为捕获深度数据并将所述数据转换为图像格式缓冲区中的帧中的深度图像，其中，每个帧对应于由所述相机(110)捕获的图像。4.根据权利要求3的系统，其中，所述装置还被配置成使用预选的照明状况对深度图像进行图像处理以创建光图像(224)。5.根据权利要求4所述的系统，其中，所述预选的照明状况可以是漫射、镜面、背光、电影或艺术照明状况中的一个。6.根据权利要求4所述的系统，其中，所述装置被配置为将所述光图像(224)与对应的捕获的相机图像(226)及时组合以生成所述光轮廓描绘的图像(228)。7.一种车辆，包括：至少一个深度传感器，被配置为捕获所述车辆外部的地理或环境的深度数据，处理器(118、218)，被配置为从所捕获的深度数据和图像数据生成光轮廓描绘的图像(228)，以及平视显示器单元(120)，被配置为将光轮廓描绘的图像(228)投影在车辆(104)的窗上，并且将光轮廓描绘的图像(228)与通过窗的视野(230)对准，以增加通过窗的视野中的特征的对比度和轮廓。8.根据权利要求7所述的车辆，还包括相机(110)，其中，所述相机生成所述图像数据。9.根据权利要求7所述的车辆，还包括地图数据库(114)，其中，所述地图数据库生成所述图像数据。10.根据权利要求7所述的车辆，其中，所述处理器还被配置成从车辆通信总线(102)接收信息，所述信息包括...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：F波尔希名誉工学博士公司奥迪股份公司，
类型：发明
国别省市：