增强现实系统及被遮蔽物体的图像处理技术方案

一种显示相对于现实世界场景被遮蔽的物体的增强现实图像的方法。由图像捕捉设备捕捉车辆外部图像。由处理器确定从车辆内人的角度看被车辆部件挡住的物体部分。在所述车辆部件的上方生成表示被挡住物体的所述部分的增强现实图像。增强现实图像显示在与现实世界场景相关的深度上的图像平面上。

【技术实现步骤摘要】
增强现实系统及被遮蔽物体的图像处理
技术介绍
实施例涉及一种用于被遮蔽物体的增强现实系统。汽车和其他交通车辆包括内部乘客车厢，车辆驾驶员位于该车厢中，且在其中操纵车辆控制机构。车辆通常包括透明玻璃，比如前挡风玻璃、侧窗、后挡风玻璃以使得使用者可以观察车辆外的现实世界场景。车辆通常包括车架和支撑挡风玻璃与侧窗的车身结构。多个柱体(例如，A柱)延伸至车顶，从而支撑车顶。由于相比于前挡风玻璃与侧窗而言，柱体尺寸相对较窄，所以对于驾驶员而言靠近A柱可能造成对现实世界场景的视觉妨碍。现实世界场景中由于A柱而可能无法进入驾驶员视线的物体包括，但不限于，行人、标志、建筑物和其他车辆。这些物体的挡住可导致车辆或诸如行人的外部物体发生事故。
技术实现思路
实施例的优点是：向车辆驾驶员显示否则将被阻碍驾驶员视线的车辆部件所挡住的现实世界场景。此外，表示被挡住的现实世界场景一部分的增强现实图像显示在车辆部件的上方的图像平面上，且这部分现实世界场景与驾驶员通过前挡风玻璃和侧灯而可视的现实世界场景融合。增强现实图像被调整尺寸并投射在将增强现实图像基本上放置在与现实世界场景相同的平面上的距离处。此外，控制亮度，以使得现实世界场景与增强现实图像基本上没有区别。因此，驾驶员看到的现实世界图像在现实世界场景中的融合均匀且无阻碍。实施例设想了一种显示相对于现实世界场景被遮蔽的物体的增强现实图像的方法。由图像捕捉设备捕捉车辆外部图像。由处理器确定从车辆驾驶员的视角看被车辆部件遮蔽的物体的部分。在所述车辆部件的上方生成表示被挡住的物体的部分的增强现实图像。增强现实图像显示在与现实世界场景相关的深度上的图像平面上。附图说明图1是增强现实显示系统的框图。图2是安装在车辆部件上的波导平视显示器(HUD)。图3为是现实世界图像与2D显示图像之间的图像深度的示例图。图4为是现实世界图像与3D显示图像之间的图像深度的示例图。图5为应用图像处理以便生成被挡住物体的虚拟图像的流程图。具体实施方式图1是增强现实显示系统10的框图，其包括图像捕捉设备12、处理器14、波导平视显示器16以及头部跟踪器18。系统10生成增强现实显示，从而补充现实世界场景被诸如车辆A柱的车辆部件所挡住的部分。当驾驶员操纵车辆时，A柱可以阻挡住驾驶员和物体之间对准的该物体全部或部分。当诸如建筑物、其他车辆或行人与驾驶员和A柱对准时，这些物体可被A柱挡住。因此，增强现实显示系统10补充出物体被挡住的部分，并且将全系现实投射到A柱之外的图像平面上，从而补充被挡住物体的部分。应该理解，此处所用术语车辆不限于汽车，可包括但不限于火车、船舶或飞机。此外，平视显示器和头部跟踪器可由车辆内任何乘客使用。图像捕捉设备12可包括摄像机或摄像系统，捕捉车辆外部图像，更具体地指驾驶员通过前挡风玻璃或侧窗(即侧面窗户)所看到的图像。图像捕捉设备可包括，但不限于，三维(3D)摄像机或立体摄像机。优选地，图像捕捉设备捕捉3D图像，或者可以捕捉在三维世界中的图像或提供可处理为3D图像的图像。图像捕捉设备12可安装在车辆上并与驾驶员及A柱对准，从而不需要额外处理以对准图像。可选地，图像捕捉设备12可位于车辆的其他位置，并且对被捕捉图像进行图像处理，从而改变图像捕捉设备12的位置，从而生成图像，使得该图像显示得好像图像捕捉设备安装在A柱上且与A柱、驾驶员和被挡住物体对准一样。处理器14可为独立处理器、共享处理器或为图像系统一部分的处理器。处理器14从图像捕捉设备12接收被捕捉图像，并对被捕捉图像进行图像处理。处理器14执行编辑功能，其包括但不限于：当增强现实玻璃磨损时用于修改驾驶员所见视图的图像切割、基于驾驶员头部定位的图像定位、缩小图像从而估算挡住外部物体的部件的大小、基于驾驶员眼部视图打开和关闭增强显示、调整显示亮度、相对于现实和增强显示而融合其边缘。波导平视显示器16安装在挡住物体的车辆部件上。波导平视显示器16使用全息衍射光栅，尝试将输入能量以相应的衍射序列集中。衍射光栅的实例可包括布拉格衍射光栅。当波长相当于原子间距的光辐射被晶体系统原子以特定图案被散射，由此生成相长干涉时，就会发生布拉格衍射。光栅经调试将光以临界角射入波导。当光散开时，光穿过波导。当散射波生成相长干涉时，由于每个波的波程长度等于波长的整数倍，散射波保持在相位内。由将光(例如，图像)转到使用者眼部内的第二全息摄影衍射光栅提取光。可以采用可切换布拉格衍射光栅，其包括槽式反射光栅，其导致相长干涉和相消干涉以及从每个凹槽边缘发出小波的色散。可选地，多层结构具有交替衍射率，该交替衍射率导致了相长干涉、相消干涉以及从不连续发出的小波的色散的特点。如果两个交替层之一由具有非传导性和衍射率各向异性的液晶材料组成，则液晶定向可改变，或通过施加电场(被称为可切换布拉格光栅)来切换。在可选的解决方案中，波导平视显示器16包括诸如增强现实眼镜(例如眼镜)的头戴式平视显示器。当采用具有透明投射显示器的增强现实眼镜时，图像可通过光学设计出现在佩戴者的眼部的远处。3D图像从处理器14传送到3D增强现实眼镜上，从而使得增强现实图像投射到空间内，进而补充被车辆部件挡住的车辆外部物体。头部跟踪器18是用于跟踪头部定向或眼部的设备。即，如果需要的细节较少，则增强现实系统10可采用跟踪头部定向以确定驾驶员视线方向的头部跟踪系统。可选地，增强现实系统10可采用眼部跟踪系统，其跟踪方向(例如眼部凝视的方向)以确定使用者视线方向是否是挡住物体的车辆部件的方向，或者其是否看向其他地方。头部跟踪器18可包括安装在车辆上的，监测头部位置或眼部注视的设备。如果采用增强现实眼镜，头部跟踪器18也可与波导平视显示器16集成起来。这种情景下，眼部跟踪器可集成为跟踪眼部运动的眼镜的一部分。图2是安装在诸如A柱20的车辆部件上的波导平视显示器16。如图2所示，看向前挡风玻璃22的驾驶员看到现实世界场景的3D图像。此处以及权利要求书中使用的术语“现实世界场景”限定为车辆驾驶员看到的车辆外部区域。同样地，驾驶员通过驾驶员侧窗24看到车辆外的外部环境的3D图像。然而，在A柱20上生成的典型2D显示将导致2D直视视图。这将需要2D图像与3D图像之间的心理融合。此外，现实世界图像和所显示图像之间将存在亮度差异。图2是由平视显示器生成的增强现实图像放大图。将根据A柱的形状调整增强现实图像的尺寸，从而将增强现实图像与驾驶员通过前挡风玻璃和侧窗看到的现实世界场景向驾驶员无缝融合，不存在两者衔接的问题。图3为是现实世界场景与显示图像之间的图像深度的图。如图3所示，挡风玻璃视图22和驾驶员侧视图24表示3D图像，其所表示物体在5m至无限远的距离处。然而，对于驾驶员，看向A柱20表示通常为18英寸的视图。因此，关注A柱20和现实世界场景之间的驾驶员需要对不同深度的图像进行心理融合，因此，需要3D图像与2D图像之间的心理融合。因此，由于18英寸和无限远之间相应图像的重新适应，将2D图像显示投射到A柱上将使得驾驶员产生疲劳。在此距离下的融合疲劳也是一个问题。为了解决由于将图像显示在A柱20外而产生的疲劳问题，图4图示了在A柱20上生成的3D图像。3D图像通过波导平视显示器16投射到空间内虚拟的图像平面上，从而消除了将2D图本文档来自技高网...

【技术保护点】
一种显示相对于现实世界场景被遮蔽的物体的增强现实图像的方法，所述的方法包括以下步骤：由图像捕捉设备捕捉车辆外部图像；由处理器确定从所述车辆的驾驶员的角度看被所述车辆的部件挡住的物体的部分；在所述车辆的所述部件的上方生成表示所述被挡住物体的所述部分的增强现实图像，其中所述增强现实图像显示在与所述现实世界场景相关的深度上的图像平面上。

【技术特征摘要】
2015.12.08 US 14/9620371.一种显示相对于现实世界场景被遮蔽的物体的增强现实图像的方法，所述的方法包括以下步骤：由图像捕捉设备捕捉车辆外部图像；由处理器确定从所述车辆的驾驶员的角度看被所述车辆的部件挡住的物体的部分；在所述车辆的所述部件的上方生成表示所述被挡住物体的所述部分的增强现实图像，其中所述增强现实图像显示在与所述现实世界场景相关的深度上的图像平面上。2.根据权利要求1所述的方法，其中在所述部件的上方显示的所述增强现实图像与所述现实世界场景融合。3.根据权利要求2所述的方法，其进一步包括以下步骤：使用亮度传感器调整所述增强现实图像的亮度，以使所述增强现实图像与所述现实世界场景融合。4.根据权利要求2所述的方法，其进一步包括以下步骤：通过调整所述部件的增强现实图像边缘的亮度来应用边缘融合滤波技术，以使所述增强现实图像与所述现实世界场景融合。5.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员：T·A·塞德，O·齐穆霍尼，E·特伦，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国,US