增强现实显示器制造技术

本公开提供了一种AR系统，该AR系统利用世界的预先生成的3D模型来改善场景的AR视图(例如移动车辆前方的世界的AR视图)的3D图形内容的渲染。通过利用预先生成的3D模型，AR系统可使用各种技术来增强系统的渲染能力。AR系统可从远程来源(例如，基于云端的存储装置)获得预先生成的3D数据(例如，3D图块)，并且可利用该预先生成的3D数据(例如，3D网格、纹理和其他几何信息)来增强本地数据(例如，由车辆传感器所采集的点云数据)以确定比从本地数据能够获得的更多有关场景的信息，包括有关场景的被遮挡区域或远处区域的信息。

Augmented Reality Display

This disclosure provides an AR system that utilizes pre-generated 3D models of the world to improve rendering of 3D graphical content of AR views of scenes, such as AR views of the world in front of mobile vehicles. By using the pre-generated 3D model, AR system can use various technologies to enhance the rendering ability of the system. AR systems can obtain pre-generated 3D data (e.g., 3D blocks) from remote sources (e.g., cloud-based storage devices), and can use the pre-generated 3D data (e.g., 3D grids, textures and other geometric information) to enhance local data (e.g., point cloud data collected by vehicle sensors) to determine more scene-related information than can be obtained from local data. Includes information about the occluded or remote areas of the scene.

【技术实现步骤摘要】
【国外来华专利技术】增强现实显示器
技术介绍
遥感技术为不同的系统提供有关该系统的外部环境的信息。各种技术应用可依赖于遥感系统和遥感装置来操作。此外，随着越来越多的系统试图利用更大量的数据以在动态环境中执行不同的任务；遥感提供可有利于决策的环境数据。例如，引导机器操作的控制系统可利用遥感装置来检测工作空间内的对象。又如，增强现实(AR)系统可利用遥感装置来提供关于环境中对象的深度信息。在一些情形中，基于激光的感测技术，例如光测距与检测(激光雷达)，能够提供高分辨率的环境数据，诸如深度图，其可表示不同对象与激光雷达的接近度。在实时增强现实作为在不断变化的环境中以各种速度和角度行驶的车辆中的主要显示技术时，其面临各种挑战。天气状况、阳光和车辆运动学仅为可能影响渲染但还限制系统的总体功能的几个因素。这点尤其正确，因为车载传感器具有固定范围并且通常需要用于优化影响总体质量和响应时间的查询的算法。
技术实现思路
本公开描述了例如可用于车辆中的增强现实(AR)显示器的方法和系统。本公开描述了一种AR系统的实施方案，其利用预先生成的世界的立体重建或3D模型来协助锚定并改善AR场景的渲染。通过利用世界的立体重建，AR系统的实施方案可以使用多种技术来增强系统的渲染能力。在实施方案中，AR系统可获取预先生成的3D数据(例如，3D图块)，该3D数据来自由随时间推移利用大量来源所采集的真实世界图像生成的世界的立体重建，并且可使用该预先生成的3D数据(例如，3D网格、纹理，和其他几何信息的组合)来确定有关场景的比能够从本地源获得的(例如，由车辆传感器所采集的点云数据)更多信息，AR渲染可得益于这些信息。本公开描述了AR系统的实施方案，其可使用三维(3D)网格地图数据(例如，由空中摄影/街道摄影重建的3D图块)来增强或补充抬头显示器上的车辆传感器(例如，激光雷达或相机)信息。3D图块可用于弥补传感器的局限性(例如，被建筑物或地形所遮挡的或超出范围的真实环境的区域)以使AR扩展到车辆前方(即，驾驶员的视野内)的整个真实环境中。例如，可显示路线，包括路线中的被真实环境中的物体或地形所遮挡的部分。实施方案可使3D元素投影到地形上而不必执行高度查询或参考由车载传感器采集的点云数据。可在增强现实场景中渲染超出车载传感器的功能/范围的元素。除了被环境中的遮挡物体阻挡之外，传感器还受到其他因素的限制，诸如车辆的距离和速度。预先生成的3D网格地图数据可以弥补这些限制，因为静态图像在无需扫描和参考点云的情况下是可用的。在一些实施方案中，传感器数据可用于提供附近真实环境的AR内容，其中预先生成的3D网格地图数据用于提供针对真实环境中的远方物体和被遮挡部分的AR内容。在一些实施方案中，预先生成的3D网格地图数据可用于加速对附近物体的点云数据的查询；基于3D网格地图数据进行更有限的查询是可能的。因此，可基于针对局部区域的3D网格地图数据来优化针对局部区域的点云查询。在一些实施方案中，如果由于某种原因致使传感器数据不可用或缺少/范围有限(例如，传感器故障、传感器上存在污垢、雾、大雨、雪、昏暗/夜晚(对于相机信息)、在隧道或车库内部、被其他车辆所阻挡，等等)，预先生成的3D网格地图数据可能仍然可用并可用于填充丢失的AR内容以及更多远程内容。在一些实施方案中，来自在预先生成的3D数据中提供的场景中的可见表面的法线，以及对光源(例如，太阳)的位置的了解可允许AR系统确定表面相对于光源(例如，太阳)的取向。利用该信息，当将元素渲染到增强现实场景中时，AR系统可调整AR内容中的内容呈现，使得内容更容易看到。在一些实施方案中，可基于预生成的3D数据制成3D渲染场景中的动画元素(例如，车辆、行人等的虚拟表示)以对地形以及构成地形的地面类型作出响应。例如，如果场景中的车辆转弯并行驶在建筑物后面，则车辆的虚拟图像可被显示为驶上建筑物后面的小山，从而在车载传感器的视野之外。预先生成的3D网格地图数据可适用于围绕车辆的360°、遮挡物后方以及超越地平线的整个真实环境。因此，在一些实施方案中，可利用3D网格地图数据来向车辆侧面和后方提供有关环境的信息，包括不可见的对象。在一些实施方案中，3D网格地图数据可由AR系统用于较差/有限可见度的驾驶条件下，例如，大雾、雪、弯曲的山路等，其中传感器范围在例如将车辆前面的路线投影到AR显示器上时可为有限的。例如，3D网格地图数据可用于通过显示即将到来的曲线或交叉口来增强传感器数据。附图说明图1为根据一些实施方案的用于利用立体重建的3D数据增强AR显示的方法的高级流程图。图2示出了根据一些实施方案的自适应增强现实(AR)系统和显示器。图3例示了根据一些实施方案的处理3D网格地图数据和局部传感器数据以生成用于AR显示器的虚拟内容。图4示出了根据一些实施方案的3D图块。图5示出了根据一些实施方案的3D网格。图6示出了根据一些实施方案的示例性自适应AR显示。图7示出了根据一些实施方案的另一示例性自适应AR显示。图8示出了根据一些实施方案的根据真实世界场景在AR显示器中调整虚拟内容。图9示出了根据一些实施方案的在AR显示器中显示动画元素的虚拟内容。图10例示了根据一些实施方案的利用3D网格地图数据和局部传感器数据来向车辆中的乘客提供环境的AR视图。图11是根据一些实施方案的用于利用3D网格地图数据来调整AR显示的方法的高级流程图。图12为根据一些实施方案的用于稳定AR显示上的虚拟内容的方法的流程图。本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。“包括”。该术语是开放式的。如在所附权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。“被配置为”。各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112(f)。此外，“被配置为”可包括由软件和/或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。“第一”、“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。“基于本文档来自技高网...

【技术保护点】
1.一种系统，包括：投影仪；和控制器，所述控制器被配置为：获得用于真实世界场景的至少一部分的预先生成的3D数据，其中所述预先生成的3D数据包括针对所述场景的相应区域的预先生成的3D网格；确定所述预先生成的3D网格中的一者或多者，所述预先生成的3D网格中的所述一者或多者包括局部区域中的位于一个或多个传感器的范围内的部分；使用从所述一个或多个传感器获得的点云数据来生成针对所述局部区域中的未包括在所述预先生成的3D网格中的部分的局部3D网格；以及使用所述局部3D网格和所述预先生成的3D网格来生成所述场景的3D模型。

【技术特征摘要】
【国外来华专利技术】2016.09.23 US 62/398,9271.一种系统，包括：投影仪；和控制器，所述控制器被配置为：获得用于真实世界场景的至少一部分的预先生成的3D数据，其中所述预先生成的3D数据包括针对所述场景的相应区域的预先生成的3D网格；确定所述预先生成的3D网格中的一者或多者，所述预先生成的3D网格中的所述一者或多者包括局部区域中的位于一个或多个传感器的范围内的部分；使用从所述一个或多个传感器获得的点云数据来生成针对所述局部区域中的未包括在所述预先生成的3D网格中的部分的局部3D网格；以及使用所述局部3D网格和所述预先生成的3D网格来生成所述场景的3D模型。2.根据权利要求1所述的系统，其中所述点云数据包括多个数据点，其中每个数据点指示由所述一个或多个传感器检测到的所述局部区域内的表面上的点的深度、方向和高度。3.根据权利要求1所述的系统，其中所述预先生成的3D网格包括所述场景中的超出所述传感器的范围的部分以及所述场景中的被所述场景中的物体或地形所遮挡的部分。4.根据权利要求1所述的系统，其中所述一个或多个预先生成的3D网格包括所述场景中的位于所述一个或多个传感器的所述范围内的被所述一个或多个传感器的所述范围内的物体或地形所遮挡的部分。5.根据权利要求1所述的系统，其中为了生成所述局部3D网格，所述控制器被配置为查询点云以获取针对所述局部区域中的未包括在所述一个或多个预先生成的3D网格中的部分的数据点，其中针对所述局部区域中的包括在所述一个或多个预先生成的3D网格中的部分不执行查询。6.根据权利要求1所述的系统，其中所述控制器被进一步配置为：至少部分地根据所述3D模型来渲染所述场景的虚拟内容；以及将经渲染的虚拟内容提供至所述投影仪以用于投影到显示器，其中所投影的虚拟内容向查看者提供所述场景的增强视图。7.根据权利要求6所述的系统，其中所述预先生成的3D数据包括所述场景中的一个或多个表面的表面法线，并且其中，为了至少部分地根据所述3D模型来渲染所述场景的虚拟内容，所述控制器被配置为：确定来自所述场景中的光源的光的方向；根据所述光的所述方向和表面的所述表面法线来确定所述表面在所述查看者的方向上反射所述光；以及将打算显示在所述表面上或所述表面附近的所述虚拟内容的一部分移动至所述场景中的另一个位置。8.根据权利要求6所述的系统，其中所述预先生成的3D数据包括针对所述场景中的一个或多个表面的包括表面法线、纹理和颜色的信息，并且其中为了至少部分地根据所述3D模型来渲染所述场景的虚拟内容，所述控制器被配置为根据所述表面信息来更改所述虚拟内容的一部分的渲染或位置。9.根据权利要求6所述的系统，其中所述虚拟内容包括以下中的一者或多者：对所述场景中的在所述传感器的范围内的特征结构的指示、对所述场景中的超出所述传感器的范围的特征结构的指示、或对所述场景中的被所述场景中的物体或地形所遮挡的特征结构的指示。10.根据权利要求6所述的系统，其中所述显示器被结合到车辆的挡风玻璃中。11.根据权利要求10所述的系统，其中所述虚拟内容包括以下中的一者或多者：对路线中的在所述传感器的范围内的一部分的指示、对所述路线中的超出所述传感器的范围的一部分的指示、或对所述路线中的被所述场景中的物体或地形特征所遮挡的一部分的指示。12.根据权利要求10所述的系统，其中所述虚拟内容包括被所述场景中的物体或地形特征所遮挡的移动对象的图形表示，其中所述控制器被配置...

【专利技术属性】
技术研发人员：P·S·皮埃蒙特，D·德罗查罗萨里奥，J·D·古斯奈尔，P·迈耶，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国,US