跟踪增强现实设备制造技术

增强现实设备通过使用基于图像的处理，根据当前图像帧、先前图像帧和先前姿态最初确定姿态估计来生成更新的位置和取向(姿态)值。然后，根据由包括运动传感器的惯性测量单元生成的数据获得IMU姿态，并且确定姿态估计与IMU姿态之间的变换。将该变换应用于姿态估计以生成姿态更新。将媒体内容应用于图像内的位置，该位置基于姿态更新。位置基于姿态更新。位置基于姿态更新。

【技术实现步骤摘要】
【国外来华专利技术】跟踪增强现实设备
[0001]相关申请的交叉引用
[0002]本申请要求2020年6月1日提交的美国临时申请序列第62/704,881号和2020年10月29日提交的美国专利申请序列第17/083,722号的优先权的权益，这两件美国申请中的每一个的内容通过引用整体并入本文中。

技术介绍

[0003]增强现实(AR)是指可以捕获图像帧、利用附加信息增强这些图像帧、并且然后将所增强的信息呈现在显示器上的系统、方法、设备和指令。这可以例如使得用户能够拿起移动计算设备(例如，智能电话或平板电脑)来捕获场景的视频流，并且移动计算设备的输出显示器可以将该场景与附加信息一起呈现为对用户可见。该附加信息可以包括将虚拟对象放置在场景中，使得虚拟对象被呈现为好像它们存在于场景中一样。当真实对象和虚拟对象二者随时间移动时，并且当捕获环境的图像传感器的视角改变时，这样的虚拟对象也被处理以保持它们与真实对象的关系。
附图说明
[0004]为了容易地识别对任何特定元件或动作的讨论，附图标记中的一个或更多个最高位数字指代该元件被首次引入时所在的图号。
[0005]图1是根据一些示例实施方式的可以部署本公开内容的联网环境的图解表示。
[0006]图2是根据一些示例实施方式的在其中可以执行一组指令以使机器执行本文中讨论的方法中的任何一种或更多种的以计算机系统形式的机器的图解表示。
[0007]图3是示出根据示例实施方式的在其中可以实现本公开内容的软件架构的框图。
[0008]图4是示出根据示例实施方式的跟踪方法的流程图。
[0009]图5是示出根据示例实施方式的适合在图4的方法中使用的基于图像的跟踪器方法的流程图。
[0010]图6是示出根据示例实施方式的呈现基于位置的AR内容的界面流动图。
具体实施方式
[0011]存在允许将虚拟对象正确放置到真实场景的视频流或图像中所需的多个要求。一个要求是存在具有与真实世界中的特征相对应的特征的3D模型。3D模型的生成被称为“映射”，并且通常涉及定位真实世界中的可识别特征并且将它们记录在3D模型中。虽然记录在3D模型中的特征通常被称为“界标”，但是相比于与真实世界中的结构或物品的角或边缘对应的点或边缘，记录在3D模型中的特征可能少得多。可以通过处理场景的多个不同图像以提取界标并将它们放置在3D模型中来进行映射。这样的映射的一种技术被称为SfM(运动恢复结构(Structure from Motion))。无论3D模型是即时生成的(如在SfM中)还是预先存在的，本文中描述的构思都是适用的。
[0012]另一要求是用于捕获最初要确定的场景的设备的位置和取向(也称为“姿态”)，这
被称为定位。定位涉及确定设备沿三个轴(俯仰、偏航和滚动)的取向(旋转)和设备沿三个轴的位置，总共六个自由度。定位的目标是在不给定先前姿态信息的情况下将真实世界中的设备的视点与3D模型中的设备的虚拟视点对准。
[0013]一旦已经确定了设备的姿态，就可以生成3D模型中的与设备的实际视点对应的虚拟视点，然后该虚拟视点允许将虚拟对象定位到由设备生成的场景的图像中。
[0014]如果设备以任何方式移动，“跟踪”是指在给定先前的姿态估计的情况下尝试将设备的更新视点或姿态对准到3D模型。最初，该姿态由定位提供。本文中描述的构思主要但非排他地涉及跟踪，并且提供跟踪的设备功能被称为跟踪器。
[0015]改进用于对设备进行定位的初始姿态并改进设备后定位的跟踪，会允许虚拟对象(或其他增强信息)在要显示给使用显示设备的用户的图像或图像流中的定位更准确和/或更稳定。因此，本文中描述的方法和系统改进了包括增强现实功能的设备或系统的功能。
[0016]如本文中所描述的，给定场景的3D模型和现有姿态，跟踪器可以使用设备的摄像装置流以及加速度计和陀螺仪信息的组合来实时更新用户的设备相对于3D模型的位置。跟踪器采用以下混合方法：即经由视觉测距和运动传感器信息两者来跟踪摄像装置运动，并且使用组合方法相对于模型持续地重新定位其姿态。这种方法相对于在高速运动中可能变得难以匹配的简单地跟踪图像特征来说对跟踪故障更为稳健，同时对于在仅传感器测距中可能发生的传感器漂移也是稳健的。
[0017]给定先前图像帧的先前姿态，当存在新捕获的图像(也称为当前帧)时，跟踪系统执行以下任务。首先，通过执行当前帧与先前帧之间的图像相似性测量来估计当前姿态。
[0018]然后，从当前帧提取图像关键点和描述符，并且将其与3D模型中的界标进行匹配。然后，如下面更详细描述的，使用所提取的关键点(2D图像点)和所跟踪的界标连同传感器数据来细化摄像装置姿态。然后，对所得到的最终姿态进行低通滤波以去除高频抖动。
[0019]在一个示例中，公开了一种操作增强现实设备的方法，包括：使用基于图像的处理，根据当前图像帧、先前图像帧和先前姿态来确定姿态估计；接收根据由包括运动传感器的惯性测量单元生成的数据所确定的IMU姿态；确定姿态估计与IMU姿态之间的变换；以及将变换应用于姿态估计以生成姿态更新。然后，可以将媒体内容应用于图像内的位置，该位置基于姿态更新。
[0020]该方法还可以包括在将变换应用于姿态估计之前对变换进行低通滤波。基于图像的处理可以包括：通过将当前图像帧与先前图像帧进行比较来确定中间姿态；通过将当前图像帧中的特征与3D模型中的特征进行比较来确定中间姿态；以及/或者通过将当前图像中的特征与3D模型中的特征进行比较来确定姿态估计。基于图像的处理还可以包括通过使用上述中间姿态中的一个或两个将当前图像帧中的特征与3D模型中的特征进行比较来确定姿态估计。IMU姿态还可以被确定为具有与姿态估计的时间戳相邻的时间戳的两个IMU姿态值之间的内插值。
[0021]在另一示例中，提供了一种非暂态机器可读介质，该非暂态机器可读介质包括指令，所述指令在被机器读取时使机器执行用于生成增强现实系统的姿态的操作，操作包括：使用基于图像的处理，根据当前图像帧、先前图像帧和先前姿态来确定姿态估计；接收根据由包括运动传感器的惯性测量单元生成的数据所确定的IMU姿态；确定姿态估计与IMU姿态之间的变换；以及将变换应用于姿态估计以生成姿态更新。然后，可以将媒体内容应用于图
像内的位置，该位置基于姿态更新。
[0022]指令可以使机器执行以下操作，所述操作还包括在将变换应用于姿态估计之前对变换进行低通滤波。指令可以使机器执行以下操作：通过将当前图像帧与先前图像帧进行比较来确定中间姿态；通过将当前图像帧中的特征与先前帧中的特征进行比较来确定中间姿态；以及/或者通过将当前图像帧中的特征与3D模型中的特征进行比较来确定姿态估计。机器还可以通过使用上述中间姿态中的一个或两个将当前图像中的特征与3D模型中的特征进行比较来确定姿态估计。指令可以使机器将IMU姿态确定为具有与姿态估计的时间戳相邻的时间戳的两个IMU姿态值之间的内插值。
[0023]在另一示例中，提供了一种增强现实系统，该增强现实系统包括：一个或本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由一个或更多个处理器执行的操作增强现实设备的方法，包括：使用基于图像的处理，根据当前图像帧、先前图像帧和先前姿态来确定姿态估计；接收根据由包括运动传感器的惯性测量单元生成的数据确定的IMU姿态；确定所述姿态估计与所述IMU姿态之间的变换；将所述变换应用于所述姿态估计以生成姿态更新；以及将媒体内容应用于图像内的位置，所述位置基于所述姿态更新。2.根据权利要求1所述的方法，还包括：在将所述变换应用于所述姿态估计之前对所述变换进行低通滤波。3.根据权利要求1所述的方法，其中，所述基于图像的处理包括：通过将所述当前图像帧与所述先前图像帧进行比较来确定中间姿态。4.根据权利要求1所述的方法，其中，所述基于图像的处理包括：通过将所述当前图像帧中的特征与所述先前图像帧中的特征进行比较来确定中间姿态。5.根据权利要求1所述的方法，其中，所述基于图像的处理包括：通过将所述当前图像帧中的特征与3D模型中的特征进行比较来确定所述姿态估计。6.根据权利要求4所述的方法，其中，所述基于图像的处理还包括：通过使用所述中间姿态将所述当前图像帧中的特征与3D模型中的特征进行比较来确定所述姿态估计。7.根据权利要求1所述的方法，其中，将所述IMU姿态确定为具有与所述姿态估计的时间戳相邻的时间戳的两个IMU姿态值之间的内插值。8.一种非暂态机器可读介质，所述非暂态机器可读介质包括指令，所述指令在被机器读取时使所述机器执行用于生成增强现实系统的姿态的操作，所述操作包括：使用基于图像的处理，根据当前图像帧、先前图像帧和先前姿态来确定姿态估计；接收根据由包括运动传感器的惯性测量单元生成的数据确定的IMU姿态；确定所述姿态估计与所述IMU姿态之间的变换；将所述变换应用于所述姿态估计以生成姿态更新；以及将媒体内容应用于图像内的位置，所述位置基于所述姿态更新。9.根据权利要求8所述的非暂态机器可读介质，所述非暂态机器可读介质包括指令，所述指令在被所述机器读取时使所述机器执行以下操作，所述操作还包括：在将所述变换应用于所述姿态估计之前对所述变换进行低通滤波。10.根据权利要求8所述的非暂态机器可读介质，其中，所述基于图像的处理包括：通过将所述当前图像帧与所述先前图像帧进行比较来确定中间姿态。11.根据权利要求8所述的非...

【专利技术属性】
技术研发人员：潘琪，爱德华，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：