具有柔性框架的眼戴设备的几何形状建模制造技术

本发明专利技术公开了一种用于增强现实(AR)的具有柔性框架的眼戴设备。该柔性框架上安装了至少两个传感器和显示器。当使用时，该眼戴设备的实时几何形状可能从工厂校准的几何形状发生变化，从而导致低质量的AR渲染。因此提供了建模模块以使用该至少两个传感器的传感器信息即时对该眼戴设备的该实时几何形状进行建模。然后将该建模的实时几何形状提供给渲染模块以向该用户准确地显示AR。块以向该用户准确地显示AR。块以向该用户准确地显示AR。

【技术实现步骤摘要】
【国外来华专利技术】具有柔性框架的眼戴设备的几何形状建模
相关申请的交叉引用
[0001]本申请要求2020年9月30日提交的美国临时专利申请序列号63/085,913和2020年11月4日提交的美国专利申请序列号17/089,454的优先权，这两个专利申请的全部内容据此以引用方式并入。


[0002]本公开涉及用于计算机视觉的增强现实。更具体地，本公开涉及增强现实中具有柔性框架的眼戴设备的几何形状建模。专利技术背景
[0003]近年来，由于基于CV的应用的强烈市场需求，计算机视觉(“CV”)技术迅速发展。CV技术的重要应用是在增强现实(“AR”)领域，它为用户在真实世界环境中使用计算机生成的视觉信息提供交互式体验。AR组合了真实世界数据和计算机生成的信息以创建其中可实现真实和虚拟世界的无缝叠加的合并环境。用户可使用单独的设备，诸如包括头盔、头饰、眼戴器等的可穿戴设备，以体验由AR系统提供的增强环境。眼戴设备诸如AR眼镜可用于各种应用中，诸如玩游戏、医疗保健、虚拟购物、虚拟旅游等。眼戴设备可被配置为提供高准确度、轻量级、良好的舒适度和足够的计算能力。对于AR眼镜和其他眼戴设备，各种传感器可被并入和/或集成在其中以方便地收集真实世界信息，诸如各种传感器的定位和定向。所收集的信息可通过接口或经由有线和/或无线网络被传输到AR系统的其他部件和/或设备，诸如移动设备和服务器。各种方法和算法可用于基于由传感器收集的数据来计算和估计传感器定位和定向。对于在AR系统中向用户渲染高质量的图像表示，准确并实时地了解这些传感器之间的空间关系是必要的。
附图说明
[0004]参考结合附图对本公开的以下描述，本公开的上述优点和其他特征将变得更加明显，并且本专利技术将被本领域普通技术人员更好地理解，其中：
[0005]图1A示出了一副AR眼戴设备；
[0006]图1B、图1C和图1D示出了AR眼戴设备的工厂校准过程；
[0007]图2A和图2B示出了示例性弯曲AR眼戴设备及其效果；
[0008]图3示出了现有技术AR系统；
[0009]图4示出了现有技术AR系统的用户运动跟踪模块；
[0010]图5示出了根据本公开的示例的AR系统；
[0011]图6从根据本公开的示例的眼戴设备角度示出了AR系统；
[0012]图7示出了包括经由各种网络连接的可穿戴设备和服务器系统的示例性系统的功能框图；
[0013]图8示出了图7的系统的移动设备的示例性硬件配置的功能框图；
[0014]图9示出了可在其中实施本公开的计算机系统形式的示例性机器的图解表示；并
且
[0015]图10示出了可在其中实施本公开的示例性软件架构的图解表示。
具体实施方式
[0016]本公开的若干示例通过附图示出并在下面详细描述。在附图中的各图中，具有相同参考数字标号的元件始终表示相同元件。除非另有说明，否则附图不是按比例绘制的。本文使用的所有术语和措辞仅用于说明的目的，而不应被理解为限制。短语诸如“包括”、“包含”、“具有”及其他变型意在涵盖所描述的项目及其等同物，而不排除其任何附加项目。
[0017]增强现实(“AR”)系统通常描述交互式计算机环境和用户体验，其中计算机生成的感官信息可被渲染和/或与包括真实世界对象的真实世界环境组合。真实世界图像可由AR系统的一个或多个图像捕获设备捕获，并且与计算机生成的图形、文本和/或其他类型的虚拟对象混合、叠加和/或以其他方式组合。在其他示例中，真实世界环境可以透视方式呈现给用户，其中真实世界图像可穿过眼戴设备的透明光波导并且被用户的眼睛直接感知。可实时或接近实时地提供增强现实以创建实况用户体验。真实和虚拟世界的混合环境可提供两个世界的对象的逼真且无缝的叠加。AR系统可提供对广泛的计算机应用的AR体验，诸如游戏、教学、医疗保健、虚拟旅游、导航等。
[0018]AR系统可向用户提供任何感官体验的增强体验以实现双世界体验。然而，对于各种应用，精确增强的视觉体验通常可能是AR系统的关键和具有挑战性的组成部分或中心焦点。为了在这样的AR系统中提供存在感，可提供用于增强视觉体验的眼戴设备。眼戴设备可为物理上分离的或独立的设备，其能够经由有线或无线网络、总线和/或任何其他接口与AR系统的部件、程序、算法、模块以及所有其他软件、硬件和固件部件通信。另一方面，眼戴设备还可为头盔、头戴具或可由用户佩戴的其他头戴式系统的一部分。眼戴设备可由任意数量的传感器、显示器和其他部件组成。眼戴设备的合适的显示系统可包括用于一只眼睛的单个显示器、用于两只眼睛的重复显示器、或者为AR用户创建三维场景的每个眼睛一个的立体显示器。能够并且被配置为向用户呈现视觉增强环境的眼戴设备的任何和所有配置都在本公开的预期内。
[0019]如上所述，AR系统向用户提供了实时或接近实时的AR体验。用户可在场景中或区域附近移动，并且AR系统允许用户探索场景并及时地查看增强的图像。在一个示例中，AR系统可包括以足够的刷新率捕获场景或区域的视频图像的一个或多个图像捕获设备。AR系统可使用由图像捕获设备捕获的图像向用户的眼睛回放真实世界图像。图像捕获设备可为具有适当的光学器件和接口、输入/输出硬件、通信装置和图像处理程序的相机。在另一示例中，AR系统可包括透视和/或透明显示器，其允许真实世界图像被用户的眼睛直接感知并且用增强图像覆盖透视图像。
[0020]AR系统还需要确定图像捕获设备相对于用户周围环境的定位和视点。跟踪系统可被并入AR系统中，以用于通过观察可跟踪特征来辨别用户的移动并相应地跟踪它们。并入AR系统中的跟踪系统可能需要准确地跟踪系统的光学传感器的方位，即定位和定向，该光学传感器诸如图像捕获相机和/或其他图像捕获设备。跟踪对于允许AR系统以准确的方式渲染虚拟图像是必要的。当跟踪不准确时，真实和虚拟世界的无缝叠加可能会丢失。然而，在许多情况下，图像捕获设备诸如相机可能无法既充分又有效地单独提供对AR体验的准确
渲染。例如，在处理所捕获的图像时可能捕获或生成噪声；或者有时图像捕获设备可能由于快速移动、模糊或AR系统遇到的其他真实世界情况而出现故障。因此，用于补充视觉数据的附加测量值可能是有帮助的并且可从其他传感器诸如惯性传感器获得。
[0021]惯性传感器可包括测量局部运动的任意数量的设备。通常，惯性传感器可包括一个或多个加速度计和/或陀螺仪以检测惯性传感器正在经历的加速度和旋转变化。跟踪系统可利用由惯性传感器提供的数据和信息，并且可基于由相机捕获的图像来增强和补充视觉跟踪方法。例如，已经开发了视觉惯性测距(“VIO”)技术，以利用由并入AR系统中的惯性传感器提供的数据来提供准确且稳健的跟踪。这样的VIO系统可基于由惯性传感器的读数提供的数据，更准确地检测用户在定位、速度和定向上的变化，并将其应用于增强环境的渲染。
[0022]惯性传感器可将各种加速度计、陀螺仪和其他传感器封装、合并和/或集成在一个物理单元中，诸如IMU(惯性测量单元)中。存在多种类型的IMU，其适本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于增强现实的实时眼戴设备几何形状建模系统，包括：眼戴设备，所述眼戴设备包括第一传感器、第二传感器和位于所述眼戴设备上的至少一个显示器，其中所述眼戴设备具有预先确定的几何形状；跟踪模块，所述跟踪模块被配置为估计所述第一传感器与所述第二传感器中的至少一者之间的实时空间关系；建模模块，所述建模模块与所述跟踪模块通信；和渲染模块，所述渲染模块被配置为在所述至少一个显示器上渲染所述增强现实，其中当所述眼戴设备的实时几何形状与所述眼戴设备的所述预先确定的几何形状不同时，所述建模模块基于由所述跟踪模块估计的所述第一传感器和所述第二传感器中的所述至少一者的所述实时空间关系来对所述眼戴设备的所述实时几何形状进行建模，并且将所述实时几何形状提供给所述渲染模块。2.根据权利要求1所述的用于增强现实的实时眼戴设备几何形状建模系统，其中所述建模模块、所述渲染模块和所述跟踪模块中的至少两者被组合在组合模块中。3.根据权利要求1所述的用于增强现实的实时眼戴设备几何形状建模系统，其中所述空间关系由所述眼戴设备的弯曲曲线来确定。4.根据权利要求1所述的用于增强现实的实时眼戴设备几何形状建模系统，其中所述预先确定的几何形状包括显示器几何形状。5.根据权利要求1所述的用于增强现实的实时眼戴设备几何形状建模系统，其中所述跟踪算法是扩展卡尔曼滤波器(EKF)驱动模块、基于优化的模块、机器学习驱动模块以及所述模块的任何组合中的一者。6.根据权利要求1所述的用于增强现实的实时眼戴设备几何形状建模系统，其中所述第一传感器和所述第二传感器是IMU(惯性测量单元)和相机中的一者。7.根据权利要求1所述的用于增强现实的实时眼戴设备几何形状建模系统，其中所述显示器包括波导和投影仪。8.一种用于增强现实中的实时眼戴设备几何形状建模的非暂态计算机可读介质，包括存储在其中的指令，所述指令当在处理器上执行时执行以下步骤：确定所述眼戴设备的预先确定的几何形状，所述眼戴设备包括第一传感器、第二传感器和至少一个显示器；估计所述第一传感器和所述第二传感器中的至少一者之间的实时空间关系，其中当所述眼戴设备的实时几何形状与所述眼戴设备的所述预先确定的几何形状不同时：基于所述第一传感器和所述第二传感器中的所述至少一者的所估计的实时空间关系来对所述眼戴设备的所述实时几何形状进行建模；以及提供所述实时几何形状以用于在所述至少一个显示器上渲染所述增强现实。9.根据权利要求8所述的用于增强现实中的实时眼戴设备几何形状建模的非暂态计算机可读介质，其中...

【专利技术属性】
技术研发人员：克莱门斯，
申请(专利权)人：美国斯耐普公司，
类型：发明
国别省市：