具有主动对准的增强现实显示器及相应方法技术

双目增强现实显示设备及相应方法允许由最终用户执行对准校准。根据一种方法，摄像机被定位成具有视场，该视场同时包括来自左眼显示器的投射图像的一部分和来自右眼显示器的投射图像的一部分。通过经由每个显示器来投射校准图像的至少一部分并且在摄像机采样的图像内识别右场对准特征和左场对准特征，可以得到对准校正。替选方法采用由与相应的右眼显示单元和左眼显示单元刚性地相关联的前视摄像机采样的图像的相关性，或者需要用户输入用于将横向交换的摄像机图像与真实世界视图对准的手动调整。

Augmented reality display with active alignment and its corresponding methods

【技术实现步骤摘要】
【国外来华专利技术】具有主动对准的增强现实显示器及相应方法本专利技术的
和
技术介绍
本专利技术涉及增强现实显示器，并且特别地涉及具有用于调整双目增强现实显示器的左眼显示器和右眼显示器的对准的布置的双目增强现实显示器，以及相应的对准方法。增强现实眼镜必须被精确地对准以提供增强图像的有效双目观看体验，并且即使相对小的未对准也会冒导致眼睛疲劳或头痛的风险。传统方法通常涉及图1A中所示的将左眼显示器和右眼显示器安装在机械刚性的公共支承结构上，以实现初步对准和显示器的固定相对位置。最终的精细对准通过如图1B示意性示出的图像的电子移位来实现，以实现显示器之间的校正对准，其中图1B示出了图像生成矩阵30(即显示器视场的物理末端)和根据通常被编程到与每个显示器相关联的固件中的校准矩阵的经变换的投射图像32。系统中设计了30与32之间的边距以适应对在预定义限制内的未对准进行校正所需的任何变换。参照图1至图2，本文示出了根据该方法的示例性对准过程。通过将眼镜放置在两个共同对准的摄像机的前面并且将由两个投射仪生成的增强图像的取向进行比较来生成电子对准参数。得到的校准数据被引入到图像投射仪的变换固件。替选地，光学系统的机械对准可以精确到在所需的光学精确度内。上述对准过程需要专用的光学对准工作台，并且仅适合于生产设施中的实现方式。需要以轻质化且紧凑的形状因子来实现增强现实眼镜，以使该技术更适合于消费者市场。然而轻质化实现方式通常缺乏足够的机械刚度以确保随时间推移两个显示器的对准不变，相反对准会由于热变化和其他机械或环境影响而发生变化。此外，对不同的人来说，瞳孔间距(IPD，眼睛之间的距离)可以变化最高达15毫米。因此，如果两个投射仪刚性连接，则眼箱(eye-box)(即，预期眼睛瞳孔所处于的每个投射仪的照射区域，示为图1A中的区域10)的每一个必须对于每只眼睛能够加宽15/2＝7.5mm，以适应具有在限定的边距内的任何IPD的每个可能的用户。大的眼箱决定了更庞大并且更昂贵的光学元件。如果提供用于IPD调整的机构，这通常会将额外的不确定性引入到两个显示器之间的对准中，使得任何预校准的对准校正不可靠。
技术实现思路
本专利技术是具有用于调整双目增强现实显示器的左眼显示器和右眼显示器的对准的布置的双目增强现实显示器以及相应的对准方法。根据本专利技术的实施方式的教导，提供了一种用于得到双目增强现实显示设备的右眼显示器与左眼显示器之间的对准校正的方法，该方法包括以下步骤：(a)定位具有视场的摄像机，使得摄像机视场同时包括来自左眼显示器的投射图像的一部分和来自右眼显示器的投射图像的一部分；(b)经由右眼显示器和左眼显示器中的每一个来投射包括至少一个右场对准特征和至少一个左场对准特征的校准图像的至少一部分；(c)采用摄像机来采样图像；(d)在图像内识别右场对准特征和左场对准特征，以及(e)根据右场对准特征和左场对准特征在图像内的位置得到增强现实显示设备的右眼显示器与左眼显示器之间的对准校正。根据本专利技术的实施方式的另一特征，摄像机位于增强现实显示设备的观看侧，使得图像包括经由右眼显示器观看的右场对准特征和经由左眼显示器观看的左场对准特征。根据本专利技术的实施方式的另一特征，利用视焦距来显示所投射的校准图像，并且其中，摄像机聚焦在视焦距处。根据本专利技术的实施方式的另一特征，摄像机位于增强现实显示设备的观看侧的相反侧，使得摄像机从右眼显示器和左眼显示器中的每一个捕获图像照射的向外反射部分，并且使得图像包括经由右眼显示器观看的左场对准特征和经由左眼显示器观看的右场对准特征。根据本专利技术的实施方式的另一特征，摄像机是手持摄像机，该方法还包括：经由右眼显示器和/或左眼显示器向用户显示至少一个指示以帮助正确定位摄像机。根据本专利技术的实施方式的另一特征：(a)在图像内识别与双目增强现实显示设备相关联的足以限定至少三个基准点的特征；以及(b)确定摄像机相对于所述至少三个基准点的位置。根据本专利技术的实施方式的另一特征，所述定位包括：将摄像机指向镜子，使得反射视场同时包括来自左眼显示器的投射图像的一部分和来自右眼显示器的投射图像的一部分。根据本专利技术的实施方式的另一特征，摄像机是与屏幕集成的移动设备的摄像机，该方法还包括：经由屏幕向用户显示至少一个指示以帮助正确定位摄像机。根据本专利技术的实施方式的另一特征，基于所得到的对准校正来实现对增强现实显示设备的对准校正。根据本专利技术的实施方式的教导，还提供了一种用于双目增强现实显示设备的右眼显示器与左眼显示器之间的立体对准校正的方法，该方法包括以下步骤：(a)提供增强现实设备，该增强现实设备包括：(i)右眼显示单元，其包括与前视第一摄像机刚性集成的第一增强现实显示器，(ii)左眼显示单元，其包括与前视第二摄像机刚性集成的第二增强现实显示器，以及(iii)支承结构，其在右眼显示单元与左侧显示单元之间互连；(b)提供第一摄像机与第一增强现实显示器之间的第一对准映射以及第二摄像机与第二增强现实显示器之间的第二对准映射；(c)从第一摄像机采样至少一个图像；(d)从第二摄像机采样至少一个图像；(e)协同处理来自第一摄像机和第二摄像机的图像以得到指示第一摄像机与第二摄像机之间的相对取向的摄像机间映射；(f)将摄像机间映射与第一对准映射和第二对准映射进行组合以得到指示第一增强现实显示器和第二增强现实显示器的相对取向的显示器间对准映射；以及(g)基于显示器间对准映射来实现对增强现实显示设备的对准校正。根据本专利技术的实施方式的另一特征，针对远处场景来采样来自第一摄像机和第二摄像机的所述至少一个图像。根据本专利技术的实施方式的另一特征，来自第一摄像机和第二摄像机的所述至少一个图像是多个图像，并且其中，所述协同处理包括：得到所述多个图像中包括的场景的至少一部分的三维模型。根据本专利技术的实施方式的教导，还提供了一种用于双目增强现实显示设备的右眼显示器与左眼显示器之间的立体对准校正的方法，该方法包括以下步骤：(a)提供增强现实设备，该增强现实设备包括右眼增强现实显示器、左眼增强现实显示器、与右眼增强现实显示器在空间上相关联的右摄像机、以及与左眼增强现实显示器在空间上相关联的左摄像机；(b)执行第一交叉配准过程，该第一交叉配准过程包括：(i)获得由右摄像机采样的场景的至少一个图像，(ii)经由左眼增强现实显示器来显示根据由右摄像机采样的所述至少一个图像得到的至少一个对准特征，(iii)接收来自用户的指示所述至少一个对准特征与场景的相应直接观看特征之间的对准偏移的输入，以及(iv)根据用户输入来校正所述至少一个对准特征的显示位置，直到所述至少一个对准特征与场景的相应直接观看特征对准；(c)执行第二交叉配准过程，该第二交叉配准过程包括：(i)获得由左摄像机采样的场景的至少一个图像，(ii)经由右眼增强现实显示器来显示根据由左摄像机采样的所述至少一个图像得到的至少一个对准特征，(iii)接收来自用户的指示所述至少一个对准特征与场景的相应直接观看特征之间的对准偏移的输入，以及(iv)根据用户输入来校正所述至少一个对准特征的显示位置，直到所述本文档来自技高网...

【技术保护点】
1.一种用于得到双目增强现实显示设备的左眼显示器与右眼显示器之间的对准校正的方法，所述方法包括以下步骤：/n(a)定位具有视场的摄像机，使得摄像机视场同时包括来自所述左眼显示器的投射图像的一部分和来自所述右眼显示器的投射图像的一部分；/n(b)经由所述右眼显示器和所述左眼显示器中的每一个来投射包括至少一个右场对准特征和至少一个左场对准特征的校准图像的至少一部分；/n(c)采用所述摄像机来采样图像；/n(d)在所述图像内识别所述右场对准特征和所述左场对准特征；以及/n(e)根据所述右场对准特征和所述左场对准特征在所述图像内的位置得到所述增强现实显示设备的所述右眼显示器与所述左眼显示器之间的对准校正。/n

【技术特征摘要】
【国外来华专利技术】20180102 US 62/612,7401.一种用于得到双目增强现实显示设备的左眼显示器与右眼显示器之间的对准校正的方法，所述方法包括以下步骤：
(a)定位具有视场的摄像机，使得摄像机视场同时包括来自所述左眼显示器的投射图像的一部分和来自所述右眼显示器的投射图像的一部分；
(b)经由所述右眼显示器和所述左眼显示器中的每一个来投射包括至少一个右场对准特征和至少一个左场对准特征的校准图像的至少一部分；
(c)采用所述摄像机来采样图像；
(d)在所述图像内识别所述右场对准特征和所述左场对准特征；以及
(e)根据所述右场对准特征和所述左场对准特征在所述图像内的位置得到所述增强现实显示设备的所述右眼显示器与所述左眼显示器之间的对准校正。


2.根据权利要求1所述的方法，其中，所述摄像机位于所述增强现实显示设备的观看侧，使得所述图像包括经由所述右眼显示器观看的所述右场对准特征和经由所述左眼显示器观看的所述左场对准特征。


3.根据权利要求2所述的方法，其中，利用视焦距来显示所投射的校准图像，并且其中，所述摄像机聚焦在所述视焦距处。


4.根据权利要求1所述的方法，其中，所述摄像机位于所述增强现实显示设备的观看侧的相反侧，使得所述摄像机从所述右眼显示器和所述左眼显示器中的每一个捕获图像照射的向外反射部分，并且使得所述图像包括经由所述右眼显示器观看的所述左场对准特征和经由所述左眼显示器观看的所述右场对准特征。


5.根据权利要求4所述的方法，其中，所述摄像机是手持摄像机，所述方法还包括：经由所述右眼显示器和/或所述左眼显示器向用户显示至少一个指示以帮助正确定位所述摄像机。


6.根据权利要求1所述的方法，还包括以下步骤：
(a)在所述图像内识别与所述双目增强现实显示设备相关联的足以限定至少三个基准点的特征；以及
(b)确定所述摄像机相对于所述至少三个基准点的位置。


7.根据权利要求1所述的方法，其中，所述定位包括：将所述摄像机指向镜子，使得反射视场同时包括来自所述左眼显示器的投射图像的一部分和来自所述右眼显示器的投射图像的一部分。


8.根据权利要求1所述的方法，其中，所述摄像机是与屏幕集成的移动设备的摄像机，所述方法还包括：经由所述屏幕向用户显示至少一个指示以帮助正确定位所述摄像机。


9.根据权利要求1所述的方法，还包括：基于得到的对准校正来实现对所述增强现实显示设备的对准校正。


10.一种用于双目增强现实显示设备的右眼显示器与左眼显示器之间的立体对准校正的方法，所述方法包括以下步骤：
(a)提供增强现实设备，所述增强现实设备包括：
(i)右眼显示单元，其包括与前视第一摄像机刚性集成的第一增强现实显示器，
(ii)左眼显示单元，其包括与前视第二摄像机刚性集成的第二增强现实显示器，以及
(iii)支承结构，其在所述右眼显示单元与所述左侧显示单元之间互连；
(b)提供所述第一摄像机与所述第一增强现实显示器之间的第一对准映射以及所述第二摄像机与所述第二增强现实显示器之间的第二对准映射；
(c)从所述第一摄像机采样至少一个图像；
(d)从所述第二摄像机采样至少一个图像；
(e)协同处理来自所述第一摄像机和所述...

【专利技术属性】
技术研发人员：耶谢·丹齐格，
申请(专利权)人：鲁姆斯有限公司，
类型：发明
国别省市：以色列;IL