多层查看系统和方法技术方案

多层查看系统包括静止成像仪和光束投射器，用于将物理层标记投射到物体的区域上。头戴件包括增强现实显示器，其足够透明以使佩戴头戴件的用户能够通过显示器直接查看所述物体，并显示叠加在所述物体上的注释。处理器被配置为接收相对于目标的选定位置以显示所述注释，通过识别获取的图像中的标记或物体上的标记的图像确定增强现实显示器的方向，计算用于在增强现实显示器上显示注释的显示位置，使得注释可以被用户感知为显示在选定定位，并且在计算出的显示位置处显示所述注释。

【技术实现步骤摘要】
【国外来华专利技术】多层查看系统和方法
本专利技术涉及多层查看系统和方法
技术介绍
复杂设备或机械的维护、组装、服务或操作通常需要两个人工操作员之间的协作：位于“现场”的本地操作员，也就是说，物理上位于设备附近并且可以手动操纵设备的零件，以及可位于远程地点而无法直接与设备进行交互的远程操作员。两名操作员可能具有不同的专业知识水平，例如机器或设备件的操作员，或与专家(例如在远程地点)一起工作的在客户现场维修设备的本地技术人员，该专家帮助、指导、监督和/或批准操作。或者，两个操作员可以具有相同的专业知识水平(可能在专业知识的互补领域)，针对设备中的复杂问题执行联合故障排除会话(或头脑风暴)。例如，技术人员(或现场操作员)可能会维修故障已停止产生的机械。技术人员可以尝试进行故障排除和维修程序，但可能需要来自位于远程呼叫中心的技术专家协助。在另一个实例中，本地技术人员可能需要执行需要高级人员批准的复杂维修。在获得此类批准之前，可能需要当地技术人员向例如远程监督员演示故障。在又一个实例中，新手操作员可能需要位于不同地点的经验丰富的操作员的远程指导。目前，可以通过图像和视频进行通信来进行此类联合维护和修理。通信可以使参与者共享信息，例如设备视图、辅助材料(例如图表和说明)以及口头交流解释和指导。例如，现场操作员可以将设备图像发送给远程专家。远程专家可以向本地操作员提供口头指导和建议，其可以辅以例如图解说明和照片等支持性材料。如果本地操作员和远程专家之间在语言或文化上存在差异，则这种指导可能既耗时又困难。另外，人机工程学或其他约束条件，例如视频、音频或指示设备的处理，不良照明、噪声或其他因素等环境因素，可能会增加此过程的难度。在这种联合维护、修理或操作期间，使远程参与者能够使用设备的在线远程显示视频在设备上标记定位通常非常有用，而本地参与者可以查看覆盖在设备上的该标记。例如，远程专家可以标记特定目标(例如，旋钮、螺钉、开关、电线或期望部件)，并指示现场参与者或操作员对目标执行特定操作(例如，转动旋钮、打开螺钉、操作开关、连接或断开电线或其他操作)。现场参与者可以使用增强现实(AR)显示器(例如，AR眼镜或其他透视式AR显示器)，而远程专家使用来自现场摄像头(例如，其安装在AR护目镜上)的视频产生标记以指定设备上的特定位置。然后，增强现实系统将在AR显示器上向现场操作员显示标记的图像，以使标记覆盖在“现实世界”目标上。例如，远程专家可以标记旋钮，该旋钮是设备的一部分，并且将在特定方向上旋转。使用AR系统，现场技术人员可以在显示器上看到覆盖或指向所讨论的旋钮的标记，可能带有要执行的操作的一些描述，例如旋钮的旋转方向。AR的这种使用可能需要在AR层显示器上显示的标记与实际目标设备的定位之间精确对齐。远程专家产生的标记在现场操作人员看来应该覆盖目标设备，并且可以预期高精度地指向目标。即使轻微的未对准也会导致在设备的错误部分上执行操作。在AR系统中，以高精度获得这种对准需要复杂的过程，该过程通常考虑到AR显示器相对于设备的精确位置，以及AR显示器相对于用户的眼睛和/或瞳孔的相对位置。这样精确对准可能需要复杂的校准程序，和对准的精度可随时间下降。
技术实现思路
因此，根据本专利技术的实施例，提供了一种多层查看系统，其包括：静止成像仪，其被配置为获取具有包括目标物体的视野的图像；光束投射器，其可控制以将一个或多个物理层标记投射到所述目标物体的目标区域上；头戴件，其包括增强现实显示器和配置成获取增强现实显示器前面的区域的场景图像的场景成像仪，或者配置成向增强现实显示器前面投射头戴件光束的头戴件光束投射器，所述增强现实显示器足够透明，以使戴着头戴件的本地用户可以通过增强现实显示器直接查看所述目标物体，并配置为显示叠加在直接查看的目标物体上的注释，以便本地用户可以看到；和处理器，其配置为：接收相对于目标区域的选定位置以显示所述注释；通过识别一个或多个物理层标记在场景图像中的图像，或通过识别一个或多个物理层标记以及头戴件光束形成的标记在由静止成像仪获取的图像中的图像，确定增强现实显示器的方向；计算用于在增强现实显示器上显示注释的显示定位位置，以使得当相对于目标区域在选定定位位置处显示时本地用户可感知所述注释；和在增强现实显示器上在计算出的显示位置处显示所述注释。此外，根据本专利技术的实施例，可以通过用户控件的操作来控制光束投射器。此外，根据本专利技术的实施例，用户控件使远程用户能够通过目标区域在由静止成像仪获取的目标物体的图像上的指示来控制光束投射器。此外，根据本专利技术的实施例，用户控件被配置为通过选定位置在由静止成像仪获取的目标物体的图像上的指示使得能够输入选定位置。此外，根据本专利技术的实施例，光束投射器包括激光器。此外，根据本专利技术的实施例，光束投射器被配置为以图案的形式投射物理层标记。此外，根据本专利技术的实施例，静止成像仪的视野足够大，以完全覆盖目标物体的至少一个区域，物理层标记可以被比其更大的光束投射器投射到该区域上，并且包括场景成像仪的视野。此外，根据本专利技术的实施例，光束投射器还被配置为在目标物体的表面上扫描一个或多个物理层标记。此外，根据本专利技术的实施例，处理器还被配置为计算表面的倾斜角。此外，根据本专利技术的实施例，该系统包括远程站。此外，根据本专利技术的实施例，远程站包括远程显示器和用户控件。此外，根据本专利技术的实施例，静止成像仪和光束投射器被结合到单一静止单元中。此外，根据本专利技术的实施例，该系统包括至少一个附加成像仪或至少一个附加投射器。此外，根据本专利技术的实施例，处理器还被配置为操作至少一个附加成像仪以获取目标物体的被识别为对静止成像仪不可见的区域的图像，或者操作至少一个附加投射器以将标记投射在目标物体的被识别为光束投射器所发射的光束无法接近的区域上。根据本专利技术的实施例，还提供了一种操作查看系统的方法，该查看系统包括静止成像仪、光束投射器和头戴件，所述头戴件包括增强现实显示器和配置成获取增强现实显示器前面的区域的场景图像的场景成像仪，或者配置成向增强现实显示器前面投射头戴件光束的头戴件光束投射器，所述增强现实显示器足够透明，以使戴着头戴件的本地用户可以通过增强现实显示器直接查看所述目标物体，并配置为显示叠加在直接查看的目标物体上的可见的注释，所述方法包括：使用场景成像仪在一个或多个物理层标记通过光束投射器投射到目标物体的目标区域上时获取目标物体的场景图像，或者使用静止成像仪获取包含一个或多个物理层标记和由头戴件光束形成的标记的图像；接收相对于目标区域的选定位置以显示所述注释；识别一个或多个物理层标记在获取的场景图像中的图像，或一个或多个物理层标记以及由头戴件光束形成的标记的图像；计算用于在增强现实显示器上显示注释的显示定位位置，以使得当相对于目标区域在选定定位处显示时本地用户可感知所述注释；和在增强现实显示器上在计算出的显示位置处显示所述注释。此外，根据本专利技术的实施例，获取目标物体的场景图像包括：当在目标物体的表面上扫描一个或多个物理层标记的物理层标记本文档来自技高网...

【技术保护点】
1.一种多层查看系统，包括：/n静止成像仪，其被配置为获取具有包括目标物体的视野的图像；/n光束投射器，其可控制以将一个或多个物理层标记投射到所述目标物体的目标区域上；/n头戴件，其包括增强现实显示器以及配置成获取所述增强现实显示器前面的区域的场景图像的场景成像仪或者配置成向所述增强现实显示器前面投射头戴件光束的头戴件光束投射器，所述增强现实显示器足够透明，以使戴着所述头戴件的本地用户可以通过所述增强现实显示器直接查看所述目标物体，并配置为显示叠加在直接查看的目标物体上的注释，以便所述本地用户可以看到；和/n处理器，其配置为：/n接收相对于所述目标区域的选定位置以显示所述注释；/n通过识别所述一个或多个物理层标记在所述场景图像中的图像，或通过识别所述一个或多个物理层标记以及由所述头戴件光束形成的标记在由所述静止成像仪获取的图像中的图像，确定所述增强现实显示器的方向；/n计算用于在所述增强现实显示器上显示所述注释的显示位置，使得所述注释在相对于所述目标区域的所述选定定位处显示时能够被本地用户所感知；和/n在所述增强现实显示器上在计算的显示位置显示所述注释。/n

【技术特征摘要】
【国外来华专利技术】20171026 US 62/577,3321.一种多层查看系统，包括：
静止成像仪，其被配置为获取具有包括目标物体的视野的图像；
光束投射器，其可控制以将一个或多个物理层标记投射到所述目标物体的目标区域上；
头戴件，其包括增强现实显示器以及配置成获取所述增强现实显示器前面的区域的场景图像的场景成像仪或者配置成向所述增强现实显示器前面投射头戴件光束的头戴件光束投射器，所述增强现实显示器足够透明，以使戴着所述头戴件的本地用户可以通过所述增强现实显示器直接查看所述目标物体，并配置为显示叠加在直接查看的目标物体上的注释，以便所述本地用户可以看到；和
处理器，其配置为：
接收相对于所述目标区域的选定位置以显示所述注释；
通过识别所述一个或多个物理层标记在所述场景图像中的图像，或通过识别所述一个或多个物理层标记以及由所述头戴件光束形成的标记在由所述静止成像仪获取的图像中的图像，确定所述增强现实显示器的方向；
计算用于在所述增强现实显示器上显示所述注释的显示位置，使得所述注释在相对于所述目标区域的所述选定定位处显示时能够被本地用户所感知；和
在所述增强现实显示器上在计算的显示位置显示所述注释。


2.根据权利要求1所述的系统，其中所述光束投射器是由用户控件的操作可控制的。


3.根据权利要求2所述的系统，其中所述用户控件使远程用户能够通过所述目标区域在由所述静止成像仪获取的所述目标物体的图像上的指示来控制所述光束投射器。


4.根据权利要求1所述的系统，其中所述用户控件被配置为通过所述选定位置在由所述静止成像仪获取的所述目标物体的图像上的指示使得能够输入所述选定位置。


5.根据权利要求1所述的系统，其中所述光束投射器包括激光器。


6.根据权利要求1所述的系统，其中所述光束投射器被配置为以图案的形式投射物理层标记。


7.根据权利要求1所述的系统，其中所述静止成像仪的视野足够大，以完全覆盖目标物体的至少一个区域，物理层标记可以被所述光束投射器投射到该区域上。


8.根据权利要求1所述的系统，其中所述光束投射器还被配置为在所述目标物体的表面上扫描所述一个或多个物理层标记。


9.根据权利要求8所述的系统，其中所述处理器进一步被配置成计算所述表面的倾斜角。


10.根据权利要求1所述的系统，还包括远程站。


11.根据权利要求10所述的系统，其中所述远程站包括远程显示器和用户控件。


12.根据权利要...

【专利技术属性】
技术研发人员：S·乌尔曼，D·哈拉里，L·阿西夫，I·科夫曼，
申请(专利权)人：耶达研究及发展有限公司，
类型：发明
国别省市：以色列;IL