基于自扩展的增强现实服务指令库制造技术

增强现实(AR)服务引导使用带有显示器和摄像头的移动设备(30、90)。执行诸如同时定位和映射(SLAM)的计算机视觉(CV)处理(102)，以将AR内容(80)与由摄像头捕获的实况视频馈送(96)对齐。经对齐的AR内容被显示在所述移动设备的显示器上。在一个示例中，所述移动设备是具有透明显示器(92、94)和摄像头(20)的抬头显示器(HUD)(90)。在另一示例中，所述移动设备是具有前显示器(34)和后置摄像头(36)的手机或平板计算机(30)。通过CV处理(54)生成所述AR内容(80)，以将所述AR内容与服务呼叫的记录的视频(40)对齐(70)。所述对齐(72)包括对齐由用户输入在服务呼叫的记录的视频中识别的的感兴趣位置(LOI)。

【技术实现步骤摘要】
【国外来华专利技术】基于自扩展的增强现实服务指令库
以下总体涉及现场服务领域，并且更具体地涉及医学成像设备和系统服务领域，涉及增强视觉领域以及相关领域。
技术介绍
医学成像设备包括非常复杂的系统，例如磁共振成像(MRI)设备，透射计算机断层摄影(CT)成像设备，发射成像系统(例如正电子发射断层摄影(PET)成像设备和用于单光子发射计算机断层摄影(SPECT)的伽马摄像头)成像，在单个设备中提供多种模式的混合系统(例如PET/CT或SPECT/CT成像设备)，以及设计用于引导活检或其他介入性医学流程的成像设备，通常称为图像引导治疗(iGT)设备。这些仅仅是说明性的示例。从维护的角度来看，现代医学成像设备和系统提出了不同寻常的挑战。它们通常包括用于广泛变化的目的的大量子系统，例如：机械和机电系统，用于装载患者，运输到成像检查区域，以及随后卸载；在CT成像设备的情况下的X射线管组件和X射线探测器阵；再次，在CT的情况下，旋转机架；在PET成像设备的情况下，辐射探测器模块的环形环；在伽玛摄像头的情况下，辐射探测器头和用于围绕患者操纵所述辐射探测器头相关联的机器人硬件；在MRI情况下，超导磁体和相关联的液氦罐和/或其他低温恒温器硬件；用户接口部件，例如计算机控制器、控制按钮、开关、触敏显示器等；等等。通常必须在现场，即在部署了医学成像设备的医院或其他医学机构中执行医学成像设备的维护。此外，由于医院和其他医学机构期望这些设备几乎连续可用以向患者提供成像或图像引导疗法，因此非常需要使维修停机时间最小化。从维修的角度来看，进一步的困难是，医学成像设备通常由制造商进行近乎不断的开发，并且以各种任选的部件和部件包进行市场销售，因此，医学成像设备的相同制造/型号的不同部署的安装，取决于它们的制造时间和客户选择购买的选项，然而可能具有不同的部件。这些考虑因素使服务人员要全面了解该领域可能遇到的每项潜在维护任务，尤其具有挑战性。服务人员可以查阅书面服务手册和/或计算机辅助设计(CAD)制图；然而，这些可能会随着时间的流逝而过时，或者可能无法包括特定任选部件。对于CAD制图，服务人员可能难以确定应参考的正确制图(部件，版本等)。此外，如果该服务手册不是由现场服务人员撰写的，则该手册可能无法解决仅在执行现场服务时才显而易见的方面：例如，特定部件在现场可能难以访问，但是起草该服务手册的设计工程师可能不会意识到这一困难。对于该领域的服务人员而言，另一资源可以是电话或视频会议，其访问专门针对正在接受服务的特定部件、设备等的专家。这占用了专家的宝贵时间，并且需要现场服务人员和专家之间进行协调——要么必须在服务时间内“专家”处于待命状态，要么必须提前安排呼叫的日期/时间。此外，专家可能在有限的信息基础上提供帮助。该信息通常包括由服务人员提供的部件及其环境的口头描述，并且也许还包括使用蜂窝电话(手机)或其他移动设备的内置摄像头提供的部件的视频。在将情境数据从服务人员传输到专家和/或将专家的建议传达给服务人员时，可能丢失重要信息。以下公开了新的和改进的系统和方法。
技术实现思路
在一个公开的方面中，一种基于增强现实(AR)的服务引导设备包括：移动设备，其包括显示器和摄像头；以及电子处理器，其被编程为执行计算机视觉(CV)处理，以将AR内容与由所述移动设备的所述摄像头捕获的实况视频馈送对齐，并在所述移动设备的显示器上显示与所述实况视频馈送对齐的AR内容。在另一个公开的方中面，一种基于增强现实的服务指导方法，包括：使用计算机，创作AR内容，包括以下操作：在计算机上接收用户输入，所述用户输入识别服务呼叫的记录视频中的至少一个感兴趣位置(LOI)，并执行CV处理以将AR内容与服务呼叫的记录视频对齐，包括使所述AR内容的部分与所述至少一个LOI对齐；并且使用电子处理器和包括显示器和摄像头的移动设备，呈现创作的AR内容，包括使用电子处理器执行CV处理，以将所创作的AR内容与由移动设备的摄像头产生的实况视频馈送对齐，并且在移动设备的显示屏上显示与实况视频馈送对齐的所创作的AR内容。在另一个公开方面中，公开了一种AR内容创作设备，其用于创作用于服务引导的AR内容。该设备包括计算机以及存储计算机可读和可执行以执行AR内容创作方法的指令的非瞬态存储介质，所述方法包括：在计算机上接收用户输入，所述用户输入识别服务呼叫的记录的视频中的至少一个LOI；并且执行CV处理以将所述AR内容与所述服务呼叫的记录视频对齐，包括将所述AR内容的部分与所述至少一个LOI对齐。一个优点在于为服务人员提供实时自动化辐助。另一个优点在于提供实时增强现实(AR)内容以协助服务呼叫。另一个优点在于提供实时AR内容以协助从服务人员的视角提出的服务呼叫，所述服务呼叫与要执行的服务操作紧密集成。另一个优点在于，结合切换到并入了AR内容的预览模式的能力，提供实时AR内容以协助服务呼叫。另一个优点在于利用实况视频馈送提供实时AR内容以自动确定适当的AR内容。另一个优势在于利用现有服务调用来提供用于创作基于AR的服务指令的数据。另一个优点在于利用现有的服务调用来提供数据，以有效地创作现有的基于AR的服务指令的更新。给定实施例可以不提供前述优点，提供前述优点中的一个、两个、更多或全部，和/或可以提供其它优点，对于本领域普通技术人员而言，在阅读和理解了本公开后，这将变得显而易见。附图说明本专利技术可以采取各种部件和各部件的布置以及各种步骤和各步骤的安排的形式。附图仅出于图示优选的实施例的目的并且不应被解释为对本专利技术的限制。图1图解地图示了用于利用服务呼叫在医学成像设备上执行维护以便提供用于创作基于增强现实(AR)的服务指令的数据的实施例，以及使用该数据的AR内容创作设备的示意图。图2图解地图示了图1的AR内容创作设备的更详细的实施例。图3图解地图示了基于AR的服务指令递送设备，用于递送由图1和2的AR内容创作设备创作的AR内容。具体实施方式在本文公开的改进中，用于在医学成像设备上执行维护的服务呼叫的视频记录(任选地包括音频)被利用来为基于AR的服务引导提供创作增强现实(AR)内容的基础。可以使用常规相机来记录该服务呼叫，或者可以使用立体相机和/或测距相机来提供深度信息。如果使用单(非测距)相机，则随着技术人员四处移动，可以从不同的有利位置提取深度信息。相机可以是头戴式的，以便提供服务人员的“第一人称”视图。在服务呼叫期间，可以任选地使用一个指示器来标记感兴趣位置(LOI)，和/或可以提供进行的的语音注释进行记录。创作系统用于将服务呼叫的记录视频转换为AR内容，以支持针对相同或相似维护任务的未来服务呼叫。创作系统可以使用计算机视觉(CV)技术(例如同时定位和映射(SLAM)算法)来同时映射服务人员的位置和显著环境(例如，服务部件以及可能的邻近部件)。提取的图可用于将记录视频中的部件与计算机辅助设计(CAD)制图对齐，并将在三维空间中空间地定位LOI。然后，人类编辑者本文档来自技高网...

【技术保护点】
1.一种基于增强现实(AR)的服务引导设备，包括：/n移动设备(30、90)，其包括显示器(34、92、94)和摄像头(20、36)；以及/n电子处理器(30、100)，其被编程为执行计算机视觉(CV)处理(102)，以将AR内容(80)与由所述移动设备的所述摄像头捕获的实况视频馈送(96)对齐，并在所述移动设备的所述显示器上显示与所述实况视频馈送对齐的所述AR内容。/n

【技术特征摘要】
【国外来华专利技术】20171023 US 62/575,5531.一种基于增强现实(AR)的服务引导设备，包括：
移动设备(30、90)，其包括显示器(34、92、94)和摄像头(20、36)；以及
电子处理器(30、100)，其被编程为执行计算机视觉(CV)处理(102)，以将AR内容(80)与由所述移动设备的所述摄像头捕获的实况视频馈送(96)对齐，并在所述移动设备的所述显示器上显示与所述实况视频馈送对齐的所述AR内容。


2.根据权利要求1所述的基于AR的服务引导设备，其中，经对齐的AR内容包括与通过所述CV处理(102)在所述实况视频馈送(96)中识别的感兴趣位置(LOI)对齐的标记。


3.根据权利要求1-2中的任一项所述的基于AR的服务引导设备，其中，经对齐的AR内容包括与通过所述CV处理(102)在所述实况视频(96)馈送中识别的感兴趣位置(LOI)对齐的注释。


4.根据权利要求3所述的基于AR的服务引导设备，其中，所述注释是零件编号注释、计算机辅助设计(CAD)制图、或CAD制图部分、或CAD动画。


5.根据权利要求1-4中的任一项所述的基于AR的服务引导设备，其中，
所述移动设备(30、90)包括抬头显示器(HUD)(90)，在所述抬头显示器中，所述显示器(92、94)是透明显示器，并且所述摄像头(20)被布置为捕获所述实况视频馈送(96)，所述实况视频馈送对应于所述HUD的用户透过所述透明显示器观看的视点；以及
处理器(30、100)，其被编程为在所述HUD的所述透明显示器上显示与所述实况视频馈送对齐的所述AR内容，而不在所述透明显示器上显示所述实况视频馈送。


6.根据权利要求1-4中的任一项所述的基于AR的服务引导设备，其中，
所述移动设备(30)包括蜂窝电话(手机)或平板计算机，其中，所述显示器是设置在所述手机或平板计算机的正面上的不透明显示器(34)，并且所述摄像头是后置摄像头(36)，所述后置摄像头被布置在所述手机或平板电脑的相对的背面上；并且
所述处理器(30、100)被编程为在所述手机或平板电脑的所述不透明显示器上显示与由所述后置摄像头(36)捕获的所述实况视频馈送(96)对齐的所述AR内容以及作为所述AR内容的底层的所述实况视频馈送。


7.根据权利要求1-6中的任一项所述的基于AR的服务引导设备，其中，所述电子处理器(30、100)还被编程为通过执行所述CV处理(102)将所述AR内容(80)与替换由所述移动设备(30、90)的所述相机(20、36)产生的所述实况视频馈送(96)的预览视频(41)对齐并且同时在所述移动设备的所述显示器(34)上显示与所述预览视频对齐的所述AR内容以及被显示为所述AR内容底层的所述预览视频两者来执行服务预览。


8.根据权利要求1-7中的任一项所述的基于AR的服务引导设备，其中，所述电子处理器(30、100)包括：
服务器计算机(100)，其被编程为执行所述CV处理(102)以将所述AR内容(80)与由所述移动设备(30、90)的所述摄像头(20、36)产生的所述实况视频馈送(96)对齐；以及
所述移动设备的处理器，其被编程为将由所述移动设备的所述摄像头产生的所述实况视频馈送传输到所述服务器计算机，并且从所述服务器计算机接收与所述实况视频馈送对齐的所述AR内容(104)，并且在所述移动设备的所述显示器(34、92、94)上显示与所述实况视频馈送对齐的所述AR内容。


9.根据权利要求1-8中的任一项所述的基于AR的服务引导设备，其中，CV处理(102)包括同时定位和映射(SLAM)处理，以将所述AR内容(80)与由所述移动设备(30、90)的所述摄像头(20、36)产生的所述实况视频馈送(96)对齐。


10.根据权利要求1-9中的任一项所述的基于AR的服务引导设备，还包括：
计算机(52)，其被编程为执行CV处理(54)，以通过以下操作来生成所述AR内容(80)，所述操作包括将所述AR内容与服务呼叫的记录的视频(40)对齐(70)，包括将所述AR内容的至少部分与通过用户输入在所述服务呼叫的所述记录的视频中识别的至少一个感兴趣位置(LOI)对齐(72)。


11.一种基于增强现实(AR)的服务引导方法，包括：
使用计算机(52)，创作AR内容(80)，包括以下操作：在所述计算机处接收用户输入，所述用户输入识别服务呼叫的记录的视频(40)中的至少一个感兴趣位置(LOI)，并且执行计算机视觉(CV)处理(54)，以将AR内容与服务呼叫的记录的视频对齐，包括将所述AR内容的部分与所述至少一个LOI对齐；并且
使用电子处理器(30、100)和包括显示器(34、92、94)和摄像头(20、36)的移动设备(30、90)，呈现所创作的AR内容，包括使用所述电...

【专利技术属性】
技术研发人员：S·P·普雷弗尔哈尔，J·萨巴奇恩斯基，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰;NL