利用运动捕捉的虚拟手的增强现实学习系统和方法技术方案

本公开针对扩展现实(XR)学习系统，该系统使用XR设备向用户提供指导者或专家的动手视觉指导。XR学习系统包括运动捕捉系统，用于记录执行任务的专家手；以及处理器，用于从记录中生成专家手的(逐骨)表示。处理器然后可以基于该表示来生成专家手的模型。该模型可以针对特定用户进行修改和校准。一旦用户请求内容，处理器就可以将记录传输到用户的XR系统，然后XR系统可以显示覆盖在用户手上的专家手的模型，以帮助视觉地指导用户执行任务。

【技术实现步骤摘要】
【国外来华专利技术】利用运动捕捉的虚拟手的增强现实学习系统和方法相关申请的交叉引用本申请根据35U.S.C.第119(e)条要求2017年4月19日提交的题为“AUGMENTEDREALITYLEARNINGSYSTEMWITHMOTIONCAPTUREDINSTRUCTORVIRTUALHANDSTHATASTUDENTSEESTHROUGHGOGGLESORHEADSETORASVIDEOOVERLAIDONSTUDENT′SHANDSANDWORKINGSPACEINREALTIME”的美国申请号62/487,317的优先权，该申请通过引用方式将其全部内容并入本文。
技术介绍
学习新技能的传统过程依赖于指导者在课堂上为学生提供动手的视觉指导和重复。但是，对于许多人来说，由于时间、金钱、灵活性不足以及与优质教师的接触有限，上课是不切实际的。结果，通常通过使用印刷材料或视频记录来学习新技能。此类常规学习材料的使用最终可以提高对特定技能的熟练程度，同时提供成本有效且方便的替代性教学课程。但是，由于缺乏传统上由指导者提供的指导，以这种方式学习新技能的过程可能会更慢且效率更低。专利技术概述本技术的实施方案包括用于使用扩展现实(XR)设备教导用户执行手动任务的方法和系统。示例方法包括在专家手执行手动任务时，用相机记录专家(指导者)的手、手指、手臂、腿、脚、脚趾和/或其他身体部位的一系列图像。由可操作地耦合到相机的处理器实现的诸如人工神经网络(ANN)之类的深度学习网络(DLN)基于专家手的一系列图像生成专家手的表示。例如，由DLN生成的表示可能包括有关关节位置或专家手的其他特征的概率。该表示用于生成专家手的模型。该模型可以包括重建信息，例如肤色、身体组织(纹理)等，以使3D动画更加逼真。当用户正在执行手动任务时，可操作地耦合到处理器的XR设备呈现覆盖在用户手上的专家手的模型，从而指导用户执行手动任务。在某些情况下，记录专家手的一系列图像包括对在执行手动任务时由专家手操纵的器械进行成像。器械可以是乐器，在这种情况下，手动任务包括演奏乐器。在这些情况下，呈现专家手的模型包括与专家手演奏乐器的模型同步地播放专家演奏的乐器的音频记录。同样，麦克风或其他设备可以记录专家在乐器上演奏的音乐，而相机则记录演奏该乐器的专家手的一系列图像。在其他情况下，该器械是手动工具，手动任务包括安装加热、通风和空调(HVAC)系统部件、管道或电气设备。在其他情况下，该器械是运动器材(例如，高尔夫球杆、网球拍或棒球棍)，手动任务包括进行运动。记录专家手的一系列图像包括可以包括：获取专家手的至少一个校准图像和/或与手动任务相关的基准标记的至少一个图像。记录专家手的一系列图像可以包括以第一帧速率获取该一系列图像，在这种情况下，呈现专家手的模型可以包括以不同于第一帧速率的第二帧速率来呈现专家手的模型(即，第二帧速率可以比第一帧速率快或慢)。如果需要，相机可以将一系列图像实时提供给DLN。这使处理器能够生成专家手的模型，而XR设备可以实时呈现专家手的模型。在生成专家手的表示时，DLN可以输出专家手的逐骨表示。这种逐骨表示提供了专家手的远端指骨和远端指骨间运动。DLN还可以在至少二维的空间中输出专家手的平移和旋转信息。在生成专家手的模型时，处理器可以基于用户手的大小、用户手的形状，用户手的位置或其组合来使专家手的模型适应于用户。可以通过在多个处理器之间分布呈现过程来执行呈现专家手的模型。这些处理器可以包括可操作地布置在服务器中的第一处理器和可操作地布置在XR设备中的第二处理器。处理器可以通过将专家手的模型与用户手、基准标记、在执行手动任务时由用户操纵的器械或它们的组合对准来呈现专家手的模型。当用户操纵器械以执行手动任务时，它们可能会突出显示乐器上的特征(例如，钢琴键或吉他弦)。并且它们可以以可变的速度呈现专家手的模型。用于教导用户执行手动任务的示例系统包括可操作地耦合到至少一个处理器的XR设备。在操作中，处理器使用深度学习网络(DLN)基于执行手动任务的专家手的一系列图像来生成专家手的表示。它还基于专家手的表示来生成专家手的模型。并且，XR设备在用户执行手动任务时呈现覆盖在用户手上的专家手的模型，以指导用户执行手动任务。前述概念和下面更详细讨论的附加概念的所有组合(假设这样的概念并不相互矛盾)是本文公开的专利技术主题的一部分。特别地，出现在本公开的结尾处的要求保护的主题的所有组合是本文公开的专利技术主题的一部分。还可以出现在通过引用并入的任何公开中的本文使用的术语应被赋予与本文公开的特定概念最一致的含义。附图说明技术人员将理解，附图主要是出于说明性目的，并且无意于限制本文所述的专利技术主题的范围。附图不一定按比例绘制；在一些情况下，本文中公开的专利技术主题的各个方面可以在附图中被夸大或放大示出，以促进对不同特征的理解。在附图中，相似的参考字符通常指代相似的特征(例如，功能上相似和/或结构上相似的元件)。图1示出了XR学习系统的示例性应用，其包括教导用户演奏乐器，安装机械或电子部件，或进行运动。图2A是示例性XR学习系统的框图，该XR学习系统包括用于记录专家手的运动捕捉系统，用于从记录生成模型的处理器，以及用于显示专家手的记录的XR设备。图2B示出了图2A的示例性运动捕捉系统记录专家执行手动任务。图2C示出了图2A的示例性XR设备，显示了在用户执行手动任务时专家手的记录。图2D示出了运动捕捉系统、处理器和XR系统之间共享的数据路径和数据类型的流程图。图3是示出了使用XR学习系统来显示使用专家手的记录在用户的XR设备上执行任务的专家手的呈现模型的方法的流程图。图4A是示出专家手的示例性记录的图像，其中注释示出了专家手的识别。图4B是示出专家手弹吉他的示例的图像。还显示了用于校准专家手相对于吉他的位置的基准标记。图5A是示出了专家手的逐骨表示的图像，包括远端指骨和指骨间关节。图5B是示出基于专家手的记录来生成专家手的表示的方法的流程图。图6A是示出基于生成的专家手的表示来生成专家手的模型的方法的流程图。图6B是示出了应用于专家手的模型以适应用户手的过程的图示。图7A示出了用于手模型的分布式呈现的系统架构。图7B示出了在XR设备和远程处理器(例如，基于云的服务器)之间的呈现过程的分布。专利技术详述本公开针对扩展现实(XR)学习系统，该系统使用XR设备向用户提供传统上由专家提供的动手视觉指导。如本领域技术人员所理解的，XR指的是由计算机技术和可穿戴设备生成的真实和虚拟组合环境以及人机交互。它包括增强现实(AR)、增强虚拟化(AV)、虚拟现实(VR)以及其中插入的区域。XR学习系统提供了在专家执行特定任务时记录和显示专家手的能力。任务可以包括演奏乐器，使用手动工具组装用于加热、通风和空调(HVAC)系统的机械或电气部件，或进行运动。因此，使用XR可以为用户提供与上课类似的更具交互性和吸引力的学习体验，同时仍保留与常规自学材料相关的灵本文档来自技高网...

【技术保护点】
1.教导用户使用扩展现实(XR)设备执行手动任务的方法，该方法包括：/n当专家手正在执行手动任务时，用相机记录专家手的一系列图像；/n利用由可操作地耦合到相机的处理器实现的深度学习网络(DLN)，基于由专家手的一系列图像来生成专家手的表示；/n基于专家手的表示来生成专家手的模型；以及/n使用所述XR设备，在用户执行手动任务时，呈现覆盖在用户手上的专家手的模型，以指导用户执行手动任务。/n

【技术特征摘要】
【国外来华专利技术】20170419 US 62/487,3171.教导用户使用扩展现实(XR)设备执行手动任务的方法，该方法包括：
当专家手正在执行手动任务时，用相机记录专家手的一系列图像；
利用由可操作地耦合到相机的处理器实现的深度学习网络(DLN)，基于由专家手的一系列图像来生成专家手的表示；
基于专家手的表示来生成专家手的模型；以及
使用所述XR设备，在用户执行手动任务时，呈现覆盖在用户手上的专家手的模型，以指导用户执行手动任务。


2.根据权利要求1所述的方法，其中，记录所述专家手的一系列图像包括：在执行所述手动任务时，对由所述专家手操作的器械进行成像。


3.根据权利要求2所述的方法，其中，所述器械包括乐器，并且所述手动任务包括演奏所述乐器。


4.根据权利要求3所述的方法，其中，呈现所述专家手的模型包括：与呈现演奏所述乐器的所述专家手的模型同步地播放由所述专家演奏的乐器的音频记录。


5.根据权利要求3所述的方法，还包括：
在乐器上记录专家手的一系列图像的同时记录专家在乐器上演奏的音乐。


6.根据权利要求2所述的方法，其中，所述器械包括手动工具，并且所述手动任务包括安装加热、通风和空调(HVAC)系统部件、管道或电子设备中的至少一个。


7.根据权利要求2所述的方法，其中，所述器械包括运动器材，并且所述手动任务包括进行运动。


8.根据权利要求1所述的方法，其中记录所述专家手的一系列图像包括获取所述专家手的至少一个校准图像。


9.根据权利要求1所述的方法，其中，记录所述专家手的一系列图像包括：获取与所述手动任务相关联的基准标记的至少一个图像。


10.根据权利要求1所述的方法，其中：
记录专家手的一系列图像包括以第一帧速率获取一系列图像；以及
呈现专家手的模型包括以不同于第一帧速率的第二帧速率来呈现专家手的模型。


11.根据权利要求1所述的方法，其中，生成所述专家手的表示包括：将所述一系列图像实时地提供给所述DLN。


12.根据权利要求11所述的方法，其中，实时地执行生成所述专家手的模型和呈现所述专家手的模型。


13.根据权利要求1所述的方法，其中，生成所述专家手的表示包括：输出所述专家手的逐骨表示，所述逐骨表示提供所述专家手的远端指骨和远端指骨间运动。


14.根据权利要求1所述的方法，其中，生成所述专家手的表示包括：在至少二维的空间中输出所述专家手的平移和旋转信息。


15.根据权利要求1所述的方法，其中，生成所述专家手的模型包括：基于所述用户手的大小、所述用户手的形状或用户手的位置中的至少一项来使所述专家手的模型适应于所述用户。


16.根据权利要求1所述的方法，其中呈现所述专家手的所述模型包括跨多个处理器分布呈现过程。


17.根据权利要求16所述的方法，其中，所述多个处理器包括可操作地布置在服务器中的第一处理器和可操作地布置在所述XR设备中的第二处理器。


18.根据权利要求1所述的方法，其中呈现所述专家手的模型包括将所述专家手的模型与所述用户手、基准标记或由用户在执行所述手动任务时操纵的器械中的至少一个对准。


19.根据权利要求1所述...

【专利技术属性】
技术研发人员：M·萨奇，K·C·德阿马托，
申请(专利权)人：维多尼股份公司，
类型：发明
国别省市：美国;US