利用运动捕捉的虚拟手的增强现实学习系统和方法技术方案

本公开针对扩展现实(XR)学习系统，该系统使用XR设备向用户提供指导者或专家的动手视觉指导。XR学习系统包括运动捕捉系统，用于记录执行任务的专家手；以及处理器，用于从记录中生成专家手的(逐骨)表示。处理器然后可以基于该表示来生成专家手的模型。该模型可以针对特定用户进行修改和校准。一旦用户请求内容，处理器就可以将记录传输到用户的XR系统，然后XR系统可以显示覆盖在用户手上的专家手的模型，以帮助视觉地指导用户执行任务。

【技术实现步骤摘要】
【国外来华专利技术】利用运动捕捉的虚拟手的增强现实学习系统和方法相关申请的交叉引用本申请根据35U.S.C.第119(e)条要求2017年4月19日提交的题为“AUGMENTEDREALITYLEARNINGSYSTEMWITHMOTIONCAPTUREDINSTRUCTORVIRTUALHANDSTHATASTUDENTSEESTHROUGHGOGGLESORHEADSETORASVIDEOOVERLAIDONSTUDENT′SHANDSANDWORKINGSPACEINREALTIME”的美国申请号62/487,317的优先权，该申请通过引用方式将其全部内容并入本文。
技术介绍
学习新技能的传统过程依赖于指导者在课堂上为学生提供动手的视觉指导和重复。但是，对于许多人来说，由于时间、金钱、灵活性不足以及与优质教师的接触有限，上课是不切实际的。结果，通常通过使用印刷材料或视频记录来学习新技能。此类常规学习材料的使用最终可以提高对特定技能的熟练程度，同时提供成本有效且方便的替代性教学课程。但是，由于缺乏传统上由指导者提供的指导，以这种方式学习新技能的过程可能会更慢且效率更低。...

【技术保护点】
1.教导用户使用扩展现实(XR)设备执行手动任务的方法，该方法包括：/n当专家手正在执行手动任务时，用相机记录专家手的一系列图像；/n利用由可操作地耦合到相机的处理器实现的深度学习网络(DLN)，基于由专家手的一系列图像来生成专家手的表示；/n基于专家手的表示来生成专家手的模型；以及/n使用所述XR设备，在用户执行手动任务时，呈现覆盖在用户手上的专家手的模型，以指导用户执行手动任务。/n

【技术特征摘要】
【国外来华专利技术】20170419 US 62/487,3171.教导用户使用扩展现实(XR)设备执行手动任务的方法，该方法包括：
当专家手正在执行手动任务时，用相机记录专家手的一系列图像；
利用由可操作地耦合到相机的处理器实现的深度学习网络(DLN)，基于由专家手的一系列图像来生成专家手的表示；
基于专家手的表示来生成专家手的模型；以及
使用所述XR设备，在用户执行手动任务时，呈现覆盖在用户手上的专家手的模型，以指导用户执行手动任务。


2.根据权利要求1所述的方法，其中，记录所述专家手的一系列图像包括：在执行所述手动任务时，对由所述专家手操作的器械进行成像。


3.根据权利要求2所述的方法，其中，所述器械包括乐器，并且所述手动任务包括演奏所述乐器。


4.根据权利要求3所述的方法，其中，呈现所述专家手的模型包括：与呈现演奏所述乐器的所述专家手的模型同步地播放由所述专家演奏的乐器的音频记录。


5.根据权利要求3所述的方法，还包括：
在乐器上记录专家手的一系列图像的同时记录专家在乐器上演奏的音乐。


6.根据权利要求2所述的方法，其中，所述器械包括手动工具，并且所述手动任务包括安装加热、通风和空调(HVAC)系统部件、管道或电子设备中的至少一个。


7.根据权利要求2所述的方法，其中，所述器械包括运动器材，并且所述手动任务包括进行运动。


8.根据权利要求1所述的方法，其中记录所述专家手的一系列图像包括获取所述专家手的至少一个校准图像。


9.根据权利要求1所述的方法，其中，记录所述专家手的一系列图像包括：获取与所述手动任务相关联的基准标记的至少一个图像。


10.根据权利要求1所述的方法，其中：
记录专家手的一系列图像包括以第一帧速率获取一系列图像；以及
呈现专家手的模型包括以不同于第一帧速率的第二帧速率来呈现专家手的模型。


11.根据权利要求1所述的方法，其中，生成所述专家手的表示包括：将所述一系列图像实时地提供给所述DLN。


12.根据权利要求11所述的方法，其中，实时地执行生成所述专家手的模型和呈现所述专家手的模型。


13.根据权利要求1所述的方法，其中，生成所述专家手的表示包括：输出所述专家手的逐骨表示，所述逐骨表示提供所述专家手的远端指骨和远端指骨间运动。


14.根据权利要求1所述的方法，其中，生成所述专家手的表示包括：在至少二维的空间中输出所述专家手的平移和旋转信息。


15.根据权利要求1所述的方法，其中，生成所述专家手的模型包括：基于所述用户手的大小、所述用户手的形状或用户手的位置中的至少一项来使所述专家手的模型适应于所述用户。


16.根据权利要求1所述的方法，其中呈现所述专家手的所述模型包括跨多个处理器分布呈现过程。


17.根据权利要求16所述的方法，其中，所述多个处理器包括可操作地布置在服务器中的第一处理器和可操作地布置在所述XR设备中的第二处理器。


18.根据权利要求1所述的方法，其中呈现所述专家手的模型包括将所述专家手的模型与所述用户手、基准标记或由用户在执行所述手动任务时操纵的器械中的至少一个对准。


19.根据权利要求1所述...

【专利技术属性】
技术研发人员：M·萨奇，K·C·德阿马托，
申请(专利权)人：维多尼股份公司，
类型：发明
国别省市：美国;US