用于基于网络的远程辅助系统的计算机可读介质技术方案

用于基于网络的远程辅助系统的计算机可读介质。本文描述的示例实现涉及经由浏览器至浏览器连接向远程装置传输来自用户手部或其它对象的手部信息，使得基于从远程装置接收到的方位测量结果将手部或其它对象正确地定向在远程装置上。这样的示例实现可以便于远程辅助，在远程辅助中远程装置的用户需要查看由专家提供的用于指导的手部或对象运动。

【技术实现步骤摘要】
用于基于网络的远程辅助系统的计算机可读介质
本公开总体涉及远程辅助系统，并且更具体地涉及一种基于实时视频的手势辅助系统。
技术介绍
当前相关技术的视频会议技术使人们即使处于不同的位置时也保持协作。然而，在远程专家正在帮助本地客户执行复杂的物理任务的远程辅助场景中，通过使用相关技术的视频和音频通信媒体传达的指导导致误解来自专家的意图和指令的风险高，这可能导致低效的协作体验和性能。在相关技术中，诸如肢体语言和手势之类的非语言通信可以显著提高远程辅助/协作场景中的远程协作活动的性能。在相关技术的实现中已经测试了在远程辅助/协作场景中使用手势视觉提示的有效性。
技术实现思路
然而，这样的相关技术实现没有并入上下文和内容信息。本文描述的示例实现考虑了可以通过分析客户工作空间的视图而捕获的多个上下文和内容方面。这种分析可用于更改手部模型的可视化参数，例如其大小、方位或颜色，这能够得到更好的协作体验和任务性能的提高。本文描述的示例实现涉及一种远程辅助系统，该远程辅助系统便于位于远程的专家使用手势向在不同位置执行物理任务的客户提供指导。该系统是建立在基于网络的实时媒体通信框架顶上的，该基于网络的实时媒体通信框架允许客户使用商品智能电话向专家发送实时视频馈送，专家可以从实时视频馈送中观看客户工作空间的视图并且在视频上实时示出他们的手势。用手部跟踪装置捕获专家的手势，并且用受操纵的三维(3D)手部模型将手势可视化在实时视频馈送上。系统可以是经由网络浏览器可访问的，并且不需要在客户装置上安装任何预先需要的软件。系统通过利用关于客户环境的上下文和内容信息来可视化手部模型的各方面(例如，方位、比例和颜色等)以及基于音频提示的导航指导，从而改善了协作体验。该系统还支持手部运动的捕获和回放。在本文描述的示例实现中，存在基于轻量级网络的系统，其支持使用来自位于远程的专家的手势给本地客户的远程指导。通过使用基于网络的实时媒体通信技术(例如，WebRTC)，该系统允许本地客户使用商品智能电话装置通过视频会议与远程专家助手共享客户工作空间的视图，并且来自专家的手势数据可以在网络浏览器中在共享的实时视频流上实时传输和可视化。由于能够经由大多数现代网络浏览器从末端用户通过简单地浏览指定的网页可访问该系统，因此不需要在用户智能电话装置上安装任何预先需要的软件。专家侧的系统利用跟踪装置(例如，手部跟踪装置)来跟踪专家的手部运动。另外，本文描述的示例实现不限于手部跟踪，而是根据期望的实现还可以扩展到其它类型的跟踪(例如，脚部、工具)。本公开的各方面可以涉及一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储用于执行移动装置的处理的指令，该移动装置包括方位传感器和相机，所述指令包括：向另一装置发送来自相机的视频和来自方位传感器的测量结果；从另一装置接收与用户手部相关联的手部信息；以及基于手部信息将用户手部的表示叠置在视频上以供由移动装置进行显示，用户手部的表示是按照从来自方位传感器的测量结果所确定的方位而叠置在视频上。本公开的各方面可以涉及一种用于执行移动装置的处理的方法，该移动装置包括方位传感器和相机，该指令包括：向另一装置发送来自相机的视频和来自方位传感器的测量结果；从另一装置接收与用户手部相关联的手部信息；以及基于手部信息将用户手部的表示叠置在视频上以供由移动装置进行显示，用户手部的表示是按照从来自方位传感器的测量结果所确定的方位而叠置在视频上。本公开的方面可以涉及一种移动装置，该移动装置包括方位传感器、相机、以及处理器，该处理器涉及用于以下的指令：向另一装置发送来自相机的视频和来自方位传感器的测量结果；从另一装置接收与用户手部相关联的手部信息；以及基于手部信息将用户手部的表示叠置在视频上以供由移动装置进行显示，用户手部的表示是按照从来自方位传感器的测量结果所确定的方位而叠置在视频上。本公开的各方面可以涉及一种移动装置，该移动装包括方位传感器装置、相机装置、用于向另一装置发送来自相机的视频和来自方位传感器的测量结果的装置；用于从另一装置接收与用户手部相关联的手部信息的装置；以及用于基于手部信息将用户手部的表示叠置在视频上以供由移动装置进行显示的装置，用户手部的表示是按照从来自方位传感器的测量结果所确定的方位而叠置在视频上。本公开的各方面可以涉及一种非暂时性计算机可读介质，其存储用于执行用于在通信上联接至跟踪装置的装置的处理的指令，指令包括：从移动装置接收视频和方位传感器测量结果；从另一装置发送与用户手部相关联的来自装置的手部信息，手部信息是基于从跟踪装置获得的测量结果而生成的；以及基于手部信息将用户手部的表示叠置在视频上以供由装置进行显示，用户手部的表示按照从来自方位传感器的测量结果而确定的方位叠置在视频上。本公开的各方面可以涉及一种用于在通信上联接至跟踪装置的装置的方法，该方法包括：从移动装置接收视频和方位传感器测量结果；从另一装置发送与用户手部相关联的来自装置的手部信息，手部信息是基于从跟踪装置获得的测量结果而生成的；以及基于手部信息将用户手部的表示叠置在视频上以供由装置进行显示，用户手部的表示按照从来自方位传感器的测量结果而确定的方位叠置在视频上。本公开的各方面可以涉及在通信上联接至跟踪装置的装置，该装置包括被配置为执行指令的处理器，指令包括：从移动装置接收视频和方位传感器测量结果；从另一装置发送与用户手部相关联的来自装置的手部信息，手部信息是基于从跟踪装置获得的测量结果而生成的；以及基于手部信息将用户手部的表示叠置在视频上以供由装置进行显示，用户手部的表示按照从来自方位传感器的测量结果而确定的方位叠置在视频上。本公开的各方面可以涉及一种在通信上联接至跟踪装置的装置，该装置包括：用于从移动装置接收视频和方位传感器测量结果的装置；用于从另一装置发送与用户手部相关联的来自装置的手部信息的装置，手部信息是基于从跟踪装置获得的测量结果而生成的；以及用于基于手部信息将用户手部的表示叠置在视频上以供由装置进行显示的装置，用户手部的表示按照从来自方位传感器的测量结果而确定的方位叠置在视频上。本公开的方面涉及一种非暂时性计算机可读介质，其用于服务器的指令，指令包括：从移动装置接收第一连接；从在通信上联接到跟踪装置的另一装置接收第二连接；在移动装置和另一装置之间建立第三连接，以便于视频和方位传感器测量结果从移动装置向另一装置的传输，并且便于手部信息从另一装置向移动装置的传输。本公开的方面涉及一种方法，该方法包括：从移动装置接收第一连接；从在通信上联接到跟踪装置的另一装置接收第二连接；在移动装置和另一装置之间建立第三连接，以便于视频和方位传感器测量结果从移动装置向另一装置的传输，并且便于手部信息从另一装置向移动装置的传输。本公开的方面涉及一种服务器，该服务器包括：用于从移动装置接收第一连接的装置；用于从在通信上联接到跟踪装置的另一装置接收第二连接的装置；用于在移动装置和另一装置之间建立第三连接的装置，以便于视频和方位传感器测量结果从移动装置向另一装置的传输，并且便于手部信本文档来自技高网...

【技术保护点】
1.一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储用于执行移动装置的处理的指令，所述移动装置包括方位传感器和相机，所述指令包括：/n向另一装置发送来自所述相机的视频和来自所述方位传感器的测量结果；/n从所述另一装置接收与用户手部相关联的手部信息；以及/n基于所述手部信息将所述用户手部的表示叠置在所述视频上以供由所述移动装置进行显示，所述用户手部的所述表示按照从来自所述方位传感器的所述测量结果所确定的方位而叠置在所述视频上。/n

【技术特征摘要】
20191108 US 16/678,4401.一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储用于执行移动装置的处理的指令，所述移动装置包括方位传感器和相机，所述指令包括：
向另一装置发送来自所述相机的视频和来自所述方位传感器的测量结果；
从所述另一装置接收与用户手部相关联的手部信息；以及
基于所述手部信息将所述用户手部的表示叠置在所述视频上以供由所述移动装置进行显示，所述用户手部的所述表示按照从来自所述方位传感器的所述测量结果所确定的方位而叠置在所述视频上。


2.根据权利要求1所述的非暂时性计算机可读介质，其中，所述视频是来自所述移动装置的所述相机的实时视频，所述测量结果是来自所述方位传感器的实时测量结果，并且所述手部信息包括从所述用户手部的实时运动而确定的手部可视化参数和手部骨骼关节测量结果。


3.根据权利要求2所述的非暂时性计算机可读介质，其中，基于所述手部信息将所述用户手部的表示叠置在所述视频上以供由所述移动装置进行显示包括：基于所述手部骨骼关节测量结果而生成所述用户手部的3D手部模型作为所述表示，并且基于所述视频的色调信息和所述视频上检测到的对象中的一种或更多种，调整叠置在所述视频上的所述3D手部模型的颜色和尺寸中的一种或更多种。


4.根据权利要求1所述的非暂时性计算机可读介质，所述指令还包括：
通过网络浏览器，建立从所述移动装置到所述另一装置的另一网络浏览器的浏览器至浏览器连接；
其中，通过所述浏览器至浏览器连接来进行向所述另一装置发送来自所述相机的所述视频以及来自所述方位传感器的所述测量结果，以及接收来自所述另一装置的所述手部信息。


5.根据权利要求1所述的非暂时性计算机可读介质，其中，所述指令还包括：
向所述另一装置发送从麦克风记录的音频；以及
输出从所述另一装置接收的音频。


6.根据权利要求1所述的非暂时性计算机可读介质，其中，所述视频是先前记录的视频，其中，来自所述方位传感器的所述测量结果是先前记录的测量结果。


7.一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储用于执行在通信上联接至跟踪装置的装置的处理的指令，所述指令包括：
从移动装置接收视频和方位传感器测量结果；
从另一装置发送与用户手部相关联的手部信息，所述手部信息是基于从所述跟踪装置获得的测量结果而生成的；以及
基于所述手部信息将所述用户手部的表示叠置在所述视频上以供由所述装置进行显示，所述用户手部的所述表示按照从来自所述方位传感器的所述测量结果而确定的方位而叠置在所述视频上。

【专利技术属性】
技术研发人员：金哲暄，P·邱，Y·贾亚迪，D·G·金贝尔，刘琼，
申请(专利权)人：富士施乐株式会社，
类型：发明
国别省市：日本;JP