一种远程交互系统及方法技术方案

本发明专利技术公开了一种远程交互系统及方法，属于增强现实与虚拟现实技术领域。提供更加友好的交互方式，更具浸入式交互体验。实体机器人通过摄像设备采集得到本地场景视频和音频，通过本地计算端发送至远程端；实体机器人在本地计算端控制下模拟远程端用户的移动以及动作。远程计算端与本地计算端通信，远程计算端一方面获取本地场景视频进行虚拟现实显示；另一方面控制动作捕捉设备获取远程端用户的移动信息以及动作信息，发送至本地计算端；同时远程计算端还获取远程端用户的语发送至本地计算端。本地计算端在实体机器人位置处渲染对应远程端用户的虚拟化身、播放用户实时音频；本地端用户通过增强现实设备与远程端用户的虚拟化身进行交互。

【技术实现步骤摘要】
一种远程交互系统及方法
本专利技术涉及虚拟现实、增强现实
，具体涉及一种远程交互系统及方法。
技术介绍
目前的虚拟现实、增强显示系统，远程交互是一个重要的发展方向，例如目前频繁使用的视频会议、远程操作机器人以及远程呈现机器人等。这些系统多采用传统的远程交互方式，即用户在远程空间中的用户界面上通过键盘、鼠标、操作杆以及图形界面来与本地空间进行交互。这些系统通常是为特定的任务设计并且需要经过训练的操作员进行操作。目前已有研究基于混合现实的机器人快速示教系统及方法，如申请号为201911144045.5的专利，提供了基于手势识别的输入方法及输入系统，该系统包括实体工业机械臂和混合现实眼镜，实体机械臂包括机械臂本体和控制器，混合现实眼镜内建有3D虚拟机器人，混合现实眼镜与机器人控制器之间通讯连接。该方法包括：使用混合现实眼镜连续捕捉单手或双手的手部位置，并将其映射为虚拟机械臂末端的位置和姿态；将虚拟机器人末端的位置和姿态数据输入机器人逆运动学算法，求解虚拟机器人的关节运动参数；混合现实眼镜利用关节运动参数，同步更新绘制虚拟机器人；将关节运动参数实时传给机械臂控制器，使机械臂本体产生同样的运动，从而完成示教。该系统不可以远程控制机械臂，只能在同一场景下完成示教；只具有单个机械臂完成手部位置和动作的模拟，只能模拟用户手部的动作，缺少用户其它部位的动作信息；当用户位置移动时，实体机器人手臂的位置不会移动，沉浸感不强；机械臂上只有单个固定的摄像头，用户不能观察到整个场景的信息。论文AugmentedVirtualTeleportationforHigh-FidelityTele-collaboration中记载了一种使用虚拟传送的非对称平台。首先通过360度摄像机捕捉和直播本地主持者的全方位场景，远程虚拟现实旅行者可以在在头盔中观看实时主持者的直播视频体验本地的内容。同时，远程虚拟现实旅行者的动作被捕捉下来，并传送到覆盖在360度摄像头上的3D虚拟化身上，本地增强现实主持者可以在显示屏上看到远程虚拟现实旅行者的动作，完成完整的交互。两者同步进行，在混合现实空间中叠加。远程的旅行者在该方式中的观察位置是固定的，只能在混合现实空间中同一个位置观察本地的实时全方位场景，并且整个交互过程只有视觉的部分，无法通过机械结构移动本地的物品。目前缺少一种能够实现本地端与远程端用户更加贴合现实的交互方案，能够提供更具浸入体验的场景以及更加友好的互动。
技术实现思路
有鉴于此，本专利技术提供了一种远程交互系统及方法，其一方面能够为远程端用户提供实时的本地场景，提升用户体验，另一方面又能够为本地用户提供可供交互的实体机器人和虚拟化身，使得交互更加友好，更具浸入式交互体验。为达到上述目的，本专利技术的技术方案为：一种远程交互系统，包括本地端和远程端；本地端包括本地计算端、实体机器人以及增强现实设备；远程端包括远程计算端、虚拟现实设备以及动作捕捉设备。实体机器人通过摄像设备采集得到本地场景视频，通过本地计算端发送至远程端；采集得到本地场景音频，通过本地计算端发送至远程端。实体机器人在本地计算端控制下模拟远程端用户的移动以及动作。远程计算端与本地计算端通信，远程计算端一方面从本地计算端处获取本地场景视频，控制虚拟现实显示设备对本地场景进行虚拟现实显示；另一方面控制动作捕捉设备获取远程端用户的移动信息以及动作信息，发送至本地计算端；同时远程计算端还获取远程端用户的语音，制作为用户实时音频发送至本地计算端。本地计算端运行虚拟引擎，构建混合显示合作空间，通过增强现实设备在混合显示合作空间中，实体机器人位置处渲染对应远程端用户的虚拟化身；本地计算端对接收到的用户实时音频进行播放；本地端用户通过增强现实设备与远程端用户的虚拟化身进行交互。进一步地，本地端还具有移动控制机械臂。移动控制机械臂连接在固定点和实体机器人背部之间。移动控制机械臂为三段式机械臂，从固定点出发，顺次连接第一级父骨骼、第二级父骨骼以及第三级子骨骼，第三级子骨骼末端连接在实体机器人背部；其中第一级父骨骼和第二级父骨骼之间通过第一节点连接，第二季父骨骼与第三级子骨骼之间通过第二节点连接。本地计算端由远程计算端处获取远程端用户的移动信息，用户的移动信息包括移动的方向与距离，本地计算端根据用户的移动信息计算实体机器人的目标位置，并通过目标位置确定移动控制机械臂的控制信息，包括第一级父骨骼、第二级父骨骼以及第三级子骨骼的位置以及第一节点、第二节点的旋转角度。本地计算端将移动控制机械臂的控制信息发送至移动控制机械臂，控制移动控制机械臂按照控制信息动作，完成实体机器人的移动，实现对远程端用户移动的模拟。进一步地，远程端用户的动作信息包括头部动作、躯干部动作以及手臂动作。实体机器人包括头部、躯干部、机器臂和机器手。头部设有摄像机组、前后旋转电机、左右旋转电机以及上下旋转电机。摄像机组包括至少一个摄像头，用于获取本地场景视频；前后旋转电机为180°旋转电机，用于控制头部实现前后方向上的180°的旋转角度；左右旋转电机为180°旋转电机，用于控制头部实现左右方向上的180°的旋转角度；上下旋转电机为180°旋转电机，用于控制头部实现上下方向上的180°的旋转角度。躯干部设有左、右肩部起落电机以及左、右肩关节旋转电机；左、右肩部起落电机分别用于控制左、右肩部的起落；左、右肩关节旋转电机分别用于控制左、右肩关节旋转。机器臂设有左、右肘关节旋转电机，分别用于控制左、右肘关节旋转；实体机器人在本地计算端控制下模拟远程端用户的动作，具体为：对实体机器人与远程端用户进行头部、躯干部、手臂和手部的映射；头部动作包括头部在前、后、左、右、上、下方向上的旋转角度；躯干部动作包括左右肩部的起落大小、左右肩关节的旋转角度；手臂动作包括左右肘关节的旋转角度。本地计算端接收到远程端用户的动作信息之后，解析得到头部动作、躯干部动作以及手臂动作，分别控制前后旋转电机、左右旋转电机以及上下旋转电机、左、右肩部起落电机以及左、右肩关节旋转电机以及左、右肘关节旋转电机动作实现对远程端用户动作的模拟；同时本地计算在实体机器人位置处渲染对应远程端用户的虚拟化身，虚拟化身动作与远程端用户动作一致。进一步地，远程计算端为本地计算端、一体式头盔、智能手机或者云端计算端。进一步地，实体机器人上的摄像设备为由至少一个摄像头组成的摄像头组，或者为全景摄像头。本专利技术另外一个实施例提供了一种远程交互方法，包括本地端流程和远程端流程。本地端流程具体为：实时采集本地场景视频作为本地视觉信息发送至远程端。接收远程端发来的远程端用户的移动信息以及动作信息，根据用户的移动信息以及动作信息控制实体机器人模拟远程端用户的移动和动作。本地端同时运行虚拟引擎，构建混合显示合作空间，通过增强现实设备在混合显示合作空间中，实体机器人位置处渲染对应远程端用户的虚拟化身；本地端对接收到的用户实时音频进行播放。本地端用户通过本文档来自技高网...

【技术保护点】
1.一种远程交互系统，其特征在于，包括本地端和远程端；所述本地端包括本地计算端、实体机器人以及增强现实设备；所述远程端包括远程计算端、虚拟现实设备以及动作捕捉设备；/n所述实体机器人通过摄像设备采集得到本地场景视频，通过所述本地计算端发送至远程端；采集得到本地场景音频，通过所述本地计算端发送至远程端；/n所述实体机器人在所述本地计算端控制下模拟远程端用户的移动以及动作；/n所述远程计算端与所述本地计算端通信，远程计算端一方面从本地计算端处获取所述本地场景视频，控制虚拟现实显示设备对本地场景进行虚拟现实显示；另一方面控制所述动作捕捉设备获取远程端用户的移动信息以及动作信息，发送至所述本地计算端；同时远程计算端还获取远程端用户的语音，制作为用户实时音频发送至所述本地计算端；/n所述本地计算端运行虚拟引擎，构建混合显示合作空间，通过所述增强现实设备在混合显示合作空间中，所述实体机器人位置处渲染对应远程端用户的虚拟化身；所述本地计算端对接收到的所述用户实时音频进行播放；本地端用户通过所述增强现实设备与所述远程端用户的虚拟化身进行交互。/n

【技术特征摘要】
1.一种远程交互系统，其特征在于，包括本地端和远程端；所述本地端包括本地计算端、实体机器人以及增强现实设备；所述远程端包括远程计算端、虚拟现实设备以及动作捕捉设备；
所述实体机器人通过摄像设备采集得到本地场景视频，通过所述本地计算端发送至远程端；采集得到本地场景音频，通过所述本地计算端发送至远程端；
所述实体机器人在所述本地计算端控制下模拟远程端用户的移动以及动作；
所述远程计算端与所述本地计算端通信，远程计算端一方面从本地计算端处获取所述本地场景视频，控制虚拟现实显示设备对本地场景进行虚拟现实显示；另一方面控制所述动作捕捉设备获取远程端用户的移动信息以及动作信息，发送至所述本地计算端；同时远程计算端还获取远程端用户的语音，制作为用户实时音频发送至所述本地计算端；
所述本地计算端运行虚拟引擎，构建混合显示合作空间，通过所述增强现实设备在混合显示合作空间中，所述实体机器人位置处渲染对应远程端用户的虚拟化身；所述本地计算端对接收到的所述用户实时音频进行播放；本地端用户通过所述增强现实设备与所述远程端用户的虚拟化身进行交互。


2.如权利要求1所述的系统，其特征在于，所述本地端还具有移动控制机械臂；
所述移动控制机械臂连接在固定点和所述实体机器人背部之间；
所述移动控制机械臂为三段式机械臂，从固定点出发，顺次连接第一级父骨骼、第二级父骨骼以及第三级子骨骼，第三级子骨骼末端连接在所述所述实体机器人背部；其中第一级父骨骼和第二级父骨骼之间通过第一节点连接，第二季父骨骼与第三级子骨骼之间通过第二节点连接；
所述本地计算端由远程计算端处获取远程端用户的移动信息，所述用户的移动信息包括移动的方向与距离，本地计算端根据用户的移动信息计算所述实体机器人的目标位置，并通过目标位置确定所述移动控制机械臂的控制信息，包括第一级父骨骼、第二级父骨骼以及第三级子骨骼的位置以及第一节点、第二节点的旋转角度；
本地计算端将所述移动控制机械臂的控制信息发送至所述移动控制机械臂，控制所述移动控制机械臂按照控制信息动作，完成所述实体机器人的移动，实现对远程端用户移动的模拟。


3.如权利要求1或2所述的系统，其特征在于，远程端用户的动作信息包括头部动作、躯干部动作以及手臂动作；
所述实体机器人包括头部、躯干部、机器臂和机器手；
所述头部设有摄像机组、前后旋转电机、左右旋转电机以及上下旋转电机；所述摄像机组包括至少一个摄像头，用于获取本地场景视频；所述前后旋转电机为180°旋转电机，用于控制所述头部实现前后方向上...

【专利技术属性】
技术研发人员：翁冬冬，东野啸诺，胡翔，
申请(专利权)人：北京理工大学，南昌虚拟现实检测技术有限公司，南昌新世纪会展中心有限公司，
类型：发明
国别省市：北京;11