【技术实现步骤摘要】
一种基于增强现实进行远程辅助的方法与设备
本申请涉及计算机领域，尤其涉及一种基于增强现实进行远程辅助的技术。
技术介绍
增强现实(AR)技术是一种全新的人机交互技术，它利用摄像头、陀螺仪、加速度传感器等，实时匹配空间中的三维点与图像中的二维点，并且利用匹配点对来跟踪，并计算相机在空间中的位置和方向，然后利用以上信息将真实的环境和虚拟的物体实时地叠加到同一个画面或空间，造成虚拟与现实共存的现象。用户可以通过增强现实系统感受到客观物理世界中原本不存在的增强信息，比如虚拟导航箭头、虚拟的游戏人物等，还能突破时间、空间以及其他客观限制，利用虚拟信息极大的增加用户对于真实世界的理解和交互。
技术实现思路
本申请的一个目的是提供一种基于增强现实进行远程辅助的方法与设备。根据本申请的一个方面，提供了一种在第一用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息。根据本申请的另一个方面，提供了一种在第二用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；呈现所述视频信息，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记...
【技术保护点】
1.一种在第一用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息。
【技术特征摘要】
1.一种在第一用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息。2.根据权利要求1所述的方法，其中，所述方法还包括：将所述视频信息发送至所述第二用户设备。3.根据权利要求1所述的方法，其中，所述将所述视频信息发送至所述第二用户设备，包括：将所述视频信息及所述转移矩阵信息发送至所述第二用户设备。4.根据权利要求2或3所述的方法，其中，所述方法还包括：接收所述第二用户设备发送的、所述第二用户基于所述视频信息对所述目标对象的继续操作指示信息。5.根据权利要求2至4中任一项所述的方法，其中，所述方法还包括：接收所述第二用户设备发送的、所述第二用户对所述摄像装置的摄像控制指令信息；根据所述摄像控制指令信息调整所述摄像装置的摄像参数信息；通过调整后的所述摄像装置实时拍摄关于所述目标对象的视频信息；将通过所述调整后的摄像装置拍摄的所述视频信息发送至所述第二用户设备。6.根据权利要求1至5中任一项所述的方法，其中，所述标记信息还包括第一用户通过所述第一用户设备对所述目标对象标示的辅助标示信息。7.根据权利要求1至6中任一项所述的方法，其中，所述目标对象包括在讨论纸件文档；所述第二用户对所述目标对象的操作指示信息包括所述第二用户对所述在讨论纸件文档的视频帧中的一个或多个标注位置信息。8.根据权利要求7所述的方法，其中，所述根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息，包括：根据所述一个或多个标注位置信息生成渲染标记信息；根据所述转移矩阵信息，将所述渲染标记信息叠加显示于所述目标对象。9.根据权利要求1至8中任一项所述的方法，其中，所述方法还包括：通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的图像信息；将所述图像信息发送至对应的第二用户设备；接收关于所述目标对象的标记信息，其中，所述标记信息包括所述第二用户设备发送的、第二用户对所述图像信息中所述目标对象的操作指示信息；将所述标记信息叠加显示于所述目标对象；其中，所述通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息，包括：通过所述摄像装置实时拍摄关于所述目标对象的视频信息。10.一种在第二用户设备端用于基于增强现实进行远程辅助的方法，其中，该方法包括：接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；呈现所述视频信息，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。11.根据权利要求10所述的方法，其中，所述方法还包括：对所述视频信息中的所述目标对象执行目标跟踪操作；其中，所述呈现所述视频信息，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息，包括：呈现所述视频信息，并根据所述目标跟踪操作的结果信息，将对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。12.根据权利要求10所述的方法，其中，所述接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息，包括：接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时获取关于目标对象的视频信息，以及所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；其中，所述呈现所述视频信息，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息，包括：呈现所述视频信息，并根据所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息，将对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。13.根据权利要求10至12中任一项所述的方法，其中，所述方法还包括：获取所述第二用户基于所述视频信息对所述目标对象的继续操作指示信息；将所述继续操作指示信息发送至所述第一用户设备。14.根据权利要求10至13中任一项所述的方法，其中，所述方法还包括：根据所述第二用户通过第二用户设备执行的摄像控制操作，生成所述第二用户对所述摄像装置的摄像控制指令信息，其中，所述摄像控制指令信息用于调整所述摄像装置的摄像参数信息；将所述摄像控制指令信息发送至所述第一用户设备；接收所述第一用户设备发送的、通过所述调整后的摄像装置拍摄的所述视频信息。15.根据权利要求10至14中任一项所述的方法，其中，所述方法还包括：接收并呈现对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的图像信息；获取所述第二用户对所述图像信息中所述目标对象的操作指示信息；将所述操作指示信息发送至所述第一用户设备；将所述操作指示信息叠加显示于所述图像信息中所述目标对象；其中，所述接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息，包括：接收所述第一用户设备发送的、通过所述摄像装置实时拍摄关于所述目标对象的视频信息。16.一种在第一用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息；将所述视频信息发送至对应的网络设备；接收所述网络设备发送的、所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述第一目标对象，其中，所述第一标记信息包括对应第二用户设备发送的、第二用户对所述第一目标对象的操作指示信息。17.一种在网络设备端基于增强现实进行远程辅助的方法，其中，该方法包括：接收第一用户设备发送的关于第一目标对象的视频信息，其中，所述视频信息是通过所述第一用户设备中的摄像装置实时拍摄的；通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；将所述第一转移矩阵信息发送至所述第一用户设备；将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备。18.根据权利要求17所述的方法，其中，所述通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息，包括：根据所述视频信息及所述第一目标对象的其它视频信息重建所述第一目标对象的视频信息；通过对重建后的所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息。19.根据权利要求17所述的方法，其中，所述方法还包括：通过对所述视频信息中的第三目标对象执行目标跟踪操作，确定所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息，其中，所述第三目标对象与所述第一目标对象属于同一远程辅助任务；将所述视频信息及所述第三转移矩阵信息发送至所述远程辅助任务中与所述第三目标对象相对应的第三用户设备；其中，所述将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备，包括：将所述视频信息及所述第一转移矩阵信息、所述第三转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备。20.一种在第三用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：接收对应网络设备发送的、关于第三目标对象的视频信息及所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息；呈现所述视频信息，并根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象，其中，所述第三标记信息包括第二用户通过第二用户设备对所述第三目标对象的操作指示信息；其中，所述视频信息是通过第一用户设备中的摄像装置实时拍摄的，所述第一用户设备、所述第三用户设备与所述第二用户设备属于同一远程辅助任务，并分别接受所述第二用户设备的远程辅助。21.一种在第二用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：接收对应网络设备发送的、关于第一目标对象的视频信息及所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；呈现所述视频信息，并根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象，其中，所述第一标记信息包括第二用户通过所述第二用户设备对所述第一目标对象的操作指示信息；其中，所述视频信息是通过与所述第二用户设备属于同一远程辅助任务的第一用户设备中的摄像装置实时拍摄的，或者是基于所述摄像装置所拍摄的关于所述第一目标对象的实时视频信息及所述第一目标对象的其他视频信息重建的。22.根据权利要求21所述的方法，其中，所述方法还包括：接收所述网络设备发送的、所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息；在呈现所述视频信息过程中，根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象，其中，所述第三标记信息包括所述第二用户通过所述第二用户设备对所述第三目标对象的操作指示信息。23.一种在网络设备端基于增强现实进行远程辅助的方法，其中，该方法包括：接收第一用户设备发送的关于目标对象的视频信息，其中，所述视频信息包括通过所述第一用户设备中的摄像装置所拍摄的；通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；根据所述转移矩阵信息将对应的标记信息添加至所述视频信息中的各视频帧，其中，所述标记信息保持叠加于所述视频信息的各视频帧中的所述目标对象，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息；将编辑后的所述视频信息发送至第一用户设备，以及与所述第一用户设备属于同一远程辅助任务的第二用户设备。24.一种基于增强现实进行远程辅助的方法，其中，该方法包括：第一用户设备通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息，通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息，并根据所述转移矩阵信息，将对应的标记信...
【专利技术属性】
技术研发人员：廖春元，唐荣兴，
申请(专利权)人：亮风台上海信息科技有限公司，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。