【技术实现步骤摘要】
一种基于增强现实的远程指导的方法与设备
本申请涉及通信领域，尤其涉及一种基于增强现实的远程指导的技术。
技术介绍
现有技术中，远程协作是基于音视频通讯，通过增强现实的展示方式，远端的指导员对本地端的操作员进行远程的技术指导(例如，标注、涂鸦)，音视频通讯占用网络带宽，视频帧率一般介于15-24帧之间，可能存在影响视频画面的稳定性的问题。在网络较差时，现有的远程协作方法，会降低视频帧率、分辨率、视频质量等，或者直接关闭视频，用音频来进行远程协助，这种方式指导方并不能准确的把握被指导方现场的环境，给指导带来了障碍，使得指导效率下降，甚至达不到指导的效果，或者，发送现场图像到远端，远端指导者可以基于现场图像用涂鸦、标注等的方式来指导前方，配合语音指导，这样能提高效率和准确率，对网络要求较低，然而，在远程协作中，这种基于现场单张图像进行远程协作的方式，缺少对被指导方现场的把握。
技术实现思路
本申请的一个目的是提供一种基于增强现实的远程指导的方法与设备。根据本申请的一个方面，提供了一种基于增强现实...
【技术保护点】
1.一种基于增强现实的远程指导的方法，应用于第一用户设备，其中，所述方法包括：/n获取并存储第二用户的当前操作对象的三维对象模型，其中，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；/n响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；/n响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息；/n将所述指导信息发送至所述第二用户所使用的增强现实设备。/n
【技术特征摘要】
1.一种基于增强现实的远程指导的方法，应用于第一用户设备，其中，所述方法包括：
获取并存储第二用户的当前操作对象的三维对象模型，其中，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；
响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；
响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息；
将所述指导信息发送至所述第二用户所使用的增强现实设备。
2.根据权利要求1所述的方法，其中，所述获取并存储第二用户的当前操作对象的三维对象模型，包括：
接收并存储网络设备或第二用户发送的、第二用户的当前操作对象的三维对象模型。
3.根据权利要求1所述的方法，其中，所述获取并存储第二用户的当前操作对象的三维对象模型，包括：
接收所述第二用户或网络设备发送的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；
根据所述三维重建信息，生成并存储所述第二用户的当前操作对象的三维对象模型。
4.根据权利要求1所述的方法，其中，所述触发事件包括以下至少一项：
所述第一用户与所述第二用户之间的当前网络条件不满足预定的视频通信所需要的网络条件；
所述第一用户发出用于呈现所述三维对象模型的第一呈现指令；
接收所述第二用户发送的用于呈现所述三维对象模型的第二呈现指令；
所述第一用户与所述第二用户之间建立通信连接；
所述第一用户获取所述第二用户的当前操作对象的三维对象模型。
5.根据权利要求1至4中任一项所述的方法，其中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步；
其中，所述方法还包括：
接收所述第二用户发送的调整视角指令，其中，所述调整视角指令包括所述第二用户所使用的增强现实设备的实时位姿信息；
根据所述实时位姿信息，调整所述第一用户观看所述三维对象模型的视角信息。
6.根据权利要求5所述的方法，其中，所述指导信息包括所述指导操作对应的指导位置，或者，所述指导信息包括所述指导位置和所述指导操作对应的指导内容。
7.根据权利要求1至4中任一项所述的方法，其中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，所述指导信息包括所述指导操作对应的指导位置在所述三维对象模型中的模型坐标，或者，所述指导信息包括所述指导位置在所述三维对象模型中的模型坐标和所述指导操作对应的指导内容。
8.根据权利要求7所述的方法，其中，所述三维对象模型叠加显示在所述第一用户的当前场景中的固定位置；
其中，所述方法还包括：
响应于所述第一用户的调整位姿信息的操作，获取所述第一用户设备的实时位姿信息；
根据所述实时位姿信息，调整所述第一用户观看所述三维对象模型的视角信息。
9.根据权利要求8所述的方法，其中，所述生成所述指导操作对应的指导信息，包括：
根据所述第一用户设备的实时位姿信息以及所述指导位置，确定所述指导位置对应的世界坐标；
根据所述指导位置对应的世界坐标，确定所述指导位置在所述三维对象模型中的模型坐标；
根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息。
10.根据权利要求7所述的方法，其中，所述三维对象模型基于三维渲染引擎显示在所述第一用户设备的屏幕中；
其中，所述方法还包括：
响应于所述第一用户的调整所述三维对象模型在所述第一用户设备的屏幕中的显示信息的操作，调整所述第一用户观看所述三维对象模型的视角信息。
11.根据权利要求10所述的方法，其中，所述生成所述指导操作对应的指导信息，包括：
根据所述指导位置以及渲染引擎对应的虚拟相机的实时位姿信息，确定所述指导位置在所述三维渲染引擎中的世界坐标；
根据所述指导位置在所述三维渲染引擎中的世界坐标，确定所述指导位置在所述三维对象模型中的模型坐标；
根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息。
12.根据权利要求9或11所述的方法，其中，所述根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息，包括：
对所述指导位置在所述三维对象模型中的模型坐标执行归一化操作，并生成所述指导操作对应的指导信息。
13.一种基于增强现实的远程指导的方法，应用于增强现实设备，其中，所述方法包括：
接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的；
将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。
14.根据权利要求13所述的方法，其中，所述方法还包括；
对所述第二用户的当前操作对象进行三维重建，生成所述第二用户的当前操作对象的三维对象模型；
将所述三维对象模型发送至所述第一用户或网络设备。
15.根据权利要求13所述的方法，其中，所述方法还包括：
获取所述第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；
将所述三维重建信息发送至所述第一用户或网络设备。
16.根据权利要求13至15任一项所述的方法，其中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步；
其中，所述方法还包括：
响应于所述第二用户的调整位姿信息的操作，获取增强现实设备的实时位姿信息；
生成调整视角指令，其中，所述调整视角指令包括所述增强现实设备的实时位姿信息；
将所述调整视角指令发送至所述第一用户。
17.根据权利要求16所述的方法，其中，所述指导信息包括所述指导操作对应的指导位置；
其中，所述将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作，包括：
获取所述指导操作对应的指导内容；
根据所述指导位置以及所述增强现实设备的实时位姿信息，生成所述指导位置对应的世界坐标；
根据所述指导位置对应的世界坐标以及所述增强现实设备的实时位姿信息，确定所述指导位置对应的显示坐标；
根据所述指导位置对应的显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中，以供所述第二用户...
【专利技术属性】
技术研发人员：廖春元，胡军，
申请(专利权)人：亮风台上海信息科技有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。