增强现实AR远程交互方法及其系统技术方案

本申请提供一种增强现实AR远程交互方法及其系统。该AR远程交互方法应用于AR远程交互系统。系统包括第一终端设备、服务器及第二终端设备。第一终端设备创建AR场景并向服务器发送包括锚点坐标、AR素材尺寸、第一终端设备坐标以及目标检测框的数据包。服务器根据数据包生成场景标识号，使得第二终端设备参与至AR场景。若服务器确定AR场景与待测视频数据满足预设一致条件，第一终端设备与第二终端设备即可进行AR远程交互，第二终端设备上设置的第二摄像头获取待测视频数据。无需终端设备处于同一物理空间即可进行AR交互，提供了AR远程交互解决方案，拓宽了AR交互应用范围，满足了远程AR交互需求，提高了用户AR使用体验。

【技术实现步骤摘要】
增强现实AR远程交互方法及其系统
本申请涉及增强现实AR
，尤其涉及一种增强现实AR远程交互方法及其系统。
技术介绍
随着互联网技术的快速发展，基于网络技术的增强现实(AugmentedReality，AR)技术在越来越多的领域被广泛应用，例如应用于机械组装、设备维修、结构展示以及娱乐游戏开发等领域。目前，AR应用的实现通常是借助服务器进行托管和解析，如图1所示，图1为本申请实施例提供的一种现有技术中的AR交互示意图，图1中的手机1创建AR场景，从而获取一些目标锚点，并将目标锚点以及其所处的环境数据发送至服务器，服务器对接收到的数据进行处理，得到对应的稀疏点图，并将其作为云锚点。继而同一环境中的手机2向服务器发送交互请求，服务器根据交互请求尝试将可视特征数据3与云锚点中的稀疏点图进行匹配，若匹配成功，则将已解析的锚点设置于相同环境中的相同位置，从而使得手机2的用户可以查看到与手机1中相同的AR对象，基于此进行同步交互。然而，现有技术中，实现AR交互的终端必须处于同一物理空间环境，例如上述图1实施例中的手机1和手机2必须处于同一物理空间环境中才能进行AR交互。可见，现有技术中进行AR交互的场景具有明显的局限性，无法满足实际工况中其他应用场景比如远程的AR交互需求，限制AR交互系统的广泛应用以及影响用户AR交互体验。
技术实现思路
本申请提供一种增强现实AR远程交互方法及其系统，用于解决现有技术中进行AR交互时的场景具有局限性，无法满足远程AR交互需求进而限制AR交互系统的广泛应用以及影响用户AR交互体验的技术问题。第一方面，本申请提供一种增强现实AR远程交互方法，应用于AR远程交互系统，所述AR远程交互系统包括第一终端设备、服务器以及第二终端设备；所述方法包括：所述服务器接收所述第一终端设备创建AR场景产生的数据包，所述AR场景包括对AR素材进行渲染处理后得到的初始AR对象，所述数据包包括锚点坐标、所述AR素材的尺寸、所述第一终端设备坐标以及目标检测框，所述目标检测框用于标注所述AR场景中的目标对象；所述服务器根据所述数据包生成场景标识号，以使所述第二终端设备根据所述场景标识号参与所述AR场景，所述场景标识号用于唯一标识所述AR场景；若所述服务器确定所述AR场景与待测视频数据满足预设一致条件，则控制所述第一终端设备与所述第二终端设备进行AR远程交互，所述第二终端设备通过第二摄像头获取所述待测视频数据。在一种可能的设计中，所述服务器确定所述AR场景与所述待测视频数据满足所述预设一致条件，包括：所述服务器接收所述第二终端设备发送的所述待测视频数据，并通过所述场景标识号获取所述目标检测框，以从所述目标对象中确定出跟踪对象；所述服务器确定所述待测视频数据中的待测对象与所述跟踪对象是否满足预设匹配条件；若确定结果为是，则所述服务器确定所述待测视频数据中是否存在参考平面，以在确定存在所述参考平面时，判定所述AR场景与所述待测视频数据满足所述预设一致条件，所述预设一致条件包括所述预设匹配条件以及所述参考平面。在一种可能的设计中，所述服务器确定所述待测视频数据中的待测对象与所述跟踪对象是否满足所述预设匹配条件，包括：所述服务器运行预设对象检测器，并在所述待测视频数据的初始帧中获取初始的待测边界框，所述初始的待测边界框用于标注所述初始帧中的所述待测对象；在所述待测视频数据的后续帧中获取后续的待测边界框，以通过所述后续的待测边界框逐步迭代所述初始的待测边界框；确定标注所述跟踪对象的所述目标检测框与每个待测边界框之间的相似度，以当所述相似度小于预设相似阈值时，结束所述逐步迭代，以确定所述跟踪对象与所述待测对象满足所述预设匹配条件。在一种可能的设计中，在所述判定所述AR场景与所述待测视频数据满足所述预设一致条件之后，还包括：所述服务器向所述第二终端设备发送交互指令，以使所述第二终端设备根据所述交互指令在所述参考平面上渲染所述AR素材，得到参与AR对象，所述参与AR对象用于与所述第一终端设备的所述初始AR对象进行交互。在一种可能的设计中，在控制所述第一终端设备与所述第二终端设备进行AR远程交互之后，还包括：所述服务器接收所述第一终端设备和/或所述第二终端设备实时发送的各自的新增数据包，并根据接收到的所述新增数据包更新云锚点；其中，所述第一终端设备和/或所述第二终端设备按照各自的预设时间周期将各自的本地锚点与所述云锚点进行比较，并当所述第一终端设备和/或所述第二终端设备确定存在新增锚点，则分别向所述服务器发送修改请求。在一种可能的设计中，所述向所述服务器发送修改请求之后，包括：所述服务器根据所述修改请求生成空闲状态反馈信息，并将所述空闲状态反馈信息回传至所述第一终端设备或所述第二终端设备，以使接收到所述空闲状态反馈信息的所述第一终端设备或所述第二终端设备修改所述本地锚点。在一种可能的设计中，所述第一终端设备还包括第一摄像头，所述第一摄像头用于获取所述第一终端设备所处空间的环境视频数据，所述环境视频数据用于获得所述目标检测框。第二方面，本申请提供一种增强现实AR远程交互系统，包括：第一终端设备、服务器以及第二终端设备；所述第一终端设备用于创建AR场景，并向服务器发送创建所述AR场景产生的数据包，所述AR场景包括对AR素材进行渲染处理后得到的初始AR对象，所述数据包包括锚点坐标、所述AR素材的尺寸、所述第一终端设备坐标以及目标检测框，所述目标检测框用于标注所述AR场景中的目标对象；所述服务器用于根据所述第一终端设备发送的数据包生成场景标识号，以使所述第二终端设备根据所述场景标识号参与所述AR场景，所述场景标识号用于唯一标识所述AR场景；所述服务器还用于若确定所述AR场景与待测视频数据满足预设一致条件，控制所述第一终端设备与所述第二终端设备进行AR远程交互；所述第二终端设备包括第二摄像头，所述第二摄像头用于获取所述待测视频数据。在一种可能的设计中，所述服务器包括：第一处理模块，用于接收所述第二终端设备发送的所述待测视频数据，并通过所述场景标识号获取所述目标检测框，以从所述目标对象中确定出跟踪对象；第二处理模块，用于确定所述待测视频数据中的待测对象与所述跟踪对象是否满足预设匹配条件；若确定结果为是，所述第二处理模块还用于确定所述待测视频数据中是否存在参考平面，以在确定存在所述参考平面时，判定所述AR场景与所述待测视频数据满足所述预设一致条件，所述预设一致条件包括所述预设匹配条件以及所述参考平面。在一种可能的设计中，所述第二处理模块，具体用于：运行预设对象检测器，并在所述待测视频数据的初始帧中获取初始的待测边界框，所述初始的待测边界框用于标注所述初始帧中的所述待测对象；在所述待测视频数据的后续帧中获取后续的待测边界框，以通过所述后续的待测边界框逐步迭代所述初始的待测边界框；确定标注所述跟本文档来自技高网...

【技术保护点】
1.一种增强现实AR远程交互方法，其特征在于，应用于AR远程交互系统，所述AR远程交互系统包括第一终端设备、服务器以及第二终端设备；所述方法包括：/n所述服务器接收所述第一终端设备创建AR场景产生的数据包，其中，所述AR场景包括对AR素材进行渲染处理后得到的初始AR对象，所述数据包包括锚点坐标、所述AR素材的尺寸、所述第一终端设备坐标以及目标检测框，所述目标检测框用于标注所述AR场景中的目标对象；/n所述服务器根据所述数据包生成场景标识号，以使所述第二终端设备根据所述场景标识号参与所述AR场景，所述场景标识号用于唯一标识所述AR场景；/n若所述服务器确定所述AR场景与待测视频数据满足预设一致条件，则控制所述第一终端设备与所述第二终端设备进行AR远程交互，所述第二终端设备通过第二摄像头获取所述待测视频数据。/n

【技术特征摘要】
1.一种增强现实AR远程交互方法，其特征在于，应用于AR远程交互系统，所述AR远程交互系统包括第一终端设备、服务器以及第二终端设备；所述方法包括：
所述服务器接收所述第一终端设备创建AR场景产生的数据包，其中，所述AR场景包括对AR素材进行渲染处理后得到的初始AR对象，所述数据包包括锚点坐标、所述AR素材的尺寸、所述第一终端设备坐标以及目标检测框，所述目标检测框用于标注所述AR场景中的目标对象；
所述服务器根据所述数据包生成场景标识号，以使所述第二终端设备根据所述场景标识号参与所述AR场景，所述场景标识号用于唯一标识所述AR场景；
若所述服务器确定所述AR场景与待测视频数据满足预设一致条件，则控制所述第一终端设备与所述第二终端设备进行AR远程交互，所述第二终端设备通过第二摄像头获取所述待测视频数据。


2.根据权利要求1所述的AR远程交互方法，其特征在于，所述服务器确定所述AR场景与所述待测视频数据满足所述预设一致条件，包括：
所述服务器接收所述第二终端设备发送的所述待测视频数据，并通过所述场景标识号获取所述目标检测框以从所述目标对象中确定出跟踪对象；
所述服务器确定所述待测视频数据中的待测对象与所述跟踪对象是否满足预设匹配条件；
若确定结果为是，则所述服务器确定所述待测视频数据中是否存在参考平面，以在确定存在所述参考平面时，判定所述AR场景与所述待测视频数据满足所述预设一致条件，所述预设一致条件包括所述预设匹配条件以及所述参考平面。


3.根据权利要求2所述的AR远程交互方法，其特征在于，所述服务器确定所述待测视频数据中的待测对象与所述跟踪对象是否满足所述预设匹配条件，包括：
所述服务器运行预设对象检测器，并在所述待测视频数据的初始帧中获取初始的待测边界框，所述初始的待测边界框用于标注所述初始帧中的所述待测对象；
在所述待测视频数据的后续帧中获取后续的待测边界框，以通过所述后续的待测边界框逐步迭代所述初始的待测边界框；
确定标注所述跟踪对象的所述目标检测框与每个待测边界框之间的相似度，以当所述相似度小于预设相似阈值时，结束所述逐步迭代以确定所述跟踪对象与所述待测对象满足所述预设匹配条件。


4.根据权利要求2所述的AR远程交互方法，其特征在于，在所述判定所述AR场景与所述待测视频数据满足所述预设一致条件之后，还包括：
所述服务器向所述第二终端设备发送交互指令，以使所述第二终端设备根据所述交互指令在所述参考平面上渲染所述AR素材，得到参与AR对象，所述参与AR对象用于与所述第一终端设备的所述初始AR对象进行交互。


5.根据权利要求1-4任一项所述的AR远程交互方法，其特征在于，在控制所述第一终端设备与所述第二终端设备进行AR远程交互之后，还包括：
所述服务器接收所述第一终端设备和/或所述第二终端设备实时发送的各自的新增数据包，并根据接收到的所述新增数据包更新云锚点；
其中，所述第一终端设备和/或所述第二终端设备按照各自的预设时间周期将各自的本地锚点与所述云锚点进行比较，并当所述第一终端设备和/或所述第二终端设备确定存在新增锚点，则分别向所述服务器发送修改请求。


6.根据权利要求5所述的AR远程交互方法，其特征在于，所述向所述服务器发送修改请求之后，包括：
所述服务器根据所述修改请求生成空闲状态反馈信息，并将所述空闲状态反馈信息回传至所述第一终端设备或所述第二终端设备，以使接收到所述空闲状态反馈信息的所述第一终端设备或所述第二终端设备修改所述本地锚点。


7.根据权利要求1-4任一项所述的AR远程交互方法，其特征在于，所述第一终端设备还包括第一摄像头，所述第一摄像头用于获取所述第一终端设备所处空间的环境视频数据，所述环境视频数据用于获得所述目标检测框。


8.一种增强现实AR远程交互系统，其特征在于，包括：第一终端设备、服务器以及第二终端设备；
所述第一终端设备用于创建AR场景，并向服务器发送创建所述AR场景产生的数据包，所述AR场景包括对AR素材...

【专利技术属性】
技术研发人员：蔡志杰，卢道和，陈洁丹，舒玉强，雷声伟，李薇，郭树霞，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44