基于边缘辅助的协作式Web AR多人服务系统及方法技术方案

本发明专利技术实施例提供一种基于边缘辅助的协作式Web AR多人服务系统及方法，所述系统包括：移动用户端、边缘服务器端、云服务器端，其中，所述移动用户端与所述边缘服务器端连接，用于请求与Web AR中的其它用户建立连接，并获取所述移动用户端和所述边缘服务器端的性能数据上传至所述边缘服务器端，以及对预设目标进行拍摄；所述边缘服务器与所述移动用户端和所述云服务器端连接，用于根据所述性能数据生成通信方案，并将所述通信方案发送至所述Web AR的所有用户；所述云服务器端与所述边缘服务器连接，用于针对所述Web AR在所述边缘服务器上进行资源分配。采用本系统能够准确高效的同步AR通信中所有用户的操作。

Collaborative web ar multi person service system and method based on edge assistant

【技术实现步骤摘要】
基于边缘辅助的协作式WebAR多人服务系统及方法
本专利技术涉及增强现实
，尤其涉及一种基于边缘辅助的协作式WebAR多人服务系统及方法。
技术介绍
增强现实(AugmentedReality，简称AR)作为一种新型的视觉交互技术，能够将真实世界与虚拟信息“无缝”融合，带来了一种全新的感官体验。特别是当把所有移动AR用户聚集到同一个“增强”世界中时，将使得更多有趣、高效的应用成为可能。目前，当前主流的多人AR解决方案依然面临较为严重的问题：比如多人通信存在低效的问题，并且所有用户的交互依赖于云端服务器对交互信息进行广播，无疑造成了巨大的通信延迟和带宽资源的占用，从而导致通信成本的增加。同时，不稳定的无线链接也无法保持持续的多人交互通信，因此，因为云端服务器而导致的通信低效、成本增加等问题是目前亟待解决的问题。
技术实现思路
针对现有技术中存在的问题，本专利技术实施例提供一种基于边缘辅助的协作式WebAR多人服务系统。本专利技术实施例提供一种基于边缘辅助的协作式WebAR多人服务系统，包括：移动用户端、边缘服务器端、云服务器端，其中，所述移动用户端与所述边缘服务器端连接，用于请求与WebAR中的其它用户建立连接，并获取所述移动用户端和所述边缘服务器端的性能数据上传至所述边缘服务器端，以及对预设目标进行拍摄；所述边缘服务器与所述移动用户端和所述云服务器端连接，用于根据所述性能数据生成通信方案，并将所述通信方案发送至所述WebAR的所有用户；所述云服务器端与所述边缘服务器连接，用于针对所述WebAR在所述边缘服务器上进行资源分配。本专利技术实施例提供一种基于上述系统的协作式WebAR多人服务方法，包括：当所述移动用户端访问WebAR时，向所述WebAR中的其它用户发送连接请求，并获取所述移动用户端和所述边缘服务器端的性能数据，将所述性能数据上传到所述边缘服务器端，所述连接请求用于使所述移动用户端与其它用户对应的终端建立连接；所述边缘服务器端根据所述性能数据生成通信方案，并将所述通信方案发送至所述WebAR的所有用户；所述移动用户端接收到所述通信方案后，开启所述移动用户端的摄像模块，通过所述摄像模块对预设目标进行拍摄；所述移动用户端通过所述通信方案将拍摄数据发送至所述其它用户对应的用户终端。在其中一个实施例中，所述方法还包括：所述移动用户端将所述拍摄数据进行预处理，并将预处理后的拍摄数据上传到所述边缘服务器，供所述边缘服务器对所述拍摄数据进行检索。在其中一个实施例中，所述方法还包括：所述边缘服务器在对所述拍摄数据进行检索时，获取所述边缘服务器对应的边缘辅助设备，通过所述边缘辅助设备执行所述检索对应的特征提取算法。在其中一个实施例中，所述方法还包括：当所述边缘服务器检索到所述拍摄数据中存在跟踪目标时，将所述跟踪目标的图像特征点反馈至所述移动用户端，供所述移动用户端对所述跟踪目标进行跟踪。在其中一个实施例中，所述方法还包括：所述边缘服务器将所述拍摄数据上传至所述云服务器端。在其中一个实施例中，所述方法还包括：所述边缘服务器获取所述拍摄数据中的图像特征点，并根据所述图像特征点的变化趋势来判断移动用户的运动状态，进而调整所述拍摄数据的上传频率。在其中一个实施例中，所述方法还包括：所述云服务器端针对所述WebAR在所述边缘服务器上进行资源分配。本专利技术实施例提供的基于边缘辅助的协作式WebAR多人服务系统及方法，通过借助边缘服务器所天然具备的通信与计算优势，通过对AR用户间通信路径的选择与规划，从而准确高效的同步AR“世界”中所有用户的操作。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中基于边缘辅助的协作式WebAR多人服务系统的结构图；图2为本专利技术实施例中基于边缘辅助的协作式WebAR多人服务方法的流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的基于边缘辅助的协作式WebAR多人服务系统的结构示意图，如图1所示，本专利技术实施例提供了一种基于边缘辅助的协作式WebAR多人服务系统，包括：移动用户端101、边缘服务器端102、云服务器端103。其中，移动用户端101与边缘服务器102端连接，用于请求与WebAR中的其它用户建立连接，并获取移动用户端和边缘服务器端的性能数据上传至边缘服务器端，以及对预设目标进行拍摄。移动用户端可以是用户的手机、计算机，移动用户端在通信过程中，可以由其中的通信请求模块、移动用户端性能监测模块、交互信息收发模块实现上述功能，即在通信过程中，移动用户端通信请求模块，用于在新用户加入AR“世界”时请求与其他用户建立通信链接；移动用户端性能监测模块，移动用户端监测用户终端Web平台计算力，及其与边缘设备的网络性能(包括通信时延和网络带宽)；移动用户端交互信息收发模块，用户接受与发送用户对虚拟信息的交互信息。另外，在对AR视频通信的过程中，还可以通过移动用户端的其他模块实现其他功能，比如：计算请求模块，用于在移动用户端打开摄像头启动AR应用时，请求与边缘设备进行协作计算；视频帧预处理模块，用于将移动用户端摄像头捕获到的视屏帧进行预处理(如灰度化等)；计算卸载模块，用于将预处理过的视频帧传输到边缘设备进行后续的特征提取操作；目标跟踪模块，用于对AR中的目标物进行跟踪；模型渲染模块，用于在用户终端Web平台上对虚拟模型进行渲染与展示。边缘服务器102与移动用户端101和云服务器端连接103，用于根据性能数据生成通信方案，并将通信方案发送至所述WebAR的用户。其中，边缘服务器在通信过程中，可以由其中的上下文监测模块、多人通信方案生成模块、下发模块实现上述功能，即在通信过程中，边缘服务器端上下文监测模块，用于周期性的将移动用户端采集到的性能信息存储到边缘服务器的数据库中；边缘服务器端多人通信方案生成模块，用于依据边缘服务器采集到的上下文信息生成多用户通信路线/方案；边缘服务器端通信方案下发模块，用于将生成的多用户通信方案转发到所有的移动WebAR的用户。另外，在对AR视频通信的过程中，还可以通过边缘服务器的其他模块实现其他功能，比如：特征提取模块，用于对接收到的预处理过的视频帧进行特征提取；图像检索模块，用于依据特征提取模块提取到的图像特征本文档来自技高网...

【技术保护点】
1.一种基于边缘辅助的协作式Web AR多人服务系统，其特征在于，包括：移动用户端、边缘服务器端、云服务器端，其中，/n所述移动用户端与所述边缘服务器端连接，用于请求与Web AR中的其它用户建立连接，并获取所述移动用户端和所述边缘服务器端的性能数据上传至所述边缘服务器端，以及对预设目标进行拍摄；/n所述边缘服务器与所述移动用户端和所述云服务器端连接，用于根据所述性能数据生成通信方案，并将所述通信方案发送至所述Web AR的所有用户；/n所述云服务器端与所述边缘服务器连接，用于针对所述Web AR在所述边缘服务器上进行资源分配。/n

【技术特征摘要】
1.一种基于边缘辅助的协作式WebAR多人服务系统，其特征在于，包括：移动用户端、边缘服务器端、云服务器端，其中，
所述移动用户端与所述边缘服务器端连接，用于请求与WebAR中的其它用户建立连接，并获取所述移动用户端和所述边缘服务器端的性能数据上传至所述边缘服务器端，以及对预设目标进行拍摄；
所述边缘服务器与所述移动用户端和所述云服务器端连接，用于根据所述性能数据生成通信方案，并将所述通信方案发送至所述WebAR的所有用户；
所述云服务器端与所述边缘服务器连接，用于针对所述WebAR在所述边缘服务器上进行资源分配。


2.一种基于权利要求1所述系统的协作式WebAR多人服务方法，其特征在于，包括：
当所述移动用户端访问WebAR时，向所述WebAR中的其它用户发送连接请求，并获取所述移动用户端和所述边缘服务器端的性能数据，将所述性能数据上传到所述边缘服务器端，所述连接请求用于使所述移动用户端与其它用户对应的终端建立连接；
所述边缘服务器端根据所述性能数据生成通信方案，并将所述通信方案发送至所述WebAR的所有用户；
所述移动用户端接收到所述通信方案后，开启所述移动用户端的摄像模块，通过所述摄像模块对预设目标进行拍摄；
所述移动用户端通过所述通信方案将拍摄数据发送至所述其它用户对应的用户终端。


3.根据权利要求2所述的协作式WebAR多人服务方法，其特征在于，所述方法还包括：
所述移动用户...

【专利技术属性】
技术研发人员：乔秀全，任沛，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11