本发明专利技术公开了一种基于边缘辅助的多用户移动增强现实系统及方法，该系统基于放置者、服务器、和追随者所构成的网络环境而设计，包括设置于放置者端的放置者自适应卸载模块、设置于服务器端的边缘协同优化模块、以及设置于追随者端的追随者自适应卸载模块、AR动态更新模块和相对位姿估计模块；依序进行放置者自适应卸载处理、追随者自适应设卸载处理、服务器边缘协同优化处理和AR动态更新处理，持续优化追随者端的AR位姿，获得实时和准确的AR位姿动态更新结果输入追随者端的移动设备本发明专利技术通过边缘服务器协同优化来构建具有环境感知的多用户MAR系统，实现了多用户移动增强现实系统持续性、高准确性定位识别。高准确性定位识别。高准确性定位识别。
【技术实现步骤摘要】
一种基于边缘辅助的多用户移动增强现实系统及方法
[0001]本专利技术涉及增强现实
，特别是涉及一种多用户的移动增强现实系统。
技术介绍
[0002]增强现实(Augmented Reality，AR)作为通往元宇宙的桥梁，在国家、科技、社会发展等层面都有着重大意义。AR是一种将虚拟信息与现实世界融合的技术，用户可以将虚拟对象覆盖在相机视野上，以增强真实世界。随着移动终端的普及、硬件性能的提高以及通信网络技术的发展，基于移动终端的多用户AR研究也越来越受到关注。与单用户移动增强现实(Mobile Augmented Reality，MAR)相比，多用户MAR允许多个用户在MAR系统中交互、相互合作或相互对抗。多用户MAR交互有望在娱乐、教育和医疗保健领域提供沉浸式体验。
[0003]MAR现已有了一些研究。例如，在工业方面，谷歌公司推出了基于边缘云辅助的ARCore，而苹果公司推出了基于点对点的ARKit。在学术方面，则大致分为两类，一种是基于计算机视觉的MAR，另一种则是基于地理位置信息的MAR。近年来，随着人工智能的兴起，研究人员则致力于将人工智能算法集成在MAR系统中。
[0004]目前工业方面推出的多用户MAR系统更侧重于应用程序的开发，由于它们是封闭源代码的，导致对底层平台的通信知之甚少。而在学术方面，只基于目标检测手段实现多用户MAR会存在缺乏精确的定位功能，从而导致不准确或滞后的更新将打破MAR与现实世界的无缝集成，降低了用户的体验感。基于点对点架构的解决方案，由于在移动设备上进行联合运算，导致较长的坐标系对齐时间，使得整体端到端延迟更长。其次由于人工智能算法的高计算复杂性和高能耗阻碍了其在MAR系统中的应用。
技术实现思路
[0005]基于上述的现有技术，本专利技术提出了一种基于边缘辅助的多用户移动增强现实系统及方法，通过边缘服务器协同优化来构建具有环境感知的多用户MAR系统，允许多个用户在同一物理环境中实现准确且实时的交互。
[0006]本专利技术利用以下的技术方案实现：
[0007]一种基于边缘辅助的多用户移动增强现实系统，基于放置者、服务器和追随者构成的网络环境，该系统包括设置于放置者端的放置者自适应卸载模块、设置于服务器端的边缘协同优化模块、以及设置于追随者端的追随者自适应卸载模块、AR动态更新模块和相对位姿估计模块；其中：
[0008]所述放置者自适应卸载模块，选择放置者的关键帧、关联的点云和放置者此时的位姿AR位姿，卸载到服务器；以及，连接至所述相对位姿估计模块，通过相对位姿估计，求解一个粗略的AR位姿发送所述追随者；
[0009]所述边缘协同优化模块，通过严格松散匹配算法获得放置者和追随者中更鲁棒的特征匹配点对，从而得到两个移动端之间更准确的相对位置关系，由此来持续优化追随者端的AR位姿；
[0010]所述追随者自适应设卸载模块，选择追随者的关键帧、关联的点云和追随者此时的位姿，卸载到服务器；
[0011]所述AR动态更新模块，处理追随者端适应时间和空间的变化的AR位姿动态更新。
[0012]一种基于边缘辅助的多用户移动增强现实方法，该方法包括以下步骤；
[0013]步骤1、进行放置者自适应卸载处理，即一方面选择放置者的关键帧、关联的点云和放置者此时的位姿，形成放置者端的包文件，卸载到服务器；另一方面实现系统初始化，利用相对位姿估计求解一个粗略的AR位姿，直接发送追随者端的移动设备；
[0014]以及，进行追随者自适应设卸载处理，即选择当前追随者的关键帧、关联的点云和追随者此时的位姿，形成追随者端的包文件，卸载到服务器；
[0015]步骤2、进行边缘协同优化处理，通过严格松散匹配算法获得特征匹配点对，由特征匹配点对来计算放置者和追随者之间的相对位置关系R、t，其中R表示旋转矩阵、t表示平移向量，从而理解环境中的上下文信息，获得准确的场景识别结果；
[0016]步骤3、进行AR动态更新处理，即重用跟随者上载到服务器关键帧的位姿和当前的位姿，在追随者端对边缘协同优化结果进行适应时间和空间的变化将步骤1中的粗略的AR位姿动态更新，持续优化追随者端的AR位姿，获得实时和准确的AR位姿动态更新结果输入追随者端的移动设备。
[0017]相较于现有技术，本专利技术实现了多用户移动增强现实系统持续性、高准确性的高精度定位，能够达成了以下有益技术效果：
[0018]1)提出一种边缘协同优化策略，以持续优化多用户MAR位姿，确保其准确性；
[0019]2)提出一种AR动态更新策略，以同步定位与地图构建(Simultaneous Localization andMapping，SLAM)技术提供的高精定位为基础，确保随着时间和空间的变化，多用户MAR的有效性；
[0020]3)提出一种自适应卸载策略，以适应不同的网络条件，确保多用户MAR的实时性。
附图说明
[0021]图1为本专利技术的基于边缘辅助的多用户移动增强现实系统结构图；
[0022]图2为边缘协同优化模块流程图；
[0023]图3为严格松散匹配算法流程图；
[0024]图4为AR动态更新模块流程图；
[0025]图5为自适应卸载模块流程图。
具体实施方式
[0026]下面将结合附图和实施例对本专利技术进行详细说明，
[0027]如图1所示，为本专利技术的基于边缘辅助的多用户移动增强现实系统模块图。该系统基于放置者1、服务器2、和追随者3所构成的网络环境而设计，包括设置于放置者1端的放置者自适应卸载模块100、设置于服务器2端的边缘协同优化模块200、以及设置于追随者3端的追随者自适应卸载模块300、AR动态更新模块400和相对位姿估计模块500。其中具有放置AR的移动设备600为放置者1端，具有渲染恢复AR的移动设备700为追随者2端。
[0028]设置于放置者1端的放置者自适应卸载模块100，一方面通过放置AR的移动设备
600的输入来选择放置者的关键帧、关联的点云和放置者此时的位姿，形成包文件，卸载到服务器2；以及，另一方面实现系统初始化，直接发送到追随者端，其中通过相对位姿估计模块实现了追随者通过相对位姿估计，求解一个粗略的AR位姿。关键帧的两个选择原则：原则一、选择当移动端从边缘服务器接收到丢弃的消息时刻的帧作为关键帧；原则二、选择当当前帧与最近卸载的帧显著不同时的帧作为关键帧。原则一避免了上行链路上的网络拥塞。原则二节省了通信和计算成本。使得放置者和追随者都可以更好地适应不同的环境，从而使边缘服务器尽可能发挥最佳优化作用；
[0029]设置于服务器2端的边缘协同优化模块200，利用边缘协同感知持续优化追随者端的AR位姿，以及，通过严格松散匹配算法获得更鲁棒的特征匹配点对，由特征匹配点对来计算放置者和追随者之间更准确的相对位置关系R、t，其中R表示旋转矩阵、t表示平移向量；该模块通过目标检测等手段理解环境中的上下文信息，提高场景识别的准确性。...
【技术保护点】
【技术特征摘要】
1.一种基于边缘辅助的多用户移动增强现实系统，基于放置者、服务器和追随者构成的网络环境，其特征在于，该系统包括设置于放置者端的放置者自适应卸载模块、设置于服务器端的边缘协同优化模块、以及设置于追随者端的追随者自适应卸载模块、AR动态更新模块和相对位姿估计模块；其中：所述放置者自适应卸载模块，选择放置者的关键帧、关联的点云和放置者此时的位姿，卸载到服务器；以及，连接至所述相对位姿估计模块，通过相对位姿估计，求解一个粗略的AR位姿发送所述追随者；所述边缘协同优化模块，通过严格松散匹配算法获得放置者和追随者中更鲁棒的特征匹配点对，从而得到两个移动端之间更准确的相对位置关系，由此来持续优化追随者端的AR位姿；所述追随者自适应设卸载模块，选择追随者的关键帧、关联的点云和追随者此时的位姿，卸载到服务器；所述AR动态更新模块，处理追随者端适应时间和空间的变化的AR位姿动态更新。2.如权利要求1所述的一种基于边缘辅助的多用户移动增强现实系统，其特征在于，关键帧遵循两个选择原则：原则一、选择当移动端从边缘服务器接收到丢弃的消息时刻的帧作为关键帧；原则二、选择当当前帧与最近卸载的帧显著不同时的帧作为关键帧。3.如权利要求1所述的一种基于边缘辅助的多用户移动增强现实系统，其特征在于，所述边缘协同优化模块中包括关键帧预处理，输入放置着和追随者的关键帧，使用YOLOv5x目标检测算法分别在两个关键帧上执行目标检测，输出对象类型、检测置信度以及它们的二维边界框，即获得了关键帧中包含的环境信息；将跟随者的对象类型与放置者的对象类型进行比较；如果匹配率大于所建立的阈值T
match
，则表明两个卸载关键帧处于相同的环境中；如果没有，则直接丢弃这两个帧，将此信息反馈给移动端。4.如权利要求1所述的一种基于边缘辅助的多用户移动增强现实系统，其特征在于，所述边缘协同优化模块中包括特征点预处理，输入相关的点云信息以及放置者和追随者关键帧的位姿进行动态特征点剔除，输出过滤的相对静态特征点。5.如权利要求1所述的一种基于边缘辅助的多用户移动增强现实系统，其特征在于，所述严格松散匹配算法匹配算法具体流程如下：输入关键帧上的特征点；判断特征点是否为相对静态对象上的特征点，如是，进行松散匹配；如否，进行严格匹配；输出特征匹配点对。6.如权利要求1所述的一种基于边缘辅助的多用户移动增强现实系统，其特征在于，所述AR动态更新模块具体流程如下：输入AR位姿在放置者的世界坐标系下的坐标根据边缘协同优化模块求解得到的两个关键帧之间的相对位置关系用旋转矩阵R以及平...
【专利技术属性】
技术研发人员：张朝昆，吕澳佳，何深，杨秋敏，
申请(专利权)人：天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。