本发明专利技术属于AR/VR眼镜的SLAM(即时定位与构建地图)应用领域，具体涉及一种基于AR眼镜的多人实时交互方法、装置及存储介质，将地图融合和地图优化部署在服务器端，实时接受各个设备端上传的局部地图和关键帧，通过解析关键帧完成局部地图融合和回环检测，并完成场景地图后端优化，定时将更新的场景地图分发到设备端，以提高设备端的SLAM跟踪精度，将设备端局部地图做融合拼接，生成更加详细完整的场景地图，短时间内完成整个场景的建图工作。短时间内完成整个场景的建图工作。短时间内完成整个场景的建图工作。
【技术实现步骤摘要】
一种基于AR眼镜的多人实时交互方法、装置及存储介质
[0001]本专利技术涉及AR/VR眼镜的SLAM(即时定位与构建地图)应用领域，通过共享SLAM地图和定位数据的方式实现多用户实时交互功能，具体涉及一种基于AR眼镜的多人实时交互方法、装置及存储介质。
技术介绍
[0002]目前主流的AR/VR多用户实时交互应用实现，主要采用以下方式：各自设备根据一致的算法合并来自对方的物理环境映射，从而提供一致的映射结果。如用户#A手持的设备#400A可以根据由第一图像传感器捕获的物理环境图像来获得第一组关键帧，并执行SLAM以生成定义第一组关键帧的关键帧相对位置的映射；用户#B手持的设备#400B可以根据由第二图像传感器捕获的物理环境图像来获得第二组关键帧，并生成定义第二组关键帧的关键帧相对位置的映射。设备#400A接收第二组关键帧，并将接收到的关键帧定位到映射。设备#400B接收第一组关键帧，并将接收到的关键帧定位到映射。
[0003]现有技术存在以下问题：
[0004]当前主流的解决方案，存在交互精度问题，不同用户看到的虚拟物体在真实空间中的位置，会存在偏差，主要原因是每个子设备都存在定位累计误差，另外对于超过2个用户的场景，计算负载(计算对方设备的物理环境映射)和共享数据(关键帧)会随着用户数量增加而提升，不太适用于多用户交互场景。
技术实现思路
[0005](一)专利技术目的
[0006]为解决
技术介绍
中存在的技术问题，本专利技术提出一种基于AR眼镜的多人实时交互方法，本专利技术首先通过共享地图的方式，统一了场景中所有设备的跟踪坐标系，避免随着用户的增加而引起计算负载变大(计算对方设备的物理环境映射)；另外通过分布式建图(多个子设备同时在线建图)，并将各自局部地图实时上传到服务器，服务器将局部地图拼接融合以及闭环优化，形成大场景地图，并将优化后的地图实时分发到设备端，以提高设备端的定位精度，从而达到精确的实时交互。
[0007](二)技术方案
[0008]为解决上述技术问题，本专利技术提供了一种基于AR眼镜的多人实时交互方法，所述方法包括：
[0009]获取设备的跟踪定位信息，并构建局部地图；
[0010]设备与服务器建立通讯，向服务器上传设备局部地图，关键帧以及位姿信息，同时接受服务器端优化后的场景地图以及其他设备的位姿信息；
[0011]检测上传的设备局部地图场景在服务器场景地图数据库中是否存在，检测存在从服务器加载地图，检测不存在，服务器指定其中一个设备对现实环境扫描，建立初始地图，并上传到服务器，由服务器完成初始地图的分发；
[0012]其他设备使用同一加载地图或建立分发的初始地图，以达到统一坐标系基本需求，各个设备在使用过程中，实时建图，并将各自局部地图和关键帧定时上传到服务器端；
[0013]融合设备的局部地图，优化生成大场景地图，服务器接收到各个子设备上传的局部地图和关键帧信息，完成地图融合和闭环优化，再定时将地图分享给子设备；
[0014]子设备在收到服务器优化后的地图后，替换当前在使用的局部地图，快速实现重定位，输出高精度的位置信息；
[0015]向设备端反馈共享优化融合后的场景地图，以及其他设备的位置信息，子设备在使用过程中，实时通过服务器共享位姿信息(设备以及渲染虚拟物体位姿信息)，
[0016]根据定位信息渲染虚拟物体，子设备在接受到其他子设备以及虚拟物体的位姿信息后，通过渲染引擎完成实时虚拟物体渲染；
[0017]在设备端对渲染的虚拟物体进行显示，以实现多人协同和交互功能。
[0018]进一步的，各设备端共享地图，统一场景中所有设备的跟踪坐标系。
[0019]进一步的，检测上传的设备局部地图场景在服务器场景地图数据库中存在，服务器场景地图数据库中加载的地图用做统一的共享地图。
[0020]进一步的，检测上传的设备局部地图场景在服务器场景地图数据库中不存在，服务器指定其中一个设备对现实环境扫描建立的初始地图用做统一的共享地图。
[0021]进一步的，多个子设备同时在线建图实现分布式建图，各建图汇总至服务器场景地图数据库。
[0022]进一步的，在同一初始地图的跟踪坐标系下，各设备都基于同一跟踪坐标系定时更新各自位置信息。
[0023]进一步的，回环检测负责把“相机回到原始位置”的事情检测出来，而后端优化则根据该信息，校正整个轨迹的形状。
[0024]本申请还提供一种基于AR眼镜的多人实时交互装置，所述装置包括N个设备端(至少为两个的设备端)和一个服务器；
[0025]slam定位模块获取设备的跟踪定位信息，并构建局部地图；
[0026]设备通信模块和服务器通信模块用于设备与服务器建立通讯，向服务器上传设备局部地图，关键帧以及位姿信息，同时接受服务器端优化后的场景地图以及其他设备的位姿信息；
[0027]场景地图调用分发模块用于检测上传的设备局部地图场景在服务器场景地图数据库中是否存在，检测存在从服务器加载地图，检测不存在，服务器指定其中一个设备对现实环境扫描，建立初始地图，并上传到服务器，由服务器完成初始地图的分发；
[0028]建图模块用于其他设备使用同一加载地图或建立分发的初始地图，以达到统一坐标系基本需求，各个设备在使用过程中，实时建图，并将各自局部地图和关键帧定时上传到服务器端；
[0029]融合设备的局部地图，优化生成大场景地图，服务器接收到各个子设备上传的局部地图和关键帧信息，完成地图融合和闭环优化，再定时将地图分享给子设备；
[0030]子设备在收到服务器优化后的地图后，替换当前在使用的局部地图，快速实现重定位，输出高精度的位置信息；
[0031]向设备端反馈共享优化融合后的场景地图，以及其他设备的位置信息，子设备在
使用过程中，实时通过服务器共享位姿信息(设备以及渲染虚拟物体位姿信息)，
[0032]渲染模块用于根据定位信息渲染虚拟物体，子设备在接受到其他子设备以及虚拟物体的位姿信息后，通过渲染引擎完成实时虚拟物体渲染；
[0033]显示模块用于在设备端对渲染的虚拟物体进行显示，以实现多人协同和交互功能。
[0034]一种基于AR眼镜的多人实时交互装置，还包括多个设备端和服务器，设备端包括slam定位模块，设备通信模块，渲染模块和显示模块；
[0035]服务器包括场景地图调用分发模块、服务器通信模块和建图模块。
[0036]本申请还提供一种计算机可读存储介质，用于存储计算机程序，所述计算机程序用于执行所述基于AR眼镜的多人实时交互方法。
[0037]本专利技术的上述技术方案具有如下有益的技术效果：
[0038]1、将地图融合和地图优化部署在服务器端，实时接受各个设备端上传的局部地图和关键帧，通过解析关键帧完成局部地图融合和回环检测，并完成场景地图后端优化，定时将更新的场景地图分发到设备端，以提高设备端的SLAM跟踪精度。
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于AR眼镜的多人实时交互方法，其特征在于，所述方法包括：获取设备的跟踪定位信息，并构建局部地图；设备与服务器建立通讯，向服务器上传设备局部地图，关键帧以及位姿信息，同时接受服务器端优化后的场景地图以及其他设备的位姿信息；检测上传的设备局部地图场景在服务器场景地图数据库中是否存在，检测存在从服务器加载地图，检测不存在，服务器指定其中一个设备对现实环境扫描，建立初始地图，并上传到服务器，由服务器完成初始地图的分发；其他设备使用同一加载地图或建立分发的初始地图，以达到统一坐标系基本需求，各个设备在使用过程中，实时建图，并将各自局部地图和关键帧定时上传到服务器端；融合设备的局部地图，优化生成大场景地图，服务器接收到各个子设备上传的局部地图和关键帧信息，完成地图融合和闭环优化，再定时将地图分享给子设备；子设备在收到服务器优化后的地图后，替换当前在使用的局部地图，快速实现重定位，输出高精度的位置信息；向设备端反馈共享优化融合后的场景地图，以及其他设备的位置信息，子设备在使用过程中，实时通过服务器共享位姿信息(设备以及渲染虚拟物体位姿信息)，根据定位信息渲染虚拟物体，子设备在接受到其他子设备以及虚拟物体的位姿信息后，通过渲染引擎完成实时虚拟物体渲染；在设备端对渲染的虚拟物体进行显示，以实现多人协同和交互功能。2.根据权利要求1所述的一种基于AR眼镜的多人实时交互方法，其特征在于，各设备端共享地图，统一场景中所有设备的跟踪坐标系。3.根据权利要求2所述的一种基于AR眼镜的多人实时交互方法，其特征在于，检测上传的设备局部地图场景在服务器场景地图数据库中存在，服务器场景地图数据库中加载的地图用做统一的共享地图。4.根据权利要求2所述的一种基于AR眼镜的多人实时交互方法，检测上传的设备局部地图场景在服务器场景地图数据库中不存在，服务器指定其中一个设备对现实环境扫描建立的初始地图用做统一的共享地图。5.根据权利要求1所述的一种基于AR眼镜的多人实时交互方法，其特征在于，多个子设备同时在线建图实现分布式建图，各建图汇总至服务器场景地图数据库。6.根据权利要求1所述的一种基于AR眼镜的多人实时交互方法，其特征在于，在同一初始地图的跟踪坐标系下，各设备都基于同一跟...
【专利技术属性】
技术研发人员：林琼，叶浩，田苏苏，徐飞，
申请(专利权)人：上海诠视传感技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。