一种跨系统协同的多人AR通用方法和系统技术方案

本申请涉及一种跨系统协同的多人AR通用方法和系统，其中，该方法包括：通过设备端获取第一图像帧和第一6DoF位姿；云端配置房间号和地图号，根据第一图像帧和第一6DoF位姿构建特征向量，根据特征向量对第一6DoF位姿进行优化，完成AR建图并存储；设备端或云端根据房间号和地图号初始化加载AR地图；根据第二图像帧和第二6DoF位姿完成AR定位匹配后，得到系统坐标系和地图坐标系之间的转换矩阵，在AR地图中实现多人AR互动，通过本申请，解决了多人AR方案中缺乏可移植性和设备端计算资源不足的问题，适应绝大多数不同框架系统下的6DoF跟踪模块，实现客户端云端协同工作，减少AR建图定位给客户端造成的计算压力。给客户端造成的计算压力。给客户端造成的计算压力。

【技术实现步骤摘要】
一种跨系统协同的多人AR通用方法和系统


[0001]本申请涉及增强现实
，特别是涉及一种跨系统协同的多人AR通用方法和系统。

技术介绍

[0002]多人AR(Augment Reality，增强现实)方案是当前AR产业一个重要的发展方向，广泛应用于游戏、军事和工业等场景。多人AR，顾名思义是多个人共同进行的AR活动，即在一个AR场景中，多个AR设备都能通过多人AR系统知道自己的位置和朝向。相比于单人AR，多人AR能够使多个不同的人在同一AR系统中产生交互，或相互协同合作，或相互对战。这极大地拔高了AR方案的能力上限，丰富了AR方案的应用场景，对AR的发展和应用都具有非同一般的意义。
[0003]传统的多人AR方案，大多集成在某个既定的AR系统中，例如苹果的ARKit、谷歌的ARCore、华为的AREngine等，它们都有自己设计的一套固定的接口和应用模式，多人AR方案只能按照它们的接口和模式进行设计，并且只能在他们支持的自家系统和设备中运行，不同的多人AR方案之间无法相互通信，严重缺乏了可移植性和适应性。并且，这些AR系统中的多人AR方案将所有算力都安排在手机、平板和VR/AR眼镜等设备端上，使得设备端上计算压力巨大，容易造成设备发烫、降频等问题。
[0004]目前针对相关技术中多人AR方案缺乏可移植性和设备端计算资源不足的问题，尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种跨系统协同的多人AR通用方法和系统，以至少解决相关技术中多人AR方案缺乏可移植性和设备端计算资源不足的问题。
[0006]第一方面，本申请实施例提供了一种跨系统协同的多人AR通用方法，所述方法包括：
[0007]通过设备端获取连续时序上的第一图像帧和系统坐标系下对应的第一6DoF位姿；
[0008]通过云端配置房间号和地图号，根据所述第一图像帧和所述第一6DoF位姿，通过ORB算法提取所述第一图像帧的ORB特征点；
[0009]通过云端根据所述ORB特征点采用预设词袋模型库构建特征向量；
[0010]通过云端根据所述特征向量对所述第一6DoF位姿进行优化，完成AR建图并存储；
[0011]根据所述房间号和所述地图号初始化加载AR地图；
[0012]根据第二图像帧和第二6DoF位姿完成AR定位匹配后，得到所述系统坐标系和地图坐标系之间的转换矩阵，在所述AR地图中实现多人AR互动。
[0013]在其中一些实施例中，根据第二图像帧和第二6DoF位姿完成AR定位匹配后，得到所述系统坐标系和地图坐标系之间的转换矩阵包括：
[0014]根据第二图像帧和第二6DoF位姿，通过ORB算法提取所述第二图像帧的ORB特征
点；
[0015]根据所述ORB特征点通过所述预设词袋模型库构建词袋向量和特征向量；
[0016]根据所述词袋向量和所述特征向量，在所述AR地图中进行定位匹配，若所述定位匹配成功，则通过高效透视n点图像位姿估计法计算得到地图坐标系下的相机位姿；
[0017]根据所述第二6DoF位姿和所述相机位姿，计算得到所述系统坐标系和所述地图坐标系之间的转换矩阵。
[0018]在其中一些实施例中，通过云端根据所述特征向量对所述第一6DoF位姿进行优化，完成AR建图并存储包括：
[0019]通过云端使用所述特征向量对第一图像帧进行二维
‑
二维特征匹配，再对所述第一图像帧和地图点进行二维
‑
三维特征匹配；
[0020]在所述二维
‑
二维特征匹配和所述二维
‑
三维特征匹配完成后，通过云端使用g2o库对所述第一6DoF位姿进行优化；
[0021]通过云端完成AR建图，并序列化得到的AR地图为二进制地图文件进行存储。
[0022]在其中一些实施例中，根据所述词袋向量和所述特征向量，在所述AR地图中进行定位匹配包括：
[0023]根据所述第二图像帧的所述词袋向量，在所述AR地图中进行图像检索，
[0024]若没有检索到对应的地图图像，则定位失败，若检索到对应的地图图像，则定位成功；
[0025]定位成功后，根据所述特征向量加速所述第二图像帧与所述地图图像间的特征匹配，若匹配数量达到预设阈值，则匹配成功。
[0026]在其中一些实施例中，根据所述6DoF位姿和所述相机位姿，计算得到所述系统坐标系和所述地图坐标系之间的转换矩阵包括：
[0027]根据所述第二6DoF位姿和所述相机位姿通过公式计算得到所述系统坐标系和所述地图坐标系之间的转换矩阵其中，inverse()函数表示矩阵取逆。
[0028]在其中一些实施例中，在完成AR建图并存储之后，所述方法还包括：
[0029]检测同一房间号下不同地图号对应的AR地图，若所述AR地图之间的重叠观测部分大于预设数量，则将所述AR地图进行融合，得到融合后的新AR地图，其中，所述新AR地图的地图号为所述AR地图中最小的地图号。
[0030]在其中一些实施例中，根据所述房间号和所述地图号初始化加载AR地图包括：
[0031]根据房间号和地图号加载地图二进制文件；
[0032]对所述地图二进制文件进行反序列化，得到AR地图包含的数据结构。
[0033]在其中一些实施例中，在根据所述房间号和所述地图号初始化加载AR地图之前，所述方法还包括：
[0034]通过设备端获取连续时序上的第二图像帧，根据所述第二图像帧通过预设6DoF跟踪模块得到系统坐标下的第二6DoF位姿。
[0035]在其中一些实施例中，通过设备端获取连续时序上的第一图像帧和系统坐标系下
对应的第一6DoF位姿包括：
[0036]通过设备端获取连续时序上的第一图像帧，根据所述第一图像帧通过预设6DoF跟踪模块得到系统坐标下的第一6DoF位姿，其中，所述预设6DoF跟踪模块包括ARKit系统、ARCore系统和AREngine系统。
[0037]第二方面，本申请实施例提供了一种跨系统协同的多人AR通用系统，所述系统包括设备端和云端；
[0038]所述设备端获取连续时序上的第一图像帧和系统坐标系下对应的第一6DoF位姿；
[0039]所述云端配置房间号和地图号，根据所述第一图像帧和所述第一6DoF位姿，通过ORB算法提取所述第一图像帧的ORB特征点；
[0040]所述云端根据所述ORB特征点采用预设词袋模型库构建特征向量；
[0041]所述云端根据所述特征向量对所述第一6DoF位姿进行优化，完成AR建图并存储；
[0042]所述设备端或所述云端根据所述房间号和所述地图号初始化加载AR地图；
[0043]所述设备端或所述云端根据第二图像帧和第二6DoF位姿完成AR定位匹配后，得到所述系统坐标系和地图坐标系之间的转换矩阵，在所述AR地图中实现多人AR互动。
[0044本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨系统协同的多人AR通用方法，其特征在于，所述方法包括：通过设备端获取连续时序上的第一图像帧和系统坐标系下对应的第一6DoF位姿；通过云端配置房间号和地图号，根据所述第一图像帧和所述第一6DoF位姿，通过ORB算法提取所述第一图像帧的ORB特征点；通过云端根据所述ORB特征点采用预设词袋模型库构建特征向量；通过云端根据所述特征向量对所述第一6DoF位姿进行优化，完成AR建图并存储；根据所述房间号和所述地图号初始化加载AR地图；根据第二图像帧和第二6DoF位姿完成AR定位匹配后，得到所述系统坐标系和地图坐标系之间的转换矩阵，在所述AR地图中实现多人AR互动。2.根据权利要求1所述的方法，其特征在于，根据第二图像帧和第二6DoF位姿完成AR定位匹配后，得到所述系统坐标系和地图坐标系之间的转换矩阵包括：根据第二图像帧和第二6DoF位姿，通过ORB算法提取所述第二图像帧的ORB特征点；根据所述ORB特征点通过所述预设词袋模型库构建词袋向量和特征向量；根据所述词袋向量和所述特征向量，在所述AR地图中进行定位匹配，若所述定位匹配成功，则通过高效透视n点图像位姿估计法计算得到地图坐标系下的相机位姿；根据所述第二6DoF位姿和所述相机位姿，计算得到所述系统坐标系和所述地图坐标系之间的转换矩阵。3.根据权利要求1所述的方法，其特征在于，通过云端根据所述特征向量对所述第一6DoF位姿进行优化，完成AR建图并存储包括：通过云端使用所述特征向量对第一图像帧进行二维
‑
二维特征匹配，再对所述第一图像帧和地图点进行二维
‑
三维特征匹配；在所述二维
‑
二维特征匹配和所述二维
‑
三维特征匹配完成后，通过云端使用g2o库对所述第一6DoF位姿进行优化；通过云端完成AR建图，并序列化得到的AR地图为二进制地图文件进行存储。4.根据权利要求2所述的方法，其特征在于，根据所述词袋向量和所述特征向量，在所述AR地图中进行定位匹配包括：根据所述第二图像帧的所述词袋向量，在所述AR地图中进行图像检索，若没有检索到对应的地图图像，则定位失败，若检索到对应的地图图像，则定位成功；定位成功后，根据所述特征向量加速所述第二图像帧与所述地图图像间的特征匹配，若匹配数量达到预设阈...

【专利技术属性】
技术研发人员：谷秀青，杨晨炜，苏鹏，
申请(专利权)人：杭州易现先进科技有限公司，
类型：发明
国别省市：