一种大场景元宇宙空间叠加方法和装置制造方法及图纸

本发明专利技术公开了一种大场景元宇宙空间叠加方法和装置。该方法包括实时获取当前大场景环境的视觉图像、IMU数据、地磁数据和终端设备的GPS数据；提取视觉特征；得到终端设备的位姿数据；基于GPS数据和地磁数据得到终端设备的地理位置平面坐标；基于视觉图像和终端设备的位姿数据构建三维AR数字空间；基于视觉特征、地理位置平面坐标和虚拟三维空间模型进行视觉定位以得到现实空间三维坐标；基于所述现实空间三维坐标和终端设备当前的位姿数据确定终端设备在元宇宙虚拟空间的虚拟空间位置；以及按照虚拟空间位置将元宇宙虚拟空间融合到AR数字空间中。利用本发明专利技术能够在视觉特征很少的大场景中快速而准确地叠加元宇宙空间，响应速度快、准确。准确。准确。

【技术实现步骤摘要】
一种大场景元宇宙空间叠加方法和装置


[0001]本专利技术涉及元宇宙
，还涉及空间定位
，具体涉及一种大场景元宇宙空间叠加方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]元宇宙是一种集合了信息技术、通信技术、AR、VR等虚拟技术的一种开放与共享的线上平台，是一个巨大的、正在发展的虚拟宇宙。虽然受限于现有技术的发展水平，目前的应用场景主要包括游戏、社交、广告营销与宣传和虚拟办公等等，但是随着时间的推移、技术的提高，应用场景将越来越多，也会有越来越多的人将进入元宇宙生活。其中，元宇宙空间是这个虚拟宇宙的基本载体，元宇宙空间的构建质量直接地影响着元宇宙中的各种场景及人们的体验。
[0003]根据元宇宙空间与现实世界的关联可以大致分为三种：一种是与现实世界完全脱离的数字世界，如一些游戏公司创建的一些在线游戏，人们进入游戏后，置身于另一个与现实完全不同的空间；另一种是虚拟空间和现实空间叠加整合后的融合空间，例如目前采用AR技术依据当前环境创建一个与现实完全重合的数字空间，通过在该空间内填加虚拟标识、三维模型从而达到增强现实的目的；第三种是1：1复原、模拟现实空间的虚拟空间，如虚拟办公场景中的虚拟空间等。当然，还有一些上述各种情况的交叉、融合，例如，将与现实空间1：1的虚拟空间叠加到现实空间内，与现实空间融合在一起。
[0004]为了将虚拟空间的数字内容与现实空间融合在一起，AR设备通常采用视觉识别、V
‑
SLAM等技术创建与现实叠加的数字空间，再将数字内容融合到数字空间。其中，在向数字空间叠加虚拟空间时，需要对现实空间场景进行识别，并对设备在现实空间的位置进行准确定位，从而确定在虚拟空间的位置。在通常的场景下，通过识别到的现实场景中的实体结构特征能够比较好地完成场景识别和定位，然而对于一些空间实体少的一些大场景，如空旷的海边、海面、沙漠、大广场等室外场景，由于空间实体的视觉特征过少，传统的视觉定位方法无法有效地识别现实场景，进而影响定位的准确性，从而使得虚拟空间与现实空间的叠加效果不好，最终影响到数字内容与现实空间的融合效果。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种大场景元宇宙空间叠加方法、装置、电子设备、计算机可读存储介质及计算机程序产品，用于解决在大场景中，由于无法有效识别当前场景而导致元宇宙空间叠加效果不好的技术问题。
[0006]根据本专利技术的一个方面，本专利技术提供了一种大场景元宇宙虚拟空间叠加方法，包括以下步骤：
[0007]实时获取当前大场景环境的视觉图像、终端设备传感数据和终端设备的GPS数据，其中，所述终端设备传感数据至少包括IMU数据和地磁数据；
[0008]基于当前大场景环境的视觉图像进行视觉特征提取；对所述IMU数据进行处理得
到终端设备的位姿数据；基于GPS数据和地磁数据得到终端设备的地理位置平面坐标；
[0009]基于当前环境的视觉图像和终端设备的位姿数据构建与当前环境重合的三维AR数字空间；
[0010]基于终端设备的GPS数据或地理位置平面坐标从元宇宙系统获取用于叠加的1：1的元宇宙虚拟空间及当前大场景的虚拟三维空间模型；
[0011]基于提取到的视觉特征、地理位置平面坐标和当前大场景的虚拟三维空间模型进行视觉定位以得到现实空间三维坐标；
[0012]基于所述现实空间三维坐标和终端设备当前的位姿数据确定终端设备在元宇宙虚拟空间的虚拟空间位置；以及
[0013]按照虚拟空间位置将元宇宙虚拟空间融合到AR数字空间中。
[0014]根据本专利技术的另一个方面，本专利技术提供了一种大场景元宇宙虚拟空间叠加方法，所述方法应用于终端设备，包括以下步骤：
[0015]实时获取当前大场景环境的视觉图像、终端设备传感数据和终端设备的GPS数据，其中，所述终端设备传感数据至少包括IMU数据和地磁数据；
[0016]基于当前大场景环境的视觉图像进行视觉特征提取；对所述IMU数据进行处理得到终端设备的位姿数据；基于GPS数据和地磁数据得到终端设备的地理位置平面坐标；
[0017]基于当前环境的视觉图像和终端设备的位姿数据构建与当前环境重合的三维AR数字空间；
[0018]向服务器发送终端设备的GPS数据或地理位置平面坐标及请求，获取用于叠加的1：1的元宇宙虚拟空间；
[0019]向服务器发送当前大场景环境的视觉图像或基于当前大场景环境的视觉图像提取的视觉特征信息，以及终端设备的地理位置平面坐标，并从服务器接收一个或多个第一预估三维坐标；
[0020]在得到多个第一预估三维坐标时，从所述传感数据中获取气压数据，基于所述气压数据计算终端设备的海拔高度；
[0021]计算所述海拔高度与每个第一预估三维坐标中的高度坐标的差值，将差值最小的第一预估三维坐标作为现实空间三维坐标；
[0022]基于所述现实空间三维坐标和终端设备当前的位姿数据确定终端设备在元宇宙虚拟空间的虚拟空间位置；以及
[0023]按照虚拟空间位置将元宇宙虚拟空间融合到AR数字空间中。
[0024]根据本专利技术的另一个方面，本专利技术提供了一种大场景元宇宙虚拟空间叠加方法，所述方法应用于终端设备，包括以下步骤：
[0025]实时获取当前大场景环境的视觉图像、终端设备传感数据和终端设备的GPS数据，其中，所述终端设备传感数据包括IMU数据、地磁数据和气压数据；
[0026]对所述IMU数据进行处理得到终端设备的位姿数据；基于GPS数据和地磁数据得到终端设备的地理位置平面坐标；基于所述气压数据计算终端设备的海拔高度；
[0027]基于当前环境的视觉图像和终端设备的位姿数据构建与当前环境重合的三维AR数字空间；
[0028]向服务器发送终端设备的GPS数据或地理位置平面坐标及请求，获取用于叠加的
1：1的元宇宙虚拟空间；
[0029]向服务器发送当前大场景环境的视觉图像、终端设备的地理位置平面坐标和终端设备的海拔高度，并从服务器接收终端设备在当前大场景的现实空间三维坐标；
[0030]基于所述现实空间三维坐标和终端设备当前的位姿数据确定终端设备在元宇宙虚拟空间的虚拟空间位置；以及
[0031]按照虚拟空间位置将元宇宙虚拟空间融合到AR数字空间中
[0032]根据本专利技术的另一个方面，本专利技术提供了一种大场景元宇宙虚拟空间叠加方法，所述方法应用于服务器，包括以下步骤：
[0033]响应于终端设备发送的定位请求时，从定位请求中获取终端设备的地理位置平面坐标和当前大场景环境的视觉特征信息；
[0034]基于当前大场景的虚拟三维空间模型对提取到的视觉特征进行场景匹配以得到预估位置数组，所述预估位置数组包括多个分别对应一个与视觉特征匹配的预估场景的预估三维坐标；
[0035]基于地理位置平面坐标从所述预估位置数组中筛选出一个或多个第一预估三维坐标，并发送给所述终端设备；以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大场景元宇宙虚拟空间叠加方法，其特征在于，包括：实时获取当前大场景环境的视觉图像、终端设备传感数据和终端设备的GPS数据，其中，所述终端设备传感数据至少包括IMU数据和地磁数据；基于当前大场景环境的视觉图像进行视觉特征提取；对所述IMU数据进行处理得到终端设备的位姿数据；基于GPS数据和地磁数据得到终端设备的地理位置平面坐标；基于当前环境的视觉图像和终端设备的位姿数据构建与当前环境重合的三维AR数字空间；基于终端设备的GPS数据或地理位置平面坐标从元宇宙系统获取用于叠加的1：1的元宇宙虚拟空间及当前大场景的虚拟三维空间模型；基于提取到的视觉特征、地理位置平面坐标和当前大场景的虚拟三维空间模型进行视觉定位以得到现实空间三维坐标；基于所述现实空间三维坐标和终端设备当前的位姿数据确定终端设备在元宇宙虚拟空间的虚拟空间位置；以及按照虚拟空间位置将元宇宙虚拟空间融合到AR数字空间中。2.根据权利要求1所述的方法，其特征在于，基于GPS数据和地磁数据得到终端设备的地理位置平面坐标的步骤包括：基于IMU数据判断终端设备的运动状态；响应于终端设备处于静止状态，基于地磁数据确定终端设备的地理位置平面坐标；响应于终端设备处于运动状态，基于GPS数据确定终端设备的地理位置平面坐标；以及在终端设备处于运动状态时基于GPS数据校准地磁数据。3.根据权利要求1所述的方法，其特征在于，基于提取到的视觉特征、地理位置平面坐标和当前大场景的虚拟三维空间模型进行视觉定位的步骤包括：基于当前大场景的虚拟三维空间模型对提取到的视觉特征进行场景匹配以得到预估位置数组，所述预估位置数组包括多个分别与视觉特征匹配的预估场景的预估三维坐标；基于地理位置平面坐标从所述预估位置数组中筛选出一个或多个第一预估三维坐标；在得到多个第一预估三维坐标时，从所述传感数据中获取气压数据，基于所述气压数据计算终端设备的海拔高度；以及计算所述海拔高度与每个第一预估三维坐标中的高度坐标的差值，将差值最小的第一预估三维坐标作为现实空间三维坐标。4.根据权利要求3所述的方法，其特征在于，从所述预估位置数组中筛选第一预估三维坐标的步骤包括：分别计算地理位置平面坐标与预估位置数组中每一个预估三维坐标中平面坐标的差异；以及将差异最小的一个或多个预估三维坐标作为筛选出的第一预估三维坐标。5.根据权利要求3所述的方法，其特征在于，在计算所述海拔高度与每个第一预估三维坐标中的高度坐标的差值后，进一步包括：将所述差值与阈值进行对比；响应于所述差值大于或等于阈值，获取当前的多幅视觉图像；基于所述多幅视觉图像进行地面平面识别，并获得视觉深度图；基于视觉深度图计算得到终端设备到相对地面的高度；以及
采用所述高度替换第一预估三维坐标中的高度坐标，将所述替换了高度坐标的第一预估三维坐标作为现实空间三维坐标。6.根据权利要求1所述的方法，其特征在于，基于提取到的视觉特征、地理位置平面坐标和当前大场景的虚拟三维空间模型进行视觉定位的步骤包括：从所述传感数据中获取气压数据，基于所述气压数据计算设备的海拔高度；基于海拔高度确定当前大场景虚拟三维空间模型中的匹配范围；在所述匹配范围对提取到的视觉特征进行场景匹配以得到预估位置数组，所述预估位置数组包括多个分别对应一个与视觉特征匹配的预估场景的预估三维坐标；以及基于地理位置平面坐标从所述预估位置数组中筛选出一个预估三维坐标作为现实空间三维坐标。7.根据权利要求1所述的方法，其特征在于，基于提取到的视觉特征、地理位置平面坐标和当前大场景虚拟三维空间模型进行视觉定位的步骤包括：基于当前的多幅视觉图像进行地面平面识别，并获得视觉深度图；基于视觉深度图计算得到终端设备到相对地面的高度；基于所述终端设备到相对地面的高度确定当前大场景虚拟三维空间模型中的匹配范围；在所述匹配范围对提取到的视觉特征进行场景匹配以得到预估位置数组，所述预估位置数组包括多个分别与视觉特征匹配的预估场景的预估三维坐标；以及基于地理位置平面坐标从所述预估位置数组中筛选出一个预估三维坐标作为现实空间三维坐标。8.根据权利要求1所述的方法，其特征在于，进一步包括：基于现实空间三维坐标、GPS数据和地磁数据中的一者或多者矫正位姿数据中的位置和角度的累积误差。9.一种大场景元宇宙虚拟空间叠加方法，其特征在于，所述方法应用于终端设备，包括：实时获取当前大场景环境的视觉图像、终端设备传感数据和终端设备的GPS数据，其中，所述终端设备传感数据至少包括IMU数据和地磁数据；基于当前大场景环境的视觉图像进行视觉特征提取；对所述IMU数据进行处理得到终端设备的位姿数据；基于GPS数据和地磁数据得到终端设备的地理位置平面坐标；基于当前环境的视觉图像和终端设备的位姿数据构建与当前环境重合的三维AR数字空间；向服务器发送终端设备的GPS数据或地理位置平面坐标及请求，获取用于叠加的1：1的元宇宙虚拟空间；向服务器发送当前大场景环境的视觉图像或基于当前大场景环境的视觉图像提取的视觉特征信息，以及终端设备的地理位置平面坐标，并从服务器接收一个或多个第一预估三维坐标；在得到多个第一预估三维坐标时，从所述传感数据中获取气压数据，基于所述气压数据计算终端设备的海拔高度；计算所述海拔高度与每个第一预估三维坐标中的高度坐标的差值，将差值最小的第一预估三维坐标作为现实空间三维坐标；
基于所述现实空间三维坐标和终端设备当前的位姿数据确定终端设备在元宇宙虚拟空间的虚拟空间位置；以及按照虚拟空间位置将元宇宙虚拟空间融合到AR数字空间中。10.根据权利要求9所述的方法，其特征在于，在计算所述海拔高度与每个第一预估三维坐标中的高度坐标的差值后，进一步包括：将所述差值与阈值进行对比；响应于所述差值大于或等于阈值，获取当前的多幅视觉图像；基于所述多幅视觉图像进行地面平面识别，并获得视觉深度图；基于视觉深度图计算得到终端设备到相对地面的高度；以及采用所述高度替换第一预估三维坐标中的高度坐标，将所述替换了高度坐标的第一预估三维坐标作为现实空间三维坐标。11.根据权利要求9所述的方法，其特征在于，进一步包括：基于现实空间三维坐标、GPS数据和地磁数据中的一者或多者矫正位姿数据中的位置和角度的累积误差。12.一种大场景元宇宙虚拟空间叠加方法，其特征在于，所述方法应用于终端设备，包括：实时获取当前大场景环境的视觉图像、终端设备传感数据和终端设备的GPS数据，其中，所述终端设备传感数据包括IMU数据、地磁数据和气压数据；对所述IMU数据进行处理得到终端设备的位姿数据；基于GPS数据和地磁数据得到终端设备的地理位置平面坐标；基于所述气压数据计算终端设备的海拔高度；基于当前环境的视觉图像和终端设备的位姿数据构建与当前环境重合的三维AR数字空间；向服务器发送终端设备的GPS数据或地理位置平面坐标及请求，获取用于...

【专利技术属性】
技术研发人员：吴晓辰，
申请(专利权)人：北京河图联合创新科技有限公司，
类型：发明
国别省市：