用于虚拟场景的数据处理方法以及设备技术

本申请提供了用于虚拟场景的数据处理方法以及设备，该方法包括：第一终端通过相机采集第一图像，第一图像包括物体的图像；根据第一图像，获得所述物体的第一点云数据；第一点云数据表示所述物体的表面点在第一终端的第一相机坐标系中的三维坐标值；根据第一图像，获得第一终端在第一相机坐标系中的位姿数据；根据位姿数据、第一点云数据和第一图像，获得二维特征图像；根据第一点云数据、位姿数据和二维特征图像生成地图数据；向第二终端或服务器发送所述地图数据。实施本申请能够实现相同款或不同款的终端在任意自然场景中跨平台实现虚拟场景的坐标系同步，兼容各种空间定位引擎，满足用户需求。

【技术实现步骤摘要】
用于虚拟场景的数据处理方法以及设备
本专利技术涉及虚拟场景
，尤其涉及用于虚拟场景的数据处理方法以及设备。
技术介绍
虚拟现实(VirtualReality，VR)、增强现实(AugmentedReality，AR)和混合现实(MixedReality，MR)技术是近年来新兴的多媒体虚拟场景技术。其中，VR技术是一种可以创建和体验虚拟世界的仿真技术，AR技术是一种可以将虚拟现实和真实世界叠加并进行互动的技术。MR技术是通过合并真实世界和虚拟世界而产生的新的可视化环境，并且在真实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路的综合技术。在上述虚拟场景技术中，通常采用同时定位与建图(SimultaneousLocalizationandMapping，SLAM)技术进行终端自身在环境中的定位。SLAM技术具体可实现终端(例如手机、VR眼镜等移动终端)在环境中从一个未知位置开始移动时,在移动过程中根据位置估计和地图进行自身定位,同时在自身定位的基础上建造增量式地图，以便于后续的定位，采用SLAM技术的系统或模块又可称为空间定位引擎。在多用户交互的虚拟场景中，不同移动终端的类型或型号可能不同(如手机与VR眼镜、或者苹果手机与华为手机)，它们具有的空间定位引擎算法也各有差异。不同移动终端之间的坐标系同步(内容同步)是核心技术，通过坐标系同步可实现多用户VR或AR或MR应用中的虚拟内容在同一个坐标系空间共享和交互。一种现有方案是基于规则几何形状平面(例如正方形桌面)实现坐标系同步。具体如下：移动终端利用计算当前所在位置水平桌面的中心点坐标，作为终端参考坐标系原点。然后利用桌面边缘信息计算参考坐标系的坐标轴。进而，建立终端参考坐标系。不同用户的移动终端计算过程皆如此，从而建立相同的参考坐标系，利用移动终端空间定位引擎输出的位姿，即可计算终端相对参考坐标系的位姿，进而计算出终端之间的相对位姿，从而实现坐标系同步。该方案可以实现不同款的移动终端在同一桌面上实现多用户VR或AR或MR应用交互。由于这种方案依赖于规则几何形状平面，应用场景受到局限，在任意平面或非平面场景，此方案将无法实现坐标系同步。
技术实现思路
本专利技术实施例提供了用于虚拟场景的数据处理方法以及设备，能够实现不同款的终端在任意自然场景中跨平台实现虚拟场景的坐标系同步(内容同步)，兼容各种空间定位引擎，满足用户需求。第一方面，本专利技术实施例提供了一种用于虚拟场景的数据处理方法，所述虚拟场景为虚拟现实VR场景、增强现实AR场景、混合现实MR场景中的一种。所述方法包括：第一终端通过相机采集第一图像，所述第一图像包括任意自然环境(真实世界)中的任意物体的图像；所述第一终端根据所述第一图像，获得所述物体的第一点云数据；所述第一点云数据表示所述物体的表面点在所述第一终端的第一相机坐标系中的三维坐标值；所述第一终端根据所述第一图像，获得所述第一终端在所述第一相机坐标系中的位姿数据；所述第一终端根据所述位姿数据、所述第一点云数据和所述第一图像，获得二维特征图像；所述第一终端根据所述第一点云数据、所述位姿数据和所述二维特征图像生成地图数据；所述第一终端向第二终端或服务器发送所述地图数据。其中，当第一终端向第二终端发送所述地图数据时，所述第二终端可用于根据所述地图数据对虚拟场景中的内容进行同步操作；第一终端和第二终端所采用的空间定位引擎可以是不同的，也可以是相同的。其中，当第一终端向服务器发送所述地图数据时，所述服务器用于根据所述地图数据，得到所述第一终端的第一相机坐标系和第二终端的第二相机坐标系之间的坐标系变换数据，并将所述坐标系变换数据发送至第二终端，以便于所述第二终端根据所述坐标系变换数据对虚拟场景中的内容进行同步操作。其中，第一终端和第二终端所采用的空间定位引擎可以是不同的，也可以是相同的。可以看到，实施本专利技术实施例，第一终端皆能够利用本地的空间定位引擎的输出数据，进行图像特征提取，并生成地图数据发送给第二终端或服务器，以便于实现第二终端基于地图数据实现两终端间的坐标系同步。其中，第一终端和第二终端所采用的空间定位引擎可以是不同的。也就是说，即使不同终端安装不同空间定位引擎，依然可实现虚拟场景中的内容同步，这样有利于实现不同空间定位引擎之间的跨平台的多人共享AR/VR/MR开发和应用，满足用户需求，提高用户使用体验。还可以看到，本专利技术实施例通过有效的特征提取方式，能够对任意自然场景中的任意物体进行特征提取，进而实现不同终端之间的坐标系同步，所以多人共享AR应用场景不受环境的限制，即在实现多用户虚拟场景交互的过程中，不再需要依赖特定几何形状物体，所以，实现多人共享AR/VR/MR应用不再受环境影响，满足了各种应用场景的需求。基于第一方面，在可能的实施例中，所述第一终端根据所述位姿数据、所述第一点云数据和所述第一图像，获得二维特征图像，包括：所述第一终端依据所述位姿数据将第一点云数据投影到所述第一图像，获得所述第一点云数据对应在所述第一图像的图像坐标系中的二维图像坐标(又称为2D图像坐标)，然后，根据二维图像坐标对应在所述第一图像中的图像块或者图像特征点描述子，提取出二维特征图像(又可称2D特征图像)。其中所述图像特征点描述子包括但不限于Brief、Brisk、ORB、Freak、SIFT、SURF中的一种。在一具体实施方式中，第一终端可隔一段预设时间选取一帧图像(第一图像)，以及空间定位引擎输出的同一时间戳的位姿数据和第一点云数据，将第一点云数据通过该位姿投影到该第一图像中，获取2D图像坐标，再对2D图像坐标进行2D特征描述，所述特征描述可以是图像特征点描述子或图像块描述，其中所述图像特征点描述子包括但不限于Brief、Brisk、ORB、Freak、SIFT、SURF中的一种。这样，就可获得图像对应的同一时间戳的2D特征图像。本专利技术实施例中，可将第一终端的同一时间戳相关联的2D特征图像、第一点云数据、以及位姿数据的集合设置为第一终端的一个关键帧。基于第一方面，在可能的实施例中，第一终端的空间定位引擎可根据相机采集的数据(第一图像)，计算获得第一终端在所述第一相机坐标系中的位姿数据。在又一可能实施例中，第一终端中还设置有惯性测量单元(Inertialmeasurementunit，IMU)传感器，那么空间定位引擎的输入信号包括来自相机采集的图像数据和IMU传感器采集的数据(可称为运动数据)，空间定位引擎可根据该图像数据和运动数据，计算获得第一终端在所述第一相机坐标系中的位姿数据。在又一可能实施例中，第一终端中除了相机和IMU外，还设置有与位姿或运动相关的定位模块(GPS定位、北斗定位、WIFI定位、或基站定位等，具体可参考下文中关于终端结构的描述)，那么，那么空间定位引擎还可进一步参考定位模块所采集的数据来计算获得第一终端在所述第一相机坐标系中的位姿数据。基于第一方面，在可能的实施例中，在所述第一终端根据所述第一点云数据、所述位姿数据和所述二维特征图像生成地图数据之前，所述方本文档来自技高网...

【技术保护点】
1.一种用于虚拟场景的数据处理方法，其特征在于，所述方法包括：/n获取第一图像，所述第一图像包括物体的图像；/n根据所述第一图像，获得所述物体的第一点云数据；所述第一点云数据表示所述物体的表面点在第一终端的第一相机坐标系中的三维坐标值；/n所述第一终端根据所述第一图像，获得所述第一终端在所述第一相机坐标系中的位姿数据，所述位姿数据用于表示所述第一终端在所述第一相机坐标系中的位置和姿态，所述位置通过所述第一相机坐标系中的三个坐标轴x、y、z表示，所述位姿通过(α,β,γ)表示，所述(α,β,γ)表示围绕所述三个坐标轴旋转的角度；/n根据所述位姿数据、所述第一点云数据和所述第一图像，获得二维特征图像；/n根据所述第一点云数据、所述位姿数据和所述二维特征图像生成地图数据。/n

【技术特征摘要】
1.一种用于虚拟场景的数据处理方法，其特征在于，所述方法包括：
获取第一图像，所述第一图像包括物体的图像；
根据所述第一图像，获得所述物体的第一点云数据；所述第一点云数据表示所述物体的表面点在第一终端的第一相机坐标系中的三维坐标值；
所述第一终端根据所述第一图像，获得所述第一终端在所述第一相机坐标系中的位姿数据，所述位姿数据用于表示所述第一终端在所述第一相机坐标系中的位置和姿态，所述位置通过所述第一相机坐标系中的三个坐标轴x、y、z表示，所述位姿通过(α,β,γ)表示，所述(α,β,γ)表示围绕所述三个坐标轴旋转的角度；
根据所述位姿数据、所述第一点云数据和所述第一图像，获得二维特征图像；
根据所述第一点云数据、所述位姿数据和所述二维特征图像生成地图数据。


2.根据权利要求1所述的方法，其特征在于，所述根据所述位姿数据、所述第一点云数据和所述第一图像，获得二维特征图像，包括：
根据所述位姿数据，将所述第一点云数据投影到所述第一图像，以得到所述第一点云数据对应在所述第一图像的图像坐标系中的二维图像坐标；
根据所述二维图像坐标对应在所述第一图像中的图像块或者图像特征点描述子，获得所述二维特征图像。


3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一图像，获得所述第一终端在所述第一相机坐标系中的位姿数据，具体包括：
根据所述第一图像以及惯性测量单元IMU采集的运动数据，获得所述第一终端在所述第一相机坐标系中的位姿数据。


4.根据权利要求1-3任一项所述的方法，其特征在于，在根据所述第一点云数据、所述位姿数据和所述二维特征图像生成地图数据之前，所述方法还包括：
获取定位数据，所述定位数据包括所述终端的GPS定位数据、所述第一终端的北斗定位数据、所述第一终端的WiFi定位数据、所述第一终端的蓝牙定位数据、或所述第一终端的基站定位数据中的至少一种；
相应的，所述地图数据还携带有所述定位数据。


5.根据权利要求1-4所述的方法，其特征在于，所述虚拟场景为虚拟现实VR场景、增强现实AR场景、混合现实MR场景中的一种。


6.一种用于虚拟场景的数据处理方法，其特征在于，所述方法包括：
获取地图数据，所述地图数据是基于物体的第一点云数据、第一终端在所述第一终端的第一相机坐标系中的位姿数据、以及所述第一终端的二维特征图像而生成的；其中，所述第一点云数据表示所述物体的表面点在所述第一终端的第一相机坐标系中的三维坐标值；所述第一终端在所述第一终端的第一相机坐标系中的位姿数据用于表示所述第一终端在所述第一相机坐标系中的位置和姿态，所述位置通过所述第一相机坐标系中的三个坐标轴x、y、z表示，所述位姿通过(α,β,γ)表示，所述(α,β,γ)表示围绕所述三个坐标轴旋转的角度；
获取所述第二终端在所述第二终端的第二相机坐标系中的位姿数据；
获取所述第二终端的二维特征图像；
根据所述地图数据、所述第二终端在所述第二相机坐标系中的位姿数据和所述第二终端的二维特征图像，获得所述第一相机坐标系与所述第二相机坐标系之间的坐标系变换数据；
根据所述坐标系变换数据对虚拟场景中的内容进行同步。


7.根据权利要求6所述的方法，其特征在于，所述根据所述地图数据、所述第二终端在所述第二相机坐标系中的位姿数据和所述第二终端的二维特征图像，获得所述第一相机坐标系与所述第二相机坐标系之间的坐标系变换数据，包括：
使用所述第二终端的二维特征图像在所述地图数据中进行特征匹配操作，获得所述第二终端在所述第一相机坐标系中的位姿数据；
根据所述第二终端在所述第一相机坐标系中的位姿数据和在所述第二相机坐标系中的位姿数据，获得所述第一相机坐标系与所述第二相机坐标系之间的坐标系变换数据。


8.根据权利要求6或7所述的方法，其特征在于，所述获取所述第二终端在所述第二终端的第二相机坐标系中的位姿数据之前，还包...

【专利技术属性】
技术研发人员：姜军，刘小伟，冯蔚腾，莫运能，吴宗武，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44