一种增强现实AR投影方法及云端服务器技术

本申请实施例公开了一种增强现实AR投影方法及云端服务器，用于节省传输带宽。本申请实施例方法包括：云端服务器确定位置关系，位置关系为第一AR终端与目标3D影像在空间位置坐标系中的坐标关系，空间位置坐标系为根据空间位置信息建立的坐标系，空间位置信息由第二AR终端当前所处物理空间的空间数据得到，第二AR终端的数量为至少一个，第一AR终端为第二AR终端中的至少一个AR终端；云端服务器根据位置关系确定目标剖面的画面内容，目标剖面为将要在第一AR终端上进行投影的，目标3D影像的剖面；云端服务器将目标剖面的画面内容传输至第一AR终端，以使得第一AR终端利用目标剖面的画面内容对目标3D影像进行投影。

【技术实现步骤摘要】
一种增强现实AR投影方法及云端服务器
本申请涉及增强现实
，尤其涉及一种增强现实AR投影方法及云端服务器。
技术介绍
增强现实(英文全称：AugmentedReality，英文简称：AR)技术就是将计算机生成的虚拟场景呈现在现实场景上，实现虚拟场景与现实场景的融合；在AR系统中，利用AR终端如AR眼镜采集场景对应的空间位置信息，然后采用跟踪定位方法如即时定位与地图构建(英文全称：SimultaneousLocalizationAndMapping，英文简称：SLAM)根据AR眼镜采集的空间位置信息完成对场景的构建和跟踪；利用激光原理和摄影测量原理得到场景中的每个采样点的空间坐标，得到每一采样点对应的点云(英文全称：PointCloud，英文简称：PC)并合成3D影像构成的虚拟场景将其投影在AR眼镜上，通过AR眼镜中的光学系统将3D影像放大后进入人的眼睛，最后虚拟场景与现实场景汇聚在视网膜上，从而形成虚实融合的成像效果。现有技术中，当AR眼镜在投影当前3D影像时，当前3D影像的全部剖面的视频码流都会被传输至AR眼镜上，因此，不在当前AR眼镜视角范围内的3D影像的剖面的视频码流也会被传输至AR眼镜上。在现有技术中，将不需要投影的视频码流如在AR眼镜视角范围内但AR眼镜看不到的3D影像的剖面的视频码流和不在AR眼镜视角范围内的3D影像的剖面的视频码流，传输至AR眼镜上导致浪费了大量的传输带宽。
技术实现思路
本申请实施例提供了一种增强现实AR投影方法及云端服务器，用于节省传输带宽。第一方面，本申请实施例提供了一种增强现实AR投影方法，包括：首先，云端服务器确定第一AR终端与目标3D影像在空间位置坐标系中的位置关系，空间位置坐标系是根据第二AR终端采集其自身当前所处物理空间中的空间位置信息建立的，第二AR终端的数量为至少一个，第一AR终端为第二AR终端中的至少一个AR终端；然后，云端服务器根据位置关系确定目标剖面的画面内容，目标剖面是将要在第一AR终端上进行投影的，目标3D影像的剖面；最后，云端服务器将目标剖面的画面内容传输至第一AR终端，以使得第一AR终端利用目标剖面的画面内容对目标3D影像进行AR投影。从以上技术方案可以看出，本申请实施例具有以下优点：云端服务器传输的画面内容为将要在第一AR终端上进行投影的目标剖面的画面内容，可以理解的是目标剖面仅仅是目标3D影像中的一部分剖面，从而，云端服务器将目标3D影像中的目标剖面的画面内容传输至第一AR终端，因此本申请实施例AR投影方法中需要传输的目标3D影像的数据量变得更少，节省了大量的传输带宽，可以更快速地将目标剖面信息传输至第一AR终端。在一种可能的设计中，在本申请实施例的第一方面的第一种可能的实现方式中，云端服务器将目标剖面的画面内容传输至第一AR终端包括：第二AR终端的数量可以是一个，也可以是多个，当只有一个第二AR终端时，第一AR终端即为此唯一的一个第二AR终端，此种情况下，云端服务器将目标剖面的内容传输至第一AR终端即第二AR终端；当有多个第二AR终端时，第一AR终端为向云端服务器请求发送3D影像的画面内容的AR终端，此种情况下，云端服务器将目标3D影像对应的目标剖面的画面内容，传输至第一AR终端。在此种可能的实现方式中，目标剖面的画面内容的传输对象是那些请求发送3D影像的画面内容的AR终端，并不是所有的第二AR终端都需要传输目标剖面的画面内容。在一种可能的设计中，在本申请实施例的第一方面的第二种可能的实现方式中，云端服务器将目标剖面的画面内容传输至第一AR终端包括：目标3D影像可以为多种数据形态的方式存储于云端服务器上，但均存在质量高低之分，若目标3D影像的数据形态为点云时，云端服务器将高密度点云对应的目标剖面的画面内容发送至第一AR终端，点云密度对应空间分辨率，密度越高，空间分辨率越高，将其编解码得到的目标剖面的画面内容越清晰；同理，密度越低，空间分辨率也就越低，将其编解码得到的目标剖面的画面内容越不清晰。还需要说明的是，对于目标3D影像的非目标剖面的画面内容，云端服务器可以将低密度点云对应的画面内容传输至第一AR终端，或者云端服务器不传输非目标剖面的画面内容至第一AR终端。云端服务器只传输高密度点云对应的目标剖面的画面内容，或，传输高密度点云对应目标剖面的画面内容和低密度点云对应的非目标剖面的画面内容，至第一AR终端，这样可以大量的节省传输带宽。在一种可能的设计中，在本申请实施例的第一方面的第三种可能的实现方式中，云端服务器将目标剖面的画面内容传输至第一AR终端包括：若目标3D影像对应的数据形态为视频，云端服务器将高质量对应的目标剖面的画面内容传输至第一AR终端，对于，目标3D影像的非目标剖面而言，云端服务器可以将低质量对应的画面内容传输至第一AR终端，或者，云端服务器不传输其画面内容至第一AR终端。需要说明的是，高质量和低质量是相对的，从分辨率角度看，可以用4K甚至8K等超高清分辨率来作为高质量视频传输；而1080P等高清作为低质量传输；还可以用1080P等高清作为高质量传输，而用720P以下分辨率的标清作为低质量传输；从帧频角度看，可以用120帧频等刷新率较高的帧率来进行高质量视频传输，而90帧频等刷新率相对低的帧率来进行相对低质量视频传输；还可以用90帧频来进行高质量视频传输，而用60帧频来进行低质量视频传输；此外，还需要说明的是，在实际使用时，一般有三种实际的使用方式：一、分辨率相同，帧频高表示高质量，帧频低表示低质量；二、帧频相同，分辨率高表示高质量，分辨率低表示低质量；三、帧频和分辨率都高表示高质量，帧频和分辨率都低表示低质量。在一种可能的设计中，在本申请实施例的第一方面的第四种可能的实现方式中，云端服务器将目标剖面的画面内容传输至第一AR终端包括：当目标剖面对应的数据形态是视频，并且视频是通过分层编解码技术得到的时，云端服务器对目标剖面的3D视频图像按照“核心层+增强层”的方式发送视频码流给第一AR眼镜；对于非目标剖面的画面内容而言，云端服务器可以将非当前剖面的3D视频图像采用“核心层”或者“核心层+部分增强层”的方式发送视频码流给第一AR眼镜，或者，也可以不发送。当目标剖面对应的数据形态是视频时，上述两种可能的实现方式，都使得传输至第一AR终端的数据量大量减少，从而在一定程度上节省了大量的传输带宽，可以更加快速的将目标剖面的画面内容传输至第一AR终端，以使得第一AR终端使用目标剖面的画面内容对目标3D影像进行AR投影。在一种可能的设计中，在本申请实施例的第一方面的第五种可能的实现方式中，在云端服务器确定位置关系之前还包括：云端服务器根据空间位置信息建立空间位置坐标系。空间位置坐标系由云端服务器建立，当有多个AR终端时，与空间位置坐标系由各自AR终端建立相比较而言，上述实现方式可以有效地减少由于空间位置坐标系不统一而导致的各AR终端的空间位置坐标之间的误差。在一种可能的设计中，在本申请实施例的第一方面的第六种可能的实现方式中，云端服务器确定为位置关系包括：首先，云端服务器先根据已建立的空间位置坐标系得到第一AR终端和目标3D影像的空间位置坐标，然后，云端服务器使用上述两个空间位置坐标进行计算得到第一AR终端和目标3本文档来自技高网...

【技术保护点】
1.一种增强现实AR投影方法，其特征在于，包括：云端服务器确定位置关系，所述位置关系为第一AR终端与目标3D影像在空间位置坐标系中的坐标关系，所述空间位置坐标系为根据空间位置信息建立的坐标系，所述空间位置信息由第二AR终端当前所处物理空间的空间数据得到，所述第二AR终端的数量为至少一个，所述第一AR终端为所述第二AR终端中的至少一个AR终端；所述云端服务器根据所述位置关系确定目标剖面的画面内容，所述目标剖面为将要在所述第一AR终端上进行投影的，所述目标3D影像的剖面；所述云端服务器将所述目标剖面的画面内容传输至所述第一AR终端，以使得所述第一AR终端利用所述目标剖面的画面内容对所述目标3D影像进行投影。

【技术特征摘要】
1.一种增强现实AR投影方法，其特征在于，包括：云端服务器确定位置关系，所述位置关系为第一AR终端与目标3D影像在空间位置坐标系中的坐标关系，所述空间位置坐标系为根据空间位置信息建立的坐标系，所述空间位置信息由第二AR终端当前所处物理空间的空间数据得到，所述第二AR终端的数量为至少一个，所述第一AR终端为所述第二AR终端中的至少一个AR终端；所述云端服务器根据所述位置关系确定目标剖面的画面内容，所述目标剖面为将要在所述第一AR终端上进行投影的，所述目标3D影像的剖面；所述云端服务器将所述目标剖面的画面内容传输至所述第一AR终端，以使得所述第一AR终端利用所述目标剖面的画面内容对所述目标3D影像进行投影。2.根据权利要求1所述的AR投影方法，其特征在于，所述云端服务器将所述目标剖面的画面内容传输至所述第一AR终端包括：当所述第二AR终端的数量为一个时，所述云端服务器将所述目标剖面的画面内容传输至所述第一AR终端，所述第二AR终端为所述第一AR终端；或，当所述第二AR终端的数量为至少两个时，所述云端服务器将所述目标剖面的画面内容传输至所述第一AR终端，所述第一AR终端为所述第二AR终端中向所述云端服务器发送请求消息的至少一个AR终端，所述请求消息用于请求所述云端服务器向所述第一AR终端发送所述3D影像的画面内容。3.根据权利要求1或2所述的AR投影方法，其特征在于，所述云端服务器将所述目标剖面的画面内容传输至所述第一AR终端包括：当所述目标3D影像为点云数据形态时，所述云端服务器将高密度点云对应的所述目标剖面的画面内容传输至所述第一AR终端，所述高密度点云为空间分辨率较高的点云。4.根据权利要求1或2所述的AR投影方法，其特征在于，所述云端服务器将所述目标剖面的画面内容传输至所述第一AR终端包括：当所述目标3D影像为视频数据形态时，所述云端服务器将高质量的所述目标剖面的画面内容传输至所述第一AR终端，所述高质量的所述目标剖面的画面内容为分辨率较高和/或帧率较高的视频码流。5.根据权利要求1或2所述的AR投影方法，其特征在于，所述云端服务器将所述目标剖面的画面内容传输至所述第一AR终端包括：当所述目标3D影像为视频数据形态时，所述云端服务器将基本层视频码流和增强层对应的所述目标剖面的画面内容，传输至所述第一AR终端，所述基本层视频码流和所述增强层视频码流为将所述目标剖面的画面内容进行分层编码得到的视频码流。6.根据权利要求1至5中任一项所述的AR投影方法，其特征在于，在所述云端服务器确定位置关系之前还包括：所述云端服务器根据所述空间位置信息建立所述空间位置坐标系。7.根据权利要求1至6中任一项所述的AR投影方法，其特征在于，所述云端服务器确定位置关系包括：所述云端服务器从所述空间位置坐标系中确定所述第一AR终端的空间位置坐标和所述目标3D影像的空间位置坐标；所述云端服务器利用所述第一AR终端的空间位置坐标和所述目标3D影像的空间位置坐标进行计算得到所述位置关系。8.根据权利要求1至6中任一项所述的AR投影方法，其特征在于，所述云端服务器确定位置关系包括：所述云端服务器将从所述空间位置坐标系中确定的所述第一AR终端的空间位置坐标和所述目标3D影像的空间位置坐标发送至所述第一AR终端；所述云端服务器接收所述第一AR终端发送的所述位置关系，所述位置关系由所述第一AR终端对所述第一AR终端的空间位置坐标和所述目标3D影像的空间位置坐标进行计算得到。9.根据权利要求1至5中任一项所述的AR投影方法，其特征在于，当所述第二AR终端的数量为一个时，所述第一AR终端为所述第二AR终端，所述云端服务器确定位置关系包括：所述云端服务器基于所述空间位置坐标系中的所述第一AR终端的空间位置坐标和所述目标3D影像的空间位置坐标进行计算得到所述位置关系，所述空间位置坐标系由所述第一AR终端根据所述空间位置信息建立；或，所述云端服务器接收所述第一AR终端发送的所述位置关系，所述位置关系由所述第一AR终端基于所述空间位置坐标系中的所述第一AR终端的空间位置坐标和所述目标3D影像的空间位置坐标进行计算得到，所述空间位置坐标系由所述第一AR终端根据所述空间位置信息建立。10.根据权利要求1至5，或7至8中任一项中所述的AR投影方法，其特征在于，在所述云端服务器确定位置关系之后，在所述云端服务器根据所述位置关系确定目标剖面的画面内容之前，还包括：所述云端服务器基于所述第一AR终端的运动速度改变所述目标剖面的面积大小。11.根据权利要求10所述的AR投影方法，其特征在于，所述云端服务器基于所述第一AR终端的运动速度改变所述目标剖面的面积大小，包括：当所述第一AR终端的运动速度大于第一预设阈值时，所述云端服务器增加所述目标剖面的剖面面积。12.根据权利要求1至5，或7至8中任一项所述的AR投影方法，其特征在于，在所述云端服务器确定位置关系之后，所述云端服务器根据所述位置关系确定目标剖面的视频码流之前，还包括：所述云端服务器基于网络状况来改变所述目标剖面的面积大小。13.根据权利要求12所述的AR投影方法，其特征在于，所述网络状况包括网络时延或网络传输带宽；所述云端服务器基于网络状况来改变所述目标剖面的面积大小包括：当网络传输时延大于第二预设阈值时，所述云端服务器增加所述目标剖面的剖面面积；或，当网络传输带宽小于第三预设阈值时，所述云端服务器减少所述目标剖面的剖面面积。14.根据权利要求1至5，或7至8中任一项所述的AR投影方法，其特征在于，在所述云端服务器确定位置关系之后，所述云端服务器根据所述位置关系确定目标剖面的视频码流之前，还包括：所述云端服务器基于所述目标3D影像的变化程度来...

【专利技术属性】
技术研发人员：张立斌，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44