场景显示方法及装置、设备、车辆、计算机可读存储介质制造方法及图纸

本申请公开了一种场景显示方法及装置、设备、车辆、计算机可读存储介质，其中，场景显示方法包括：获取至少两个AR设备在同一时刻拍摄的现实场景图像以及每个AR设备的定位信息；基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据；生成现实场景与所述虚拟场景数据相叠加的增强现实数据；基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据。上述方案，能够实现用户对现实场景的沉浸式体验。对现实场景的沉浸式体验。对现实场景的沉浸式体验。

【技术实现步骤摘要】
场景显示方法及装置、设备、车辆、计算机可读存储介质


[0001]本申请涉及增强现实
，特别是涉及一种场景显示方法及装置、设备、车辆、计算机可读存储介质。

技术介绍

[0002]增强现实(Augmented Reality，AR)技术是通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后，叠加到真实世界中，从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。近年来，AR设备的应用领域越来越广，使得AR设备在生活、工作、娱乐中起到了重要的作用，对AR设备呈现的增强现实场景的效果的优化，愈发重要。
[0003]以导览车为例，导览车是属于区域用电动车的一种，是专为旅游景区、公园、科技园、大型游乐园、封闭社区、校园、度假村、城市步行街等区域开发的旅游观光及区域内交通工具，是代步专用的环保型电动乘用车辆，也可用于工业园区、科技园区等大型企业和政府产业园的接驳。目前面向景区、园区等场景的导览车仅作为交通工具，没有其他导览功能，依赖导游进行讲解，对现实场景的展示效果不够直观和丰富，用户体验较差。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种场景显示方法及装置、设备、车辆、计算机可读存储介质。
[0005]本申请第一方面提供了一种场景显示方法，所述方法包括：获取至少两个AR设备在同一时刻拍摄的现实场景图像以及每个AR设备的定位信息；基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据；生成现实场景与所述虚拟场景数据相叠加的增强现实数据；基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据。
[0006]因此，通过至少两个AR设备在同一时刻拍摄到现实场景图像后，可以识别到现实场景图像中的场景对象，然后可以确定与场景对象匹配的虚拟场景数据，并将虚拟场景数据融入现实场景中，可以生成现实场景与虚拟场景数据相叠加的增强现实数据，然后基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据，可以实现用户对内容与真实场景的沉浸式体验，更符合物理世界的多视角展示方式。
[0007]其中，所述基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据，包括：基于所述现实场景图像，生成虚拟场景模型；确定所述场景对象在所述虚拟场景模型中对应的虚拟对象模型；对所述虚拟对象模型添加虚拟效果，得到所述虚拟场景数据。
[0008]因此，在获取到现实场景图像后，可以构建对应的虚拟场景模型，并确定现实场景图像中的场景对象在虚拟场景模型中对应的虚拟对象模型，于是可以对虚拟对象模型添加虚拟效果，所得到的虚拟场景数据可以展示现实场景与虚拟效果相叠加的增强现实虚拟效
果。
[0009]其中，所述基于所述现实场景图像，生成虚拟场景模型，包括：获取所述现实场景图像的图像信息和深度信息；根据所述现实场景图像的图像信息和深度信息，对现实场景进行三维建模，得到所述虚拟场景模型。
[0010]因此，通过至少两个AR设备可以获取现实场景图像，而根据现实场景图像的图像信息和深度信息，对现实场景进行三维建模，从而得到现实场景对应的虚拟场景模型，以实现通过虚拟场景模型对现实场景进行表征，进而可以实现生成现实场景与虚拟效果相叠加的虚拟场景数据。
[0011]其中，所述AR设备的定位信息包括在即时定位与地图构建SLAM坐标系下的定位信息；所述基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据，包括：基于所有AR设备的定位信息，将每个AR设备所对应的SLAM坐标系变换到与现实场景匹配的虚拟场景模型的世界坐标系下；基于AR设备之间的位置关系，分别确定并显示每个AR设备在当前位置所匹配的增强现实数据。
[0012]因此，通过即时定位与地图SLAM技术实现对AR设备的定位，可以将SLAM坐标系与现实场景匹配的虚拟场景模型的世界坐标系进行对齐，以使多个AR设备所显示的增强现实数据共存于一个虚拟空间，从而可以实现多屏联动的交互体验。
[0013]其中，所述AR设备包括至少第一AR设备和第二AR设备；所述基于AR设备之间的位置关系，分别确定并显示每个AR设备在当前位置所匹配的增强现实数据，包括：确定并显示所述第一AR设备在当前位置所匹配的增强现实数据；根据所述AR设备的运动信息以及所述第一AR设备和所述第二AR设备之间的位置关系，确定并显示所述第二AR设备在当前位置所匹配的增强现实数据。
[0014]因此，当确定了第一AR设备在当前位置所匹配的增强现实数据时，可以根据AR设备的运动信息以及第一AR设备和第二AR设备之间的位置关系，同步确定第二AR设备在当前位置所匹配的增强现实数据，实现多屏联动的AR效果与车速的精确匹配，从而实现内容与真实场景的沉浸式体验，更符合物理世界的多视角展示方式。
[0015]其中，所述AR设备设置于车辆上；在所述基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据的步骤之后，所述方法还包括：在所述车辆的移动过程中，对所述现实场景图像以及每个AR设备的定位信息进行更新，并基于更新的现实场景图像得到更新的虚拟场景数据；基于所有AR设备的更新的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的更新的定位信息匹配的增强现实数据。
[0016]因此，在车辆的移动过程中，AR设备拍摄的现实场景图像也会有所变化，因此可以对现实场景图像以及每个AR设备的定位信息进行更新，现实场景图像中包含的场景对象也会实时更新，因此，基于更新的现实场景图像可以得到更新的虚拟场景数据，从而实现对每个AR设备所显示的增强现实数据进行更新，实现同步改变所有AR设备所显示的AR内容，实现多屏联动的交互体验。
[0017]为了解决上述问题，本申请第二方面提供了一种场景显示装置，包括：获取模块，所述获取模块用于获取图像采集设备拍摄的现实场景图像获取至少两个AR设备在同一时刻拍摄的现实场景图像以及每个AR设备的定位信息；确定模块，所述确定模块用于基于所
述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据；生成模块，所述生成模块用于生成现实场景与所述虚拟场景数据相叠加的增强现实数据；显示模块，所述显示模块用于基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据。
[0018]为了解决上述问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面中的场景显示方法。
[0019]为了解决上述问题，本申请第四方面提供了一种车辆，包括车辆主体和设置在所述车辆主体上的电子设备，其中，所述电子设备为上述第三方面中的电子设备。
[0020]为了解决上述问题，本申请第五方面提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场景显示方法，其特征在于，所述方法包括：获取至少两个AR设备在同一时刻拍摄的现实场景图像以及每个AR设备的定位信息；基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据；生成现实场景与所述虚拟场景数据相叠加的增强现实数据；基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据。2.根据权利要求1所述的场景显示方法，其特征在于，所述基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据，包括：基于所述现实场景图像，生成虚拟场景模型；确定所述场景对象在所述虚拟场景模型中对应的虚拟对象模型；对所述虚拟对象模型添加虚拟效果，得到所述虚拟场景数据。3.根据权利要求2所述的场景显示方法，其特征在于，所述基于所述现实场景图像，生成虚拟场景模型，包括：获取所述现实场景图像的图像信息和深度信息；根据所述现实场景图像的图像信息和深度信息，对现实场景进行三维建模，得到所述虚拟场景模型。4.根据权利要求1所述的场景显示方法，其特征在于，所述AR设备的定位信息包括在即时定位与地图构建SLAM坐标系下的定位信息；所述基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据，包括：基于所有AR设备的定位信息，将每个AR设备所对应的SLAM坐标系变换到与现实场景匹配的虚拟场景模型的世界坐标系下；基于AR设备之间的位置关系，分别确定并显示每个AR设备在当前位置所匹配的增强现实数据。5.根据权利要求4所述的场景显示方法，其特征在于，所述AR设备包括至少第一AR设备和第二AR设备；所述基于AR设备之间的位置关系，分别确定并显示每个AR设备在当前位置所匹配的增强现实数据，包括：确定并显示所述第一AR设备在当前位置所...

【专利技术属性】
技术研发人员：潘思霁，孙红亮，王子彬，李炳泽，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：