虚拟街景地图生成方法、装置和客户端设备制造方法及图纸

本发明专利技术提供了一种虚拟街景地图生成方法、装置和客户端设备。该方法包括：获取地理位置信息；基于所述地理位置信息获取相关联的街景信息和地图信息，其中所述街景信息包括街景图像；识别所述街景图像中的待替换对象；至少部分基于所述地图信息生成所述待替换对象的替换对象；以及使用所述替换对象代替所述街景图像中相应的待替换对象，由此生成所述虚拟街景地图。由此，通过对街景图像中目标对象的替换，以极小的计算量，为用户提供了临场感强的虚拟街景地图。并且可以根据不同的应用场景和实现级别实现丰富的可变换场景，从而提升了用户的沉浸度、参与度和趣味性。

【技术实现步骤摘要】
虚拟街景地图生成方法、装置和客户端设备
本专利技术涉及信息
，特别是涉及一种在基于实景的虚拟街景地图的生成方法、装置、客户端设备、计算设备和存储介质。
技术介绍
随着信息技术的发展与普及，为用户提供基于现实场景的沉浸式体验已成为各方努力的目标。现有技术中，人们例如可以使用谷歌或是百度地图的街景/实景功能来实现视点固定且视角可变的街景图像浏览。另外，针对若干重点城市或区域(例如，上海城区)的3D地图也已商用。图1A和1B示出了现有的地图示例，其中图1A是上海陆家嘴附近的街景地图截图，图1B是陆家嘴地区的3D地图。但无论是图1A的街景图片还是图1B的现实场景3D化地图，都无法给用户提供灵活且高沉浸度的使用体验。例如，街景地图是基于特定图片拼接算法给出的拼接图片，其本身不具备3维信息且图片由于拼接变形而使得临场感不高。另外，虽然3D地图富于变化，但由于其数据量巨大，在现有的网络和硬件条件下难以在移动端上自由使用。类似地，现有技术中缺乏对现实场景进行深度融合的应用，因此用户的使用沉浸度并不高。
技术实现思路
为了解决上述至少一个问题，本专利技术提出了一种全新的虚拟街景地图拼接方案，其通过对街景图像中目标对象的3维替换，为用户提供了对现实场景的深度融合。上述拼接方法的计算量小，提供的虚拟街景地图临场感强，并且可以根据不同的应用场景和实现级别实现丰富的可变换场景，从而提升了用户的沉浸度、参与度和趣味性。根据本专利技术的一个方面，提供了一种虚拟街景地图生成方法，包括：获取地理位置信息；基于所述地理位置信息获取相关联的街景信息和地图信息，其中所述街景信息包括街景图像；识别所述街景图像中的待替换对象；至少部分基于所述地图信息生成所述待替换对象的替换对象；以及使用所述替换对象代替所述街景图像中相应的待替换对象，由此生成所述虚拟街景地图。由此，通过对街景图像中目标对象的替换，为用户提供了对现实场景的深度融合，提供具有高度真实感和还原性的地图空间。识别所述街景图像中的待替换对象可以包括：识别所述街景图像中的各类图像对象，所述图像对象的类型可以包括如下的至少一种：道路；建筑物；建筑内景；自然物；植物；交通工具；人。识别所述街景图像中的待替换对象还可以包括：基于虚拟街景地图生成规则识别所述街景图像中待替换对象、不再显示对象和/或需要变换风格显示的对象。生成所述虚拟街景地图还可以包括：在生成的所述虚拟街景地图中不再显示或变换风格显示相应类型的对象。由此，根据不同的应用场景和实现级别实现丰富的可变换场景，从而提升用户的沉浸度、参与度和趣味性。基于所述地理位置信息获取的所述地图信息可以包括：基于所述地理位置信息获取各类地图对象的相关信息，所述相关信息包括平面维度信息和坐标信息，所述地图对象类型包括如下的至少一种：道路、建筑物、建筑内景、自然物；以及并且，基于所述平面维度信息生成所述替换对象。生成所述替换对象所基于的所述地图对象的相关信息还可以包括：获取待替换对象的高度、立体形状和/或颜色信息；以及使用所述待替换对象的高度、立体形状和/或颜色信息生成所述替换对象，所述替换对象至少部分是3维替换对象。基于所述地理位置信息获取的所述地图信息可以包括：基于虚拟街景地图生成规则确定要基于所述地理位置信息获取的地图对象类型和相关信息类型。所述替换对象可以包括3维替换对象，生成所述3维替换对象的空间信息至少部分来自所述地图信息。由于3维对象增加了高度维度，因此方便进行空间定位，从而为后续AR技术的并入使用提供了便利。获取地理位置信息可以包括：获取客户端的当前地理位置信息或选定的地理位置信息。其中，所述当前地理位置信息可以是基于所述客户端拍摄的现场图像所识别的；和/或所述选定的地理位置信息是基于所述客户端选择的图像所识别的。由此，为生成实景地图提供更为丰富的地图数据。优选地，可以将所述虚拟街景地图与场景框架相融合以得到虚拟场景。其中，对所述待替换对象的选择和/或所述替换对象的生成可以至少部分基于所述场景框架。基于所述场景框架，可以向所述虚拟街景地图进行如下至少一项的操作：添加渲染风格；添加额外的对象和/或效果。由此，可以根据加载的场景框架，来为相同的虚拟街景地图叠加不同的应用场景，丰富本专利技术实施例的应用范围，进一步提升用户的使用体验。根据本专利技术的一个方面，还提供了一种在客户端侧实现的虚拟街景地图生成方法，包括：将地理位置信息发送给服务器；接收与所述服务器查询到的与地理位置信息相关联的相关信息，所述相关信息包括街景图像和对象描述文件，其中所述对象描述文件是所述服务器基于地图对象及其关联信息生成的用于重建所述地图对象的描述文件；识别所述街景图像中的待替换对象；基于对象描述文件生成所述待替换对象的替换对象；以及使用所述替换对象代替所述街景图像中相应的待替换对象，由此生成所述虚拟街景地图。优选地，可以基于虚拟街景地图生成规则确定要为其生成所述对象描述文件的地图对象、所述对象描述文件中所包括的信息项、所述街景图像中要识别的图像对象。要识别的图像对象还包括在所述虚拟街景地图中不再显示的对象和/或变换显示的对象。所述对象描述文件可以包括所述地图对象的坐标和平面维度信息，还可以包括所述地图对象的高度、立体形状和/或颜色信息。根据本专利技术的又一方面，还提供了一种在客户端侧实现的虚拟街景地图生成装置，包括：信息发送单元，用于将地理位置信息发送给服务器；信息接收单元，用于接收与所述服务器查询到的与地理位置信息相关联的相关信息，所述相关信息包括街景图像和对象描述文件，其中所述对象描述文件是所述服务器基于地图对象及其关联信息生成的用于重建所述地图对象的描述文件；对象识别单元，用于识别所述街景图像中的待替换对象；对象生成单元，用于基于对象描述文件生成所述待替换对象的替换对象；以及地图生成单元，用于使用所述替换对象代替所述街景图像中相应的待替换对象，由此生成所述虚拟街景地图。该虚拟街景地图生成装置还可以包括：确定单元，用于基于虚拟街景地图生成规则确定要为其生成所述对象描述文件的地图对象、所述对象描述文件中所包括的信息项、所述街景图像中要识别的图像对象。要识别的图像对象还可以包括在所述虚拟街景地图中不再显示的对象和/或变换显示的对象。对象描述文件可以包括所述地图对象的坐标和平面维度信息，还可以包括所述地图对象的高度、立体形状和/或颜色信息。根据本专利技术的又一方面，还提供了一种客户端设备，包括：输入输出装置，用于接收输入信息并显示输出信息；存储器，用于存储信息；处理器，连接至所述输入输出装置和所述存储器，并用于如上所述方法显示所述虚拟街景地图并与用户交互。根据本专利技术的又一方面，还提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的虚拟街景地图生成方法。根据本专利技术的又一方面，还提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的虚拟街景地图生成方法。由此，本专利技术通过街景图像中叠加显示3维对象，以相对较小的计算量实现了更强的临场感。另外，由于最终显示的场景灵活可变，进一步提升用户的使用体验。附图说明通过结合附图对本公开示例性实施方式进行更本文档来自技高网...

【技术保护点】
1.一种虚拟街景地图生成方法，包括：获取地理位置信息；基于所述地理位置信息获取相关联的街景信息和地图信息，其中所述街景信息包括街景图像；识别所述街景图像中的待替换对象；至少部分基于所述地图信息生成所述待替换对象的替换对象；以及使用所述替换对象代替所述街景图像中相应的待替换对象，由此生成所述虚拟街景地图。

【技术特征摘要】
1.一种虚拟街景地图生成方法，包括：获取地理位置信息；基于所述地理位置信息获取相关联的街景信息和地图信息，其中所述街景信息包括街景图像；识别所述街景图像中的待替换对象；至少部分基于所述地图信息生成所述待替换对象的替换对象；以及使用所述替换对象代替所述街景图像中相应的待替换对象，由此生成所述虚拟街景地图。2.如权利要求1所述的方法，其中，识别所述街景图像中的待替换对象包括：识别所述街景图像中的各类图像对象，所述图像对象的类型包括如下的至少一种：道路；建筑物；建筑内景；自然物；植物；交通工具；人。3.如权利要求1所述的方法，其中，识别所述街景图像中的待替换对象还包括：基于虚拟街景地图生成规则识别所述街景图像中待替换对象、不再显示对象和/或需要变换风格显示的对象，并且生成所述虚拟街景地图还包括：在生成的所述虚拟街景地图中不再显示或变换风格显示相应类型的对象。4.如权利要求1所述的方法，其中，基于所述地理位置信息获取的所述地图信息包括：基于所述地理位置信息获取各类地图对象的相关信息，所述相关信息包括平面维度信息和坐标信息，所述地图对象类型包括如下的至少一种：道路、建筑物、建筑内景、自然物；以及并且，基于所述平面维度信息生成所述替换对象。5.如权利要求4所述的方法，其中，生成所述替换对象所基于的所述地图对象的相关信息还包括：获取待替换对象的高度、立体形状和/或颜色信息；以及使用所述待替换对象的高度、立体形状和/或颜色信息生成所述替换对象，所述替换对象至少部分是3维替换对象。6.如权利要求4所述的方法，其中，基于所述地理位置信息获取的所述地图信息包括：基于虚拟街景地图生成规则确定要基于所述地理位置信息获取的地图对象类型和相关信息类型。7.如权利要求1所述的方法，其中，所述替换对象包括3维替换对象，生成所述3维替换对象的空间信息至少部分来自所述地图信息。8.如权利要求1所述的方法，其中，所述获取地理位置信息包括：获取客户端的当前地理位置信息或选定的地理位置信息。9.如权利要求8所述的方法，其中，所述当前地理位置信息是基于所述客户端拍摄的现场图像所识别的；和/或所述选定的地理位置信息是基于所述客户端选择的图像所识别的。10.如权利要求1所述的方法，还包括:将所述虚拟街景地图与场景框架相融合以得到虚拟场景。11.如权利要求10所述的方法，其中，对所述待替换对象的选择和/或所述替换对象的生成至少部分基于所述场景框架。12.如权利要求10所述的方法，其中，基于所述场景框架，向所述虚拟街景地图进行如下至少一项的操作：添加渲染风格；添加额外的对象和/或效果。13.一种虚拟街景地图生成方法，包括：将地理位置信息发送给服务器；接收与所述服务器查询到的与地理位置信息相关联的相关信息，所述...

【专利技术属性】
技术研发人员：曾志荣，
申请(专利权)人：优视科技有限公司，
类型：发明
国别省市：北京,11