AR交互方法、终端设备及云端地图管理系统技术方案

本申请提供一种AR交互方法、终端设备及云端地图管理系统，涉及多媒体通信技术领域，该方法包括：基于获取的多个关键帧图像和与所述关键帧图像对应的至少两种与地理位置相关的参数，构建第一视觉地图数据；向云端地图管理系统发送AR交互信息，AR交互信息包括第一视觉地图数据和用户选择的AR交互场景；显示第二视觉地图数据，第二视觉地图数据包括云端地图管理系统根据所述AR交互场景将第一视觉地图数据与第三视觉地图数据融合后的地图数据，第三视觉地图数据为述第一视觉地图数据具有至少一个相同特征的视觉地图数据。本申请的方案解决了现有的AR互动方式单一，用户使用体验差的问题。

【技术实现步骤摘要】
AR交互方法、终端设备及云端地图管理系统
本申请涉及多媒体通信
，尤其是涉及一种AR交互方法、终端设备及云端地图管理系统。
技术介绍
现有的增强现实(AugmentedReality，AR)交互一般是传统的单机AR方式或多机交互的AR方式。单机AR方式主要是终端设备或者AR设备将虚拟信息与真实世界融合，多机交互的AR方式主要是对多设备进行全球定位系统(GlobalPositioningSystem，GPS)定位，由后台统一调配不同GPS位置进行交互，然而，上述两种方式的AR互动方式单一，无法给用户带来较好的使用体验。
技术实现思路
本申请实施例提供一种AR交互方法、终端设备及云端地图管理系统，以解决现有AR互动方式单一，用户使用体验差的问题。为了解决上述问题，本申请是这样实现的：第一方面，本申请的实施例提供了一种AR交互方法，应用于终端设备，包括：基于获取的多个关键帧图像和与所述关键帧图像对应的至少两种与地理位置相关的参数，构建第一视觉地图数据；向云端地图管理系统发送AR交互信息，所述AR交互信息包括所述第一视觉地图数据和用户选择的AR交互场景；显示第二视觉地图数据，所述第二视觉地图数据包括所述云端地图管理系统根据所述AR交互场景将所述第一视觉地图数据与第三视觉地图数据融合后的地图数据，所述第三视觉地图数据为与所述第一视觉地图数据具有至少一个相同特征的视觉地图数据。可选地，基于实时获取的关键帧图像和实时获取的至少两种与地理位置相关的参数，构建第一视觉地图数据，包括：根据当前获取的至少两种与地理位置相关的参数，生成多模态位置标签；通过将当前获取的所述关键帧图像与所述多模态位置标签融合，构建所述第一视觉地图数据；其中，所述第一视觉地图数据的地图标签为与第一关键帧图像融合的所述多模态位置标签，所述第一关键帧图像为多个所述关键帧图像中的中心关键帧图像。可选地，根据当前获取的至少两种与地理位置相关的参数，生成多模态位置标签，包括：将各个所述与地理位置相关的参数分别转换为二进制数据；将各个所述与地理位置相关的参数所转换的二进制数据融合，生成所述多模态位置标签。可选地，所述与地理位置相关的参数包括惯性测量单元IMU气压计数据，所述与地理位置相关的参数还包括以下至少一项：无线保真标识WIFIID；移动基站定位数据；全球定位系统GPS定位数据。依据本申请的另一方面，提供了一种AR交互方法，应用于云端地图管理系统，包括：接收第一终端设备发送的AR交互信息，所述AR交互信息包括第一视觉地图数据和用户选择的AR交互场景；根据所述AR交互场景，确定与所述第一视觉地图数据融合的第三视觉地图数据；将所述第一视觉地图数据和所述第三视觉地图数据融合生成第二视觉地图数据；将所述第二视觉地图数据发送至第一终端设备和第二终端设备，其中，所述第二终端设备为发送所述第三视觉地图数据的终端设备。可选地，根据所述AR交互场景，确定与所述第一视觉地图数据融合的第三视觉地图数据，包括：获取符合所述AR交互场景的候选视觉地图数据列表；将所述第一视觉地图数据的地图标签分别与所述候选视觉地图数据列表中的各视觉地图数据的地图标签进行汉明距离匹配，确定至少一个候选视觉地图数据；将所述第一视觉地图数据中的关键帧图像分别与每一个所述候选视觉地图数据的关键帧图像匹配，确定所述第三视觉地图数据。可选地，将所述第一视觉地图数据的地图标签分别与所述候选视觉地图数据列表中的各视觉地图数据的地图标签进行汉明距离匹配，确定至少一个候选视觉地图数据，包括：将所述候选视觉地图数据列表中，与所述第一视觉地图数据的地图标签的汉明距离最小的视觉地图数据确定为所述候选视觉地图数据。可选地，将所述第一视觉地图数据和所述第三视觉地图数据融合生成第二视觉地图数据，包括：通过对所述第一视觉地图数据和所述第三视觉地图数据进行全局优化，将所述第一视觉地图数据和所述第三视觉地图数据融合生成所述第二视觉地图数据。依据本申请的又一方面，提供了一种终端设备，包括：收发机、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面所述的AR交互方法的步骤。依据本申请的再一个方面，提供了一种云端地图管理系统，包括：收发机、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上另一方面所述的AR交互方法的步骤。依据本申请的再一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的AR交互方法或者如另一方面所述的AR交互方法的步骤。本申请实施例的AR交互方法，首先，终端设备基于获取的多个关键帧图像和与关键帧图像对应的至少两种与地理位置相关的参数，构建第一视觉地图数据；实现了将至少两种与地理位置相关的参数融合至第一视觉地图数据中，使得第一视觉地图数据具有多模态标签属性，便于后续的视觉地图数据的融合；其次，终端设备向云端地图管理系统发送AR交互信息，AR交互信息包括第一视觉地图数据和用户选择的AR交互场景；使得云端地图管理系统能够基于该AR交互场景将第一视觉地图数据与当前保存的候选视觉地图数据的融合，最后，终端设备显示第二视觉地图数据，第二视觉地图数据包括云端地图管理系统根据AR交互场景将第一视觉地图数据与第三视觉地图数据融合后的地图数据，第三视觉地图数据为与第一视觉地图数据具有至少一个相同特征的视觉地图数据。如此，实现了多用户在不同时空的AR互动，使得AR互动方式多样化，给用户带来更好的使用体验。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1表示本申请实施例提供的AR互动方法的流程示意图之一；图2表示本申请实施例提供的AR互动方法的流程示意图之二；图3表示本申请实施例提供的AR互动装置的结构示意图之一；图4表示本申请实施例提供的终端设备的实施结构示意图；图5表示本申请实施例提供的AR互动装置的结构示意图之二；图6表示本申请实施例提供的云端地图管理系统的实施结构示意图。具体实施方式为使本申请要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本申请的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本申请的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描本文档来自技高网...

【技术保护点】
1.一种AR交互方法，应用于终端设备，其特征在于，包括：/n基于获取的多个关键帧图像和与所述关键帧图像对应的至少两种与地理位置相关的参数，构建第一视觉地图数据；/n向云端地图管理系统发送AR交互信息，所述AR交互信息包括所述第一视觉地图数据和用户选择的AR交互场景；/n显示第二视觉地图数据，所述第二视觉地图数据包括所述云端地图管理系统根据所述AR交互场景将所述第一视觉地图数据与第三视觉地图数据融合后的地图数据，所述第三视觉地图数据为与所述第一视觉地图数据具有至少一个相同特征的视觉地图数据。/n

【技术特征摘要】
1.一种AR交互方法，应用于终端设备，其特征在于，包括：
基于获取的多个关键帧图像和与所述关键帧图像对应的至少两种与地理位置相关的参数，构建第一视觉地图数据；
向云端地图管理系统发送AR交互信息，所述AR交互信息包括所述第一视觉地图数据和用户选择的AR交互场景；
显示第二视觉地图数据，所述第二视觉地图数据包括所述云端地图管理系统根据所述AR交互场景将所述第一视觉地图数据与第三视觉地图数据融合后的地图数据，所述第三视觉地图数据为与所述第一视觉地图数据具有至少一个相同特征的视觉地图数据。


2.根据权利要求1所述的方法，其特征在于，基于实时获取的关键帧图像和实时获取的至少两种与地理位置相关的参数，构建第一视觉地图数据，包括：
根据当前获取的至少两种与地理位置相关的参数，生成多模态位置标签；
通过将当前获取的所述关键帧图像与所述多模态位置标签融合，构建所述第一视觉地图数据；
其中，所述第一视觉地图数据的地图标签为与第一关键帧图像融合的所述多模态位置标签，所述第一关键帧图像为多个所述关键帧图像中的中心关键帧图像。


3.根据权利要求2所述的方法，其特征在于，根据当前获取的至少两种与地理位置相关的参数，生成多模态位置标签，包括：
将各个所述与地理位置相关的参数分别转换为二进制数据；
将各个所述与地理位置相关的参数所转换的二进制数据融合，生成所述多模态位置标签。


4.根据权利要求1至3任一项所述的方法，其特征在于，所述与地理位置相关的参数包括惯性测量单元IMU气压计数据，所述与地理位置相关的参数还包括以下至少一项：
无线保真标识WIFIID；
移动基站定位数据；
全球定位系统GPS定位数据。


5.一种AR交互方法，应用于云端地图管理系统，其特征在于，包括：
接收第一终端设备发送的AR交互信息，所述AR交互信息包括第一视觉地图数据和用户选择的AR交互场景；
根据所述AR交互场景，确定与所述第一视觉地图数据融合的第三视觉地图数据；
将所述第一视觉地图数据和所述第三视觉地图数据融合生成第二视觉地图数据；
将所...

【专利技术属性】
技术研发人员：周巍，琚彬，张祥通，吴一飞，郑曌琼，陈明扬，
申请(专利权)人：咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11