基于视觉SLAM的智慧导游系统技术方案

本发明专利技术公开了一种基于视觉SLAM的智慧导游系统，包括前端和后端两个部分；前端部分包括APP模块和可穿戴式双目相机模块；后端部分包括SLAM服务器模块；可穿戴式双目相机模块与APP模块相连，用于拍摄游客当前视角的双目图像并实时传输至APP模块；APP模块用于回传图像信息到后端，接收后端传来的导览信息，并显示当前位置和导览信息；SLAM服务器模块与APP模块通过ROS通信协议和无线网络实现双向通信，SLAM服务器模块用于存储点云地图，利用视觉SLAM算法解析所述的APP模块的回传图像信息，与存储的点云地图进行匹配。本发明专利技术通过可穿戴式双目设备跟随人眼目光方向，准确获得人眼观察的景点目标，并通过语音和文字的形式智能地呈现给游客，前端计算量低、功耗低。功耗低。功耗低。

【技术实现步骤摘要】
基于视觉SLAM的智慧导游系统


[0001]本专利技术属于计算机
，特别涉及视觉SLAM（simultaneouslocalizationandmapping）在智慧导游上的应用技术。

技术介绍

[0002]随着人民生活水平的不断提升，外出旅游也越来越得到人们的青睐。依靠传统的地图、导视牌或人工导游已经无法快速灵活个性化地满足游客的需求了，传统导游模式存在以下弊端：(1)景点纸质地图不环保，且不具有实时定位功能，使用起来有诸多不便；（2）人工导游花费成本比较高，不同导游业务水平参差不齐，游客需要花费大量时间选择业务水平高的导游等；（3）公共服务设施虽然有标识牌进行引导，但碍于空间位置的限制，仍然有诸多查找不便；（4）语音租赁设备不能根据定位来自动讲解，需要游客手动按键切换景点。
[0003]受益于信息技术尤其是移动互联网的快速发展，智慧导游、智慧景区系统也逐步推陈出新。如基于GPS的智能景区导游系统，只需要手机端下载应用软件，通过手机自带的GPS模块获得游客正在参观的景点，即可播放对应的语音讲解内容。但这类智慧导游系统严重依赖GPS模块，在室内或其他GPS信号弱的场景下往往无法工作，另外GPS只能获取位置并不能实时获取游客正在观察的视角，因此这类智慧导游仍无法实现跟随游客视角的更智能化精细化的导览和讲解。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术的目的是提出一种基于视觉SLAM的智慧导游系统。系统中包含可穿戴设备，可跟随用户的视角变化而变化，不仅可以在室内等无GPS信号的场景下实现定位，而且也能跟随用户观察的视角实现更智能化、精细化的景区导览功能。
[0005]一种基于视觉SLAM的智慧导游系统，包括前端和后端两个部分；所述的前端部分包括APP模块和可穿戴式双目相机模块；所述的后端部分包括SLAM服务器模块；所述的可穿戴式双目相机模块与APP模块相连，用于拍摄游客当前视角的双目图像并实时传输至APP模块；所述的APP模块用于回传图像信息到后端，接收后端传来的导览信息，并显示当前位置和导览信息；所述的SLAM服务器模块与APP模块通过ROS通信协议和无线网络实现双向通信，所述的SLAM服务器模块用于存储点云地图，利用视觉SLAM算法解析所述的APP模块的回传图像信息，与存储的点云地图进行匹配，若匹配后向APP模块发送导览信息和位置信息。
[0006]所述的一种基于视觉SLAM的智慧导游系统，还包括三维地图采集模块，具有实时定位和建图功能，用于采集陌生环境标注景点ID的地图信息并构建出点云地图存储在所述
的SLAM服务器模块。
[0007]所述的三维地图采集模块包括在线建图、离线建图，或者直接建图模式；所述的在线建图，三维地图采集模块和SLAM服务器模块通过无线网桥连接，采集的图片信息通过ROS内部协议传输给SLAM服务器模块建点云地图；所述的离线建图，三维地图采集模块采集的图片信息通过硬盘转送给SLAM服务器模块建点云地图；所述的直接建图，三维地图采集模块包含一台轻便式服务器并通过有线连接双目USB相机，通过轻便式服务器直接将采集的图片信息建点云地图。
[0008]所述的直接建图中，所述的三维地图采集模块包括移动电源、笔记本电脑、已标定的双目USB相机和推行小车。
[0009]所述的三维地图采集模块建图时可手动设置当前FOV内点云地图的ID作为语义标签，不同ID的点云以不同颜色显示区分；生成的点云地图包括点云信息，ID信息，关键帧信息；所述的SLAM服务器模块启动时，加载已存储的点云地图，进行不间断扫描，利用视觉SLAM算法解析所述的APP模块的回传图像信息，根据定位结果和特征点匹配结果获得当前视角下的点云，获取其ID, 并以绿色点云显示。
[0010]所述的SLAM服务器模块包括一台高性能塔式服务器，搭载了Ubuntu 18.04操作系统和ROS Melodic系统。
[0011]所述的APP模块是在手机操作系统平台上运行的应用程序，包括安卓和IOS系统，用于实时显示场景地图和当前位置以及当前目标的导览信息。
[0012]所述的可穿戴式双目相机模块由一顶帽子和固定在帽子上的一个USB双目相机组成，并通过数据线与APP模块连接。
[0013]本专利技术相对于现有技术具有如下的优点和效果：1、本专利技术的使用场景更为广泛，如：室内外无GPS信号场景的定位及导览、室外精细场景下(如位置坐标相同，但视角不同代表不同景点的场景)的定位及智能导览等。
[0014]2、本专利技术使用视觉SLAM技术，可获得更高的定位准确度，并且可额外获得视角信息，可以在更精确的景区地图中发挥定位优势。
[0015]3、本专利技术重建的三维地图可以为AR/VR显示提供基础，从而实现更好的三维景区地图显示及交互效果。
附图说明
[0016]图1 是本专利技术的一种模块示意图。
[0017]图2是本专利技术的一种工作步骤示意图。
[0018]图3是本专利技术三维地图采集模块的三种工作模式。
[0019]图4是本专利技术SLAM服务器模块的工作过程示意图。
[0020]图5是本专利技术APP模块与SLAM服务器模块的通信方式示意图。
[0021]图6
‑
1是本专利技术APP模块中程序界面的Master URI处输入后端SLAM模块的示意图。
[0022]图6
‑
2是本专利技术APP模块中程序界面内的双目相机中拍摄的视频。
[0023]图6
‑
3是本专利技术APP模块中程序界面显示位置与导览信息。
[0024]图7是本专利技术可穿戴式双目相机模块的示意图。
具体实施方式
[0025]下面结合附图和实例对本专利技术做进一步的阐述。
[0026]如图1所示，一种基于视觉SLAM的智慧导游系统，包括三维地图采集模块、SLAM服务器模块、APP模块和可穿戴式双目相机模块。
[0027]所述的三维地图采集模块，用于采集陌生环境标注景点ID的地图信息并存储在磁盘中。如果三维地图已经预先建好，那么在熟悉场景本模块非必要。
[0028]所述的SLAM服务器模块与APP模块通过网络相连，由一台高性能塔式服务器构成，软件上搭载了Ubuntu 18.04操作系统和ROS Melodic系统，并运行双目SLAM定位系统。
[0029]所述的APP模块拥有从后端实时获取并显示场景地图和当前位置以及当前目标的导览信息的能力。其使用的场景地图应提前被加载，其所需的当前位置和当前目标的导览信息通过接收SLAM服务器模块的信息获得。其拥有通过ROS和无线网络连接向SLAM服务器模块实时发送图片信息的能力。
[0030]所述的可穿戴式双目相机模块通过数据线与APP模块连接，并可以实时将相机当前拍摄的视频、图像内容传输至APP模块中。
[0031]所述的三维地图采集模块是一个独立的模块，由一台移动电源、一台笔记本电脑、一台已标定的双目USB相机和一台本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉SLAM的智慧导游系统，其特征在于：包括前端和后端两个部分；所述的前端部分包括APP模块和可穿戴式双目相机模块；所述的后端部分包括SLAM服务器模块；所述的可穿戴式双目相机模块与APP模块相连，用于拍摄游客当前视角的双目图像并实时传输至APP模块；所述的APP模块用于回传图像信息到后端，接收后端传来的导览信息，并显示当前位置和导览信息；所述的SLAM服务器模块与APP模块通过ROS通信协议和无线网络实现双向通信，所述的SLAM服务器模块用于存储点云地图，利用视觉SLAM算法解析所述的APP模块的回传图像信息，与存储的点云地图进行匹配，若匹配后向APP模块发送导览信息和位置信息。2.根据权利要求1所述的一种基于视觉SLAM的智慧导游系统，其特征在于：还包括三维地图采集模块，具有实时定位和建图功能，用于采集陌生环境标注景点ID的地图信息并构建出点云地图存储在所述的SLAM服务器模块。3.根据权利要求1所述的一种基于视觉SLAM的智慧导游系统，其特征在于：所述的三维地图采集模块包括在线建图、离线建图，或者直接建图模式；所述的在线建图，三维地图采集模块和SLAM服务器模块通过无线网桥连接，采集的图片信息通过ROS内部协议传输给SLAM服务器模块建点云地图；所述的离线建图，三维地图采集模块采集的图片信息通过硬盘转送给SLAM服务器模块建点云地图；所述的直接建图，三维地图采集模块包含一台轻便式服务器并通过有线连接双目USB相机，通过...

【专利技术属性】
技术研发人员：何赛灵，马腾飞，马润川，邱翌，
申请(专利权)人：宁波利安科技股份有限公司，
类型：发明
国别省市：