基于深度学习和大数据的全天候徒步旅行辅助系统及方法技术方案

本发明专利技术提供一种基于深度学习和大数据的全天候徒步旅行辅助系统，包括：中心服务器、智能眼镜和远程智能设备；其中，所述中心服务器用于分配管理智能眼镜和远程智能设备的匹配连接，以及实时比对和更新完整的三维地图模型；所述中心服务器将景区完整的三维地图模型提供给智能眼镜，作为GPS定位导航的补充以及危险预测的依据；所述智能眼镜用于采集图像和视频数据，进行实时图像增强处理，构建局部三维地图模型，在三维地图上标记危险所在的位置，并对当前用户可能遇到的危险进行预警；所述远程智能设备通过中心服务器与所需远程监控的智能眼镜匹配连接，以便通过远程智能设备查看来自智能眼镜的图像数据，确保特殊的智能眼镜佩戴群体的出行安全。眼镜佩戴群体的出行安全。眼镜佩戴群体的出行安全。

【技术实现步骤摘要】
基于深度学习和大数据的全天候徒步旅行辅助系统及方法


[0001]本专利技术属于图像增强和大数据三维地图建模
，尤其是一种基于机器视觉的同时定位和地图构建的全天候户外徒步旅行智能辅助系统及方法。

技术介绍

[0002]徒步旅行作为一种户外运动方式由来已久，发展至今，已由少数人寻求刺激、挑战自身极限的项目，变为世界性的时尚健康运动。徒步旅行通常指在郊区、山野或者沙漠进行中长距离的走路锻炼，它不仅锻炼人的体魄与耐力，陶冶人的心灵和性情，促进人际交流，而且能够激发人们热爱自然、热爱生活的情感，使久居都市的人们的疲惫心灵得到放松。但户外徒步的旅行方式存在风险，旅行者稍有不慎就可能陷入危险，若误入地势险峻的陌生区域，可能酿成迷路、被困住、失去行动力，甚至坠崖或落水等惨剧。
[0003]野外地势的不易观测性是造成户外运动事故的主要因素之一，这个问题可通过现有的一套智能辅助预警系统初步解决，但这套方案存在功耗大、成本高等问题，且无法全天候工作、无法预测危险。该系统实时感知周围环境并进行地图建模，能分析计算出用户身边的潜在危险，专利技术专利申请号为201810437491.4，名称为一种用于户外探险的夜行路况标识系统，提供了一种用于户外探险的夜行路况标识系统，包括：AR眼镜，红外摄像头，超声波传感器，微型投影仪和中央控制器。该系统将增强现实技术应用于夜行路况标识功能上，具有较高程度的自主分析功能，无需使用GPS信号导航功能，仅佩戴可移动的AR视觉眼镜，即可在行走过程中随时观察到图像化的路况标识信息，避免因导航不准确而给探险者带来新的危险。但是，该系统无法全天候工作，其所采用的红外相机拍摄图像受环境因素影响较大，日照环境中强烈的红外线和湖面等的反射红外线会导致误测现象，雨天的雨水会反射和折射红外光线，下雪天温度较低会减少红外辐射、雪花也会影响红外线的传播，造成该系统效果变差甚至无法使用；而该系统所采取的利用超声波测距进行自身定位的准确度也会受到雨滴、雪花等干扰和影响。超声波传感器的特性决定了其测距范围有限，必须使用能耗较高体积较大的大功率超声波传感器才能进行远距离测距，高能耗会造成野外便携式设备的待机时间降低，并且超声波测距精度也会受山区林间局部温差大、空气密度不均和复杂表面多次反射散射等环境因素影响而下降。并且红外摄像头由于使用特殊的传感器和光学镜头，其价格远远高于普通彩色摄像头，因此该系统价格高昂，体积较大，待机时间较短，普通用户无法接受。此外，该系统只能探测视距范围内的局部地形，无法在深山或密林等地区对前方地形进行预测而给予用户预警。
[0004]传统的地图构建和定位技术主要采用激光雷达和卫星定位技术，专利技术专利申请号为202011409963.9，名称为一种移动机器人路径规划方法、装置及存储介质，公开了一种移动机器人路径规划方法、装置及存储介质，通过基于移动机器人车载激光雷达获取的环境信息构建环境地图，进行栅格地图建模。该构建环境地图的方法成本较高，并且激光雷达受恶劣环境如雨雪天气的影响，而移动机器人无法在地势崎岖的山区工作。同时，GPS卫星定位技术在山川、峡谷等区域存在信号弱的情况，且只有定位功能，无法观测到遮蔽物如树木
下面的具体路面情况。

技术实现思路

[0005]本专利技术所要解决的技术问题在于，提供一种适用于户外旅行者且便于景区管理的智能辅助系统，要求高度可视化，实用性强，受光线、天气等环境因素影响小，对危险有预测功能。
[0006]为了解决上述技术问题，本专利技术提出了一种基于超StarGAN网络图像增强处理算法和双目视觉SLAM(simultaneous localization and mapping，同时定位和地图构建)技术的二十四小时全天候智能眼镜、景区三维地图构建系统及其控制方法，包括中心服务器、智能眼镜、远程智能设备和提示手环。
[0007]所述中心服务器主要用于分配管理智能眼镜和远程智能设备的匹配连接，以及实时比对和更新完整的三维地图模型。中心服务器通过无线连接与智能眼镜、远程智能设备通信；中心服务器有强大的数据库功能，可以存储各个智能眼镜与远程智能设备的匹配连接；由中心服务器向智能眼镜、远程智能设备分配中心服务器自定义的ID，从而进行对匹配连接的管理。中心服务器接收由各个智能眼镜提供的局部三维地图模型和用户标记的危险信息，通过大数据分析，筛选重构，构建景区完整的三维地图模型并不断更新完善，同时将景区完整的三维地图模型提供给智能眼镜，作为GPS定位导航的补充以及危险预测的依据；所述三维地图模型包含用户标记的危险信息。
[0008]所述智能眼镜本体内集成有中央处理器(含双目SLAM处理单元)、GPS定位模块、耳骨传导耳机、无线通信模块、双目摄像头(普通彩色双目摄像头)、AR显示镜片(含显示图像投射模块)、内存模块、电源模块、标记与示警模块。其中，双目摄像头设在智能眼镜本体前端两侧，能实时采集图像和视频数据。标记与示警模块可供用户通过所述标记与示警模块的按键选择遇到的危险类型，结合用户当前的GPS定位信息，在三维地图上标记危险所在的位置，即用户标记的危险信息；也能通过耳骨传导耳机播放语音提示、AR显示镜片上显示三维地图模型与危险信息标记，对当前用户可能遇到的危险进行预警；所述危险信息标记为其他用户标记的危险信息。智能眼镜可通过无线通信模块与中心服务器、提示手环连接通信；智能眼镜将构建的局部三维地图模型与用户标记的危险信息一起上传至中心服务器。
[0009]进一步地，所述无线通信模块包含WIFI模块、蓝牙模块、5G模块等。
[0010]所述智能眼镜可以实时采集用户眼前的影像，收集用户标记的危险信息，在中央处理器中构建局部三维地图模型，建立的局部三维地图模型结合GPS定位信息与用户标记的危险信息存储在内存模块并传输给AR显示镜片显示，同时利用无线通信模块传输至中心服务器，并根据中心服务器数据库中存储的匹配连接信息共享给对应的远程智能设备。同时，智能眼镜可以下载包含其他用户标记的危险信息的景区完整的三维地图模型，利用模板匹配，将双目摄像头拍摄范围内的局部三维地图模型与完整的三维地图模型进行搜索比对，判断出用户所在的位置以及用户面朝的方向。通过这种模板匹配的方式，智能眼镜在GPS信号弱的地区也可以实现定位。并且智能眼镜在判断用户面朝的方向后，可以根据完整的三维地图模型预测用户前方地形，对危险进行预警。
[0011]所述智能眼镜在实现构建三维地图模型等功能前，中央处理器先将双目摄像头采到的影像进行图像增强处理。图像增强处理包括：黑夜增强和去雨去雪去雾。图像增强处理
算法框架基于超StarGAN网络，该网络由2个ResNext判断网络[1]和1个StarGAN网络[2]构成。经图像增强处理后的图像提供给中央处理器的双目SLAM处理单元[3]构建局部三维地图模型。
[0012]所述2个ResNext判断网络包括：ResNext
‑
2判断网络和ResNext
‑
4判断网络。ResNext
‑
2判断网络可将输入图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，包括：中心服务器、智能眼镜和远程智能设备；其中，所述中心服务器用于分配管理智能眼镜和远程智能设备的匹配连接，以及实时比对和更新完整的三维地图模型；所述中心服务器将景区完整的三维地图模型提供给智能眼镜，作为GPS定位导航的补充以及危险预测的依据；所述三维地图模型包含用户标记的危险信息；所述智能眼镜用于采集图像和视频数据，进行实时图像增强处理，构建局部三维地图模型；所述智能眼镜并从所述中心服务器下载景区完整的三维地图模型，并在三维地图上显示危险信息标记，对当前用户可能遇到的危险进行预警；所述危险信息标记为其他用户标记的危险信息；所述远程智能设备通过中心服务器与所需远程监控的智能眼镜匹配连接，以便通过远程智能设备查看来自智能眼镜的图像数据，确保特殊的智能眼镜佩戴群体的出行安全。2.如权利要求1所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，进一步包括：提示手环，其与所述智能眼镜进行配对使用，智能眼镜将危险信息标记通过无线通信模块发送给提示手环，提示手环采用振动的方式提示用户。3.如权利要求1所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，所述中心服务器接收由各个智能眼镜提供的局部三维地图模型，通过大数据分析，筛选重构，构建景区完整的三维地图模型并不断更新完善。4.如权利要求1所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，所述智能眼镜下载景区完整的三维地图模型，利用模板匹配，将拍摄范围内的局部三维地图模型与完整的三维地图模型进行搜索比对，判断出用户所在的位置以及用户面朝的方向；根据完整的三维地图模型预测用户前方地形，对危险进行预警。5.如权利要求1所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，所述智能眼镜集成有中央处理器、GPS定位模块、耳骨传导耳机、无线通信模块、双目摄像头、AR显示镜片、内存模块、电源模块、标记与示警模块；所述中央处理器设置有双目SLAM处理单元；所述双目摄像头设在智能眼镜本体前端两侧，实时采集图像和视频数据；所述标记与示警模块供用户通过按键选择遇到的危险类型，结合用户当前的GPS定位信息，在三维地图上标记危险所在的位置，即用户标记的危险信息；所述标记与示警模块根据其他用户标记的危险信息，通过耳骨传导耳机播放语音提示；所述AR显示镜片上显示三维地图模型与危险信息标记，对当前用户可能遇到的危险进行预警；所述智能眼镜通过无线通信模块与中心服务器通信，将构建的局部三维地图模型与用户标记的危险信息一起上传至所述中心服务器。6.如权利要求5所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，所述智能眼镜在构建三维地图模型前，中央处理器先将采集的影像进行图像增强处理，包括：黑夜增强和去雨去雪去雾；图像增强处理算法框架基于超StarGAN网络，所述超StarGAN网络由2个ResNext判断网络和1个StarGAN网络构成；经图像增强处理后的图像提
供给所述双目SLAM处理单元构建局部三维地图模型。7.如权利要求6所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，2个所述ResNext判断网络包括：ResNext
‑
2判断网络和ResNext
‑
4判断网络；...

【专利技术属性】
技术研发人员：邱崧，夏思为，龙彦汐，姜梦圆，李外云，金豫，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：