一种基于深度学习和视觉SLAM的船舶航行辅助系统与方法技术方案

本发明专利技术公开了一种基于深度学习和视觉SLAM的船舶航行辅助系统与方法，包括智慧终端、物联网平台、流媒体服务器、视频分析处理模块和目标识别追踪模块，所述流媒体服务器、视频分析处理模块和目标识别追踪模块均与物联网平台之间交互连接，所述物联网平台与智慧终端之间交互连接，所述智慧终端内部嵌入式安装半自动标注模块。该基于深度学习和视觉SLAM的船舶航行辅助系统与方法，结合主动传感器(如：雷达、可见光摄像机、热成像摄像机等)探测与被动传感器(如：AIS、GPS等)探测技术，以及高度融合的实时态势与认知技术，对特定区域的目标进行实时检测、动态跟踪、智能预警、历史回溯，从而保障船舶安全和获取船舶以及船舶周围目标的有效监控。

【技术实现步骤摘要】
一种基于深度学习和视觉SLAM的船舶航行辅助系统与方法
本专利技术涉及船舶航行
，具体为一种基于深度学习和视觉SLAM的船舶航行辅助系统与方法。
技术介绍
航运是指通过水路运输来运送人或货物的运输方式。航运由于运量大、能耗小、成本低、环保等突出优点，在国际贸易和我国国民运输中占有重要地位。智能航运的发展将会在以下几方面产生重要意义:提高了航运运输能力；提高了航运的安全性。物联网是在互联网、移动通信网等通信网络基础上、针对不同应用领域的需求，利用具有感知、通信与计算能力的智能物体自动获取物理世界的各种信息，将所有能够独立寻址的物理对象互联起来、实现全面感知、可靠传输、智能分析处理，构建人与物、物与物互联的智能信息服务系统。在船舶领域，全球定位系统(GlobalPositioningSystem，GPS)、雷达(AutomaticRadarPlottingAid，ARPA)、闭路视频监控系统(Closedcircuitvideosurveillancesystem，CCTV)，船舶自动识别系统(AutomaticIdentificationSystem，AIS)、电子海图显示和信息系统等技术手段的应用使得船舶向信息化、智能化方向迅速发展，但离真正的自动感知、主观分析、智慧操作的智能船舶还有一定差距。物联网的出现为船舶智能化发展提供了新的思路，物联网技术提出了智慧船舶服务的新架构，提升了船舶的管理效率。“船联网”是物联网在航运领域的一种具体化发展形式，以航运管理精细化、行业服务全面化、出行体验人性化的目的，以企业、船户，船舶，货物为对象，覆盖航道、船闸、桥梁、港口和码头、融合物联网核心技术，以数据为中心，实现人船互联，船船互联、船货互联及船岸互联的智能航运信息综合服务网络，目前航运信息管理和服务水平还存在一些弊端，其中航运智能化效率偏低，船舶信息采集与共享成本过高已成为了制约航运发展的主要瓶颈，所以如何充分利用技术手段，全面建设“船联网”，以解决目前存在的问题，促进业务协同，保证船舶航行安全、货物高效运输等显得越发迫切，因此，我们提出一种基于深度学习和视觉SLAM的船舶航行辅助系统与方法，以便于解决上述中提出的问题。
技术实现思路
本专利技术的目的在于提供一种基于深度学习和视觉SLAM的船舶航行辅助系统与方法，以解决上述
技术介绍
提出的目前航运信息管理和服务水平还存在一些弊端，其中航运智能化效率偏低，船舶信息采集与共享成本过高已成为了制约航运发展的主要瓶颈问题。为实现上述目的，本专利技术提供如下技术方案：一种基于深度学习和视觉SLAM的船舶航行辅助系统，包括智慧终端、物联网平台、流媒体服务器、视频分析处理模块和目标识别追踪模块，所述流媒体服务器、视频分析处理模块和目标识别追踪模块均与物联网平台之间交互连接，所述物联网平台与智慧终端之间交互连接，所述智慧终端内部嵌入式安装半自动标注模块。优选的，所述目标识别追踪系统包括摄像头系统、雷达系统、AIS系统、VHF系统、水文监测仪和电子罗经，同时目标识别追踪系统基于摄像头系统、雷达系统、AIS系统、VHF系统、水文监测仪和电子罗经实现船只分类检测、船名检测和识别、电子追踪以及视频统合叠加，同时摄像头系统包括多个高清变焦摄像机和一体化云台摄像机。优选的，所述视频分析处理模块基于物联网平台辅助目标跟踪系统进行视频分析、船名识别并深度学习。优选的，所述物联网平台经由中心机房架设，且智慧终端通过物联网平台智能调取流媒体服务器、视频分析处理模块和目标识别追踪模块数据信息。本专利技术还提供一种基于深度学习和视觉SLAM的船舶航行辅助方法，所述辅助方法包含以下步骤：步骤一：在船舶对应位置分别进行摄像头系统、雷达系统、AIS系统、VHF系统、水文检测仪和电子罗经的对应嵌入安装；步骤二：进行网络架设，保证对应数据信息能够进行网络传输；步骤三：船舶航行时，经由摄像头系统、雷达系统、AIS系统、VHF系统、水文检测仪和电子罗经进行目标的检测；步骤四：通过视频分析处理模块辅助目标识别追踪系统进行摄像头系统捕捉摄像画面进行分析处理；步骤五：通过视频分析处理模块和目标识别追踪系统实时进行船只分类检测、船名检测和识别、电子追踪以及视频融合叠加；步骤六：同时通过流媒体服务器通过物联网平台实时进行画面转播，将画面转发至监控中心和智慧终端；步骤七：智慧终端基于内部嵌入的半自动标注模块进行船只标注，辅助航行；步骤八：视频分析处理模块基于物联网平台接收标注信息，辅助图片信息进行深度学习。优选的，所述目标识别追踪系统基于摄像头系统、雷达系统、AIS系统、VHF系统、水文监测仪和电子罗经实时监测识别船舶航行四周图像、水质环境、地理环境和周边物理环境等，同时监测船舶姿态以及定位信息。优选的，步骤五船只分类检测是指对船只的特征提取：颜色特征提取、形状特征提取、运动特征提取、特征匹配、目标位置预测等。优选的，所述船名检测和识别基于深度卷积神经网络迁移学习检测，其收集不同船泊类型、不同船名标识风格、不同图片分辨率、不同背景、不同季节、不同时段、不同光照、不同角度等影响因素下百万级样本，且对样本基于智慧终端进行人工标注，以进行深度学习。优选的，所述电子追踪基于视频信息完成，在事先不了解目标运动信息的条件下，通过来自信息源的数据实时估计出目标的运动状态，从而实现对目标的跟踪，既确定同一目标在图像序列不同帧中相应位置，将图像序列在空间域中分割为若干运动对象，在时间域中对这些对象进行建模、检测和跟踪。优选的，所述视频融合叠加是将经过分析处理的船只各类信息融合到视频里的目标上，增强目标可视化及可识别，同时通过流媒体服务器能够进行数据信息的储存提取等。与现有技术相比，本专利技术的有益效果是：该基于深度学习和视觉SLAM的船舶航行辅助系统与方法，结合主动传感器(如：雷达、可见光摄像机、热成像摄像机等)探测与被动传感器(如：AIS、GPS等)探测技术，以及高度融合的实时态势与认知技术，对特定区域的目标进行实时检测、动态跟踪、智能预警、历史回溯，从而保障船舶安全和获取船舶以及船舶周围目标的有效监控。附图说明图1为本专利技术系统流程示意图1；图2为本专利技术系统流程示意图2；图3为本专利技术系统架构示意图；图4为本专利技术设备布局图；图5为本专利技术物理拓扑图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-5，本专利技术提供一种技术方案：一种基于深度学习和视觉SLAM的船舶航行辅助系统，包括智慧终端、物联网平台、流媒体服务器、视频分析处理模块和目标识别追踪模块，流媒体服务器、视频分析处理模块和目本文档来自技高网...

【技术保护点】
1.一种基于深度学习和视觉SLAM的船舶航行辅助系统，包括智慧终端、物联网平台、流媒体服务器、视频分析处理模块和目标识别追踪模块，其特征在于：所述流媒体服务器、视频分析处理模块和目标识别追踪模块均与物联网平台之间交互连接，所述物联网平台与智慧终端之间交互连接，所述智慧终端内部嵌入式安装半自动标注模块。/n

【技术特征摘要】
1.一种基于深度学习和视觉SLAM的船舶航行辅助系统，包括智慧终端、物联网平台、流媒体服务器、视频分析处理模块和目标识别追踪模块，其特征在于：所述流媒体服务器、视频分析处理模块和目标识别追踪模块均与物联网平台之间交互连接，所述物联网平台与智慧终端之间交互连接，所述智慧终端内部嵌入式安装半自动标注模块。


2.根据权利要求1所述的一种基于深度学习和视觉SLAM的船舶航行辅助系统，其特征在于：所述目标识别追踪系统包括摄像头系统、雷达系统、AIS系统、VHF系统、水文监测仪和电子罗经，同时目标识别追踪系统基于摄像头系统、雷达系统、AIS系统、VHF系统、水文监测仪和电子罗经实现船只分类检测、船名检测和识别、电子追踪以及视频统合叠加，同时摄像头系统包括多个高清变焦摄像机和一体化云台摄像机。


3.根据权利要求1所述的一种基于深度学习和视觉SLAM的船舶航行辅助系统，其特征在于：所述视频分析处理模块基于物联网平台辅助目标跟踪系统进行视频分析、船名识别并深度学习。


4.根据权利要求1所述的一种基于深度学习和视觉SLAM的船舶航行辅助系统，其特征在于：所述物联网平台经由中心机房架设，且智慧终端通过物联网平台智能调取流媒体服务器、视频分析处理模块和目标识别追踪模块数据信息。


5.一种基于深度学习和视觉SLAM的船舶航行辅助方法，其特征在于：所述辅助方法包含以下步骤：
步骤一：在船舶对应位置分别进行摄像头系统、雷达系统、AIS系统、VHF系统、水文检测仪和电子罗经的对应嵌入安装；
步骤二：进行网络架设，保证对应数据信息能够进行网络传输；
步骤三：船舶航行时，经由摄像头系统、雷达系统、AIS系统、VHF系统、水文检测仪和电子罗经进行目标的检测；
步骤四：通过视频分析处理模块辅助目标识别追踪系统进行摄像头系统捕捉摄像画面进行分析处理；
步骤五：通过视频分析处理模块和目标识别追踪系统实时进行船只分类检测、船名检测和识别、电子追踪以...

【专利技术属性】
技术研发人员：李鹭，
申请(专利权)人：四川智海联科技有限公司，
类型：发明
国别省市：四川;51