一种航运大数据的采集存储系统技术方案

本发明专利技术公开了一种航运大数据的采集存储系统，所述系统包括：航运大数据采集器、高速并联数据处理器和HBase存储存数据库；所述航运数据采集器，用于采集航运数据并进行临时存储，所述航运数据包括：环境数据、船舶状态数据和驾驶行为数据；所述高速并联数据处理器，用于对多种维度的航运数据进行自定义索引；所述HBase存储存数据库，用于利用分布式架构以及自定义的索引实现航运数据的快速存储。本发明专利技术的系统能够对TB级别航运大数据的采集和存储，并提供快速查询的功能。

【技术实现步骤摘要】
一种航运大数据的采集存储系统
本专利技术涉及数据存储领域，具体涉及一种航运大数据的采集存储系统。
技术介绍
无人船的发展已是当今航运领域发展的必然趋势。随着大数据、人工智能、传感器、物联网等新型技术的迅速发展，无人船已进入高速发展阶段，作为无人船的主要关键技术之一，自主航行功能的实现对于无人船则是重中之重。在自主航行中，由于外部传感器较多，所获取的航运数据量较大，因此，对于自主航行中航运大数据的存储与管理提出了挑战，但是，现有技术不利于实现数据高效管理和数据共享的目标。此外，航运数据是一类典型的时空数据。时空数据的快速查询一般都通过建立时空索引来实现。关系型数据库常采用R树及其变种、四叉树和K-D树(K-Dimensiontree)等结构来实现时空索引，但航运时空数据的实时产生使得维护这类索引结构代价非常高，并且应用时需要修改原有程序框架，具有侵入性，并不适用于创建海量航运数据的时空索引。在此情形下，如何设计高效、无侵入的时空索引，实现海量航运数据的快速时空查询成了一大挑战。
技术实现思路
>本专利技术的目的在本文档来自技高网...

【技术保护点】
1.一种航运大数据的采集存储系统，其特征在于，所述系统包括：航运大数据采集器、高速并联数据处理器和HBase存储存数据库；/n所述航运数据采集器，用于采集航运数据并进行临时存储，所述航运数据包括：环境数据、船舶状态数据和驾驶行为数据；/n所述高速并联数据处理器，用于对多种维度的航运数据进行自定义索引；/n所述HBase存储存数据库，用于利用分布式架构以及自定义的索引实现航运数据的快速存储。/n

【技术特征摘要】
1.一种航运大数据的采集存储系统，其特征在于，所述系统包括：航运大数据采集器、高速并联数据处理器和HBase存储存数据库；
所述航运数据采集器，用于采集航运数据并进行临时存储，所述航运数据包括：环境数据、船舶状态数据和驾驶行为数据；
所述高速并联数据处理器，用于对多种维度的航运数据进行自定义索引；
所述HBase存储存数据库，用于利用分布式架构以及自定义的索引实现航运数据的快速存储。


2.根据权利要求1所述的航运大数据的采集存储系统，其特征在于，所述环境数据包含摄像头采集的数据、激光雷达采集的数据、风力和北斗/GPS数据；所述船舶状态数据包含震动、加速度、角速度、速度和航向；所述驾驶行为数据包含加速行为、减速行为和转弯行为。


3.根据权利要求2所述的航运大数据的采集存储系统，其特征在于，所述环境数据、船舶状态数据和驾驶行为数据划分为时间序列数据和图像数据；所述时间序列数据采用内存数据库和关系数据库相结合进行临时存储，所述图像数据采用专用RAID阵列以文件的格式进行存储；并且在关系型数据库中使用相关的属性字段来匹配。


4.根据权利要求1所述的航运大数据的采集存储系统，其特征在于，所述高速并联数据处理器的具体处理过程为：
构建STG时空索引，该索引将时间分割成年月日和时分秒两部分，并将年月日作为行键首字符，然后是Geohash编码，最后是时间的时分秒，即年月日+Geohas...

【专利技术属性】
技术研发人员：张宝晨，李春旭，张鹭，耿雄飞，殷悦，
申请(专利权)人：交通运输部水运科学研究所，
类型：发明
国别省市：北京;11