船舶自动识别系统数据的处理方法、系统和存储介质技术方案

本发明专利技术公开了一种船舶自动识别系统数据的处理方法、系统和存储介质，该方法利用HBase对所述船舶自动识别系统数据进行处理，包括以下步骤：获取多个所述船舶自动识别系统数据存储在HBase中，每个所述船舶自动识别系统数据用于表示一个船舶的航行信息；按照预设的网格尺寸在经纬度地图上划分网格，得到网格图；将所述HBase中的船舶自动识别系统数据映射到所述网格图；按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离，以确定船舶之间的碰撞风险。以确定船舶之间的碰撞风险。以确定船舶之间的碰撞风险。

【技术实现步骤摘要】
船舶自动识别系统数据的处理方法、系统和存储介质


[0001]本专利技术涉及航海数据处理领域，尤其是一种船舶自动识别系统数据的处理方法、系统和存储介质。

技术介绍

[0002]AIS全名为船舶自动识别系统，全球任何500总吨以上的船舶都强制安装AIS系统，AIS主要包括岸基模块和船载设备两部分，是船舶的定位，通信和导航的重要系统,近年来获得了广泛的应用.利用AIS系统，可以实现航迹关联,获取船舶的经纬度信息,船舶航行动态信息等功能，AIS系统的应用在船舶水上交通及监管方面都具有极大的意义，而AIS数据由于信号发送时间间隔短，数据量极大，使得对于AIS数据的存储及处理成为数据利用与分析的主要瓶颈。AIS数据的数据量大，数据处理效率低，数据计算重复且准确性差，无法满足当前业务的数据处理需求。

技术实现思路

[0003]为解决上述技术问题的至少之一，本专利技术的目的在于：提供一种船舶自动识别系统数据的处理方法、系统和存储介质。
[0004]第一方面，本专利技术实施例提供了：
[0005]一种船舶自动识别系统数据的处理方法，利用HBase对所述船舶自动识别系统数据进行处理，包括以下步骤：
[0006]获取多个所述船舶自动识别系统数据存储在HBase中，每个所述船舶自动识别系统数据用于表示一个船舶的航行信息；
[0007]按照预设的网格尺寸在经纬度地图上划分网格，得到网格图；
[0008]将所述HBase中的船舶自动识别系统数据映射到所述网格图；
[0009]按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离，以确定船舶之间的碰撞风险。
[0010]在一些实施例中，在所述按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离时，对已经进行过计算的两个网格中的所述船舶自动识别系统数据不再计算。
[0011]在一些实施例中，所述网格大小为0.5
°
*0.5
°
。
[0012]在一些实施例中，在所述按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离的步骤之前，还包括：
[0013]根据网格在所述网格图中的位置对各所述网格进行分类标记，根据每个网格的分类标记确定该网格需要进行计算的相邻网格。
[0014]在一些实施例中，所述船舶自动识别系统数据至少包括：船舶名称、船舶MMSI、经度、纬度、航速、船首向、转向率和报告时间。
[0015]在一些实施例中，当一个船舶的所述船舶自动识别系统数据有多个时，根据报告
时间最新的一个作为该船舶在所述网格图中的船舶自动识别系统数据。
[0016]在一些实施例中，采用平方法或者内接矩阵法计算两个船舶的距离。
[0017]第二方面，本专利技术实施例提供了：
[0018]一种船舶自动识别系统数据的处理系统，利用HBase对所述船舶自动识别系统数据进行处理，包括：
[0019]获取单元，用于获取多个所述船舶自动识别系统数据存储在HBase中，每个所述船舶自动识别系统数据用于表示一个船舶的航行信息；
[0020]划分单元，用于按照预设的网格尺寸在经纬度地图上划分网格，得到网格图；
[0021]映射单元，用于将所述HBase中的船舶自动识别系统数据映射到所述网格图；
[0022]碰撞风险计算单元，用于按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离，以确定船舶之间的碰撞风险。
[0023]第三方面，本专利技术实施例提供了：
[0024]一种船舶自动识别系统数据的处理系统，包括
[0025]存储器，用于存储程序；
[0026]处理器，用于加载所述程序以执行上述的船舶自动识别系统数据的处理方法。
[0027]第四方面，本专利技术实施例提供了：
[0028]一种存储介质，其存储有程序，所述程序被处理器执行时实现上述的船舶自动识别系统数据的处理方法。
[0029]本专利技术实施例的有益效果是：本专利技术借助HBase进行AIS数据的存储与处理，利用HBase对海量数据处理的优势，增加数据并发处理的速度，利用网格计算算法解决数据计算重复及效率低下的问题。
附图说明
[0030]图1为根据本专利技术实施例提供的一种船舶自动识别系统数据的处理方法的流程图；
[0031]图2为根据本专利技术实施例提供的一种网格图的计算顺序示意图；
[0032]图3为根据本专利技术实施例提供的一种网格的示意图；
[0033]图4为根据本专利技术实施例提供的一种网格图的类型分布图。
具体实施方式
[0034]下面结合说明书附图和具体的实施例对本专利技术进行进一步的说明。
[0035]参照图1、图2、图3和图4，一种船舶自动识别系统数据的处理方法，利用HBase对所述船舶自动识别系统数据进行处理，包括以下步骤：
[0036]获取多个所述船舶自动识别系统数据存储在HBase中，每个所述船舶自动识别系统数据用于表示一个船舶的航行信息；
[0037]按照预设的网格尺寸在经纬度地图上划分网格，得到网格图；
[0038]将所述HBase中的船舶自动识别系统数据映射到所述网格图；
[0039]按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离，以确定船舶之间的碰撞风险。
[0040]如图2、图3和图4所示，对于划分后的每一个网格，应该定义网格ID，左下角网格坐标及右上角网格坐标。对每个网格定义type属性，根据所处位置，四个角的属性type值为3，边上的网格属性type值为1，内部的网格属性type值为2。
[0041]如图2所示为确定网格计算顺序，从左下角的网格开始计算。通过属性值，可以知道其位置，从而决定需要计算的相邻网格。
[0042]传统的AIS数据存储通常为文本形式或使用空间数据库postgres等结构化数据库存储，缺点就是数据存取效率差，且并发存取都有局限性，甚至导致进程崩溃的情况。解决数据存储及数据处理速度的问题。
[0043]本实施例借助HBase进行AIS数据的存储与处理，利用HBase对海量数据处理的优势，增加数据并发处理的速度，利用网格计算算法解决数据计算重复及效率低下的问题。
[0044]HBase的设计结构上满足AIS数据存储量大的特性，一张数据表可以有上亿行，将AIS数据按照时间戳(报告时间)倒序进行排序，存储到HBase中，数据结构如表1：
[0045]表1
[0046][0047][0048]本实施例采用网格划分的计算方式，用于数据已经经过解析处理后存储在HBase数据库中，利用HBase几乎不存在数据读取效率的问题的特点，剩下的就是对于读取到的数据的计算处理。本专利技术采用网格划分的方法，减少数据计算次数，同时也能够避免数据的重复计算和无效计算问题。
[0049]首先是如何划分网格本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种船舶自动识别系统数据的处理方法，其特征在于，利用HBase对所述船舶自动识别系统数据进行处理，包括以下步骤：获取多个所述船舶自动识别系统数据存储在HBase中，每个所述船舶自动识别系统数据用于表示一个船舶的航行信息；按照预设的网格尺寸在经纬度海图上划分网格，得到网格图；将所述HBase中的船舶自动识别系统数据映射到所述网格图；按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离，以确定船舶之间的碰撞风险。2.根据权利要求1所述的船舶自动识别系统数据的处理方法，其特征在于，在所述按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离时，对已经进行过计算的两个网格中的所述船舶自动识别系统数据不再计算。3.根据权利要求1所述的船舶自动识别系统数据的处理方法，其特征在于，所述网格大小为0.5
°
*0.5
°
。4.根据权利要求1所述的船舶自动识别系统数据的处理方法，其特征在于，在所述按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离的步骤之前，还包括：根据网格在所述网格图中的位置对各所述网格进行分类标记，根据每个网格的分类标记确定该网格需要进行计算的相邻网格。5.根据权利要求1所述的船舶自动识别系统数据的处理方法，其特征在于...

【专利技术属性】
技术研发人员：左少标，王乐凯，李嵩，周海龙，王传超，穆珂，刘文健，袁小平，李强，
申请(专利权)人：北明软件有限公司，
类型：发明
国别省市：