一种基于大数据平台针对AIS信息源的数据挖掘系统技术方案

一种基于大数据平台针对AIS信息源的数据挖掘系统，包括数据采集系统、数据存储系统、数据挖掘系统及数据分析系统；所述数据存储系统为分布式存储系统，所述数据挖掘系统包括对数据的分类统计、目标运动特征分析、目标密度分布分析、目标航迹分布分析、活动规律分析、异常行为检测分析。通过对AIS数据挖掘任务，如轨迹模式挖掘，轨迹不确定性、异常值检测、停留点、分类。如异常值检测可以发现“异常行为船舶”；分类帮助分析不同类型的船舶的航行情况等共同特征；停留点检测可以帮助确定热点港口并侧面了解该港口的进出口贸易指标。

A Data Mining System Based on Big Data Platform for AIS Information Source

【技术实现步骤摘要】
一种基于大数据平台针对AIS信息源的数据挖掘系统
本专利技术属于大数据领域，涉及一种基于大数据平台针对AIS信息源的数据挖掘系统；AIS是船舶自动识别系统，海量数据的采集、存储、挖掘，特别是数据挖掘的算法和模型是大数据领域的难点和重点。
技术介绍
在船舶智能避碰研究当中，为了生成更为可靠有效的避碰决策，信息源的种类不仅仅局限于当前时刻两船的位置、航向、速度等因素，同样还应考虑他船的航行意图，接下来的船舶动向，未来他船可能到达的位置，使得整体的智能避碰系统具有先验性，预见性，可以使得最后生成的避碰决策更加可靠，可以有效的降低碰撞风险，避免由于碰撞所引起的人身以及财产的损失。同时在港口监管部门对所管理区域进行安全监控时，需要动态的去识别船舶的异常行为，发现有异常行为的船舶需要重点关注，这样可以有效的降低监管人员的工作量，同时降低监控系统的误报警率。所以实时、高精度的预测船舶航行行为是需要进行深入研究的问题。船舶航行行为又称为机动行为，它是船舶的运动过程。船舶轨迹中每3个点就构成一个运动过程，即每3个轨迹点包含1个船舶操纵行为事件。应用船舶自动识别系统(AutomaticIdentificationSystem，AIS)大数据作为学习样本，在海事研究当中AIS数据获取简单，数据来源可靠精度高，船舶自动识别系统(AIS)已经被国际航行的300总吨以上的船舶和国内航行500吨以上的货船和客船强制安装，并且也逐渐在越来越多的渔船上安装。适用范围广，可以说在非近岸海域的区域当中，AIS的覆盖率极高，几乎和实际船舶一一对应。同时也随着各国AIS基站网络的建立和星载AIS群的出现，AIS数据的收集也得到了解决，AIS已成为近乎实时的全球海上交通信息来源。AIS数据为多元多维数据，其中包含各种船舶信息，AIS轨迹数据可描述船舶的空间位置和属性随时间的变化。船舶AIS轨迹点由船舶采样点位置(GPS位置)、采样时间、海上移动识别码(MaritimeMobileServiceIdentify，MMSI)、对地速度(SOG)、对地航向(COG)、航行状态和转向速率等构成。这些轨迹点数据信息根据时间采样先后顺序构成了轨迹点序列。随着航海信息技术的迅速进步，船舶自动识别系统产生的航行数据(简称AIS数据)呈现爆发式增长。这些海量的AIS数据蕴含有丰富的物流、航运、海上交通等有用知识。传统的数据分析方法已不能满足现代航运业快速发展的要求，急需有效的理论与技术对这些大量的AIS数据进行分析和应用。数据挖掘和聚类作为一种从海量数据中挖掘有用的、具有潜在效用知识的理论与方法，已经成为海量AIS数据的主要分析技术。空间点在轨迹中不是同等重要的，有些点表示人们在那里停留了一段时间的位置，我们称之为“停留点”(StayPoint)；在AIS轨迹数据的分类、聚类、异常发现等诸多数据挖掘问题时，我们需要计算轨迹和几个点之间的距离(或者，我们可以说相似性)或两个轨迹之间的距离。假设给定两AIS轨迹数据T1和T2，一个相似性度量函数Dist(T1,T2)。如果轨迹数据T1和T2满足Dist(T1,T2)≤ε，则称AIS轨迹数据T1和T2是相似的；一个离群轨迹是在一个距离度量，例如形状和旅行时间上与资料库中其他的轨迹有明显不同的一个轨迹，或者是轨迹的一部分。这种离群轨迹可能是船舶的恶意绕道或意外的航线变化(由于海面天气变化等)。它还能提醒行驶在错误的道路上的船舶。一般的想法是利用现有的轨迹聚类或频繁模式挖掘方法。如果一个轨迹(或一个部分)不能在任何(基于密度的)聚类中被容纳，或者不频繁，它可能是一个异常值。现有技术主要是针对常见固定区域数据研究，对针对大区域大批量数据挖掘，如何做到快速响应；AIS数据可以挖掘出哪些更深层次的实际应用业务点，是本来领域技术人员着重要研究的内容。
技术实现思路
为克服上述现有技术中的不足，本专利技术目的在于提供一种基于大数据平台针对AIS信息源的数据挖掘系统。为实现上述目的及其他相关目的，本专利技术提供一种基于大数据平台针对AIS信息源的数据挖掘系统，包括数据采集系统、数据存储系统、数据挖掘系统及数据分析系统；所述数据存储系统为分布式存储系统，所述数据挖掘系统包括对数据的分类统计、目标运动特征分析、目标密度分布分析、目标航迹分布分析、活动规律分析、异常行为检测分析；所述数据挖掘系统支持AIS数据批量处理、AIS数据查询及AIS数据可视化；所述AIS数据批量处理包括历史数据存储、统计分析、数据挖掘及结果保存；所述AIS数据查询包括对于AIS轨迹数据的查询和对AIS数据进行统计分析的交互式查询；所述AIS数据可视化分包括对AIS数据本身的可视化和对AIS数据挖掘结果的可视化。进一步地，所述分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。使用Hadoop作为存储系统，并将逐个介绍它的文件系统、资源调度系统、系统高可用性和数据库建表。针对AIS数据，可以设计多层次的数据库结构。进一步地，还包括数据预处理系统，所述数据预处理系统负责数据清洗、异常数据处理及特征提取；在使用AIS数据之前，对异常数据处理、轨迹分段和压缩、停留点检测或地图匹配需要进行轨迹数据预处理；数据预处理系统通过数据清洗、数据集成、数据变换及数据规约方法对原始数据进行处理；从而提高数据挖掘模式的质量。进一步地，所述数据挖掘系统还包括统计分析，所述统计分析从时间和空间两个维度对AIS数据进行分析，包括基于空间的统计分析和基于时间的统计分析。进一步地，所述数据挖掘系统还包括索引系统，所述索引系统是对AIS数据和挖掘结果建立索引，满足范围和相似度的查询需求；对于轨迹数据主要是范围查询和K-最近邻(KNN,K-NearestNeighbor)查询。进一步地，所述数据挖掘系统还包括查询系统，所述查询系统基于索引系统，并对外提供查询服务和聚合运算；对于轨迹数据主要是范围查询和K-最近邻查询。进一步地，所述数据挖掘系统用于深度挖掘AIS数据的价值，包括停留点、相似度以及异常检测数据的挖掘。由于上述技术方案运用，本专利技术与现有技术相比具有的有益效果是：本专利技术能够快速准确地提取船只目标，能够在保持完整数据原有特征的同时，大大减少计算开销和网络数据传输量，满足资源受限环境下快速检测重要船只目标的查询需求。通过对AIS数据挖掘任务，如轨迹模式挖掘，轨迹不确定性、异常值检测、停留点、分类。如异常值检测可以发现“异常行为船舶”；分类帮助分析不同类型的船舶的航行情况等共同特征；停留点检测可以帮助确定热点港口并侧面了解该港口的进出口贸易指标。附图说明图1为本专利技术系统组成示意图；图2为本专利技术实施例中空间点在轨迹中的示意图；图3为本专利技术实施例中聚类算法核心对象点分布示意图；图4为本专利技术实施例应用场景一的参照航迹示意图；图5为本专利技术实施例应用场景二的相似航迹示意图；图6为本专利技术实施例应用场景三的异常航迹示意图。具体实施方式以下结合附图，由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效。实施例：如图1所示，一种基于大数据平台针对AIS信息源的数据本文档来自技高网...

【技术保护点】
1.一种基于大数据平台针对AIS信息源的数据挖掘系统，其特征在于：包括数据采集系统、数据存储系统、数据挖掘系统及数据分析系统；所述数据存储系统为分布式存储系统，所述数据挖掘系统包括对数据的分类统计、目标运动特征分析、目标密度分布分析、目标航迹分布分析、活动规律分析、异常行为检测分析；所述数据挖掘系统支持AIS数据批量处理、AIS数据查询及AIS数据可视化；所述AIS数据批量处理包括历史数据存储、统计分析、数据挖掘及结果保存；所述AIS数据查询包括对于AIS轨迹数据的查询和对AIS数据进行统计分析的交互式查询；所述AIS数据可视化分包括对AIS数据本身的可视化和对AIS数据挖掘结果的可视化。

【技术特征摘要】
1.一种基于大数据平台针对AIS信息源的数据挖掘系统，其特征在于：包括数据采集系统、数据存储系统、数据挖掘系统及数据分析系统；所述数据存储系统为分布式存储系统，所述数据挖掘系统包括对数据的分类统计、目标运动特征分析、目标密度分布分析、目标航迹分布分析、活动规律分析、异常行为检测分析；所述数据挖掘系统支持AIS数据批量处理、AIS数据查询及AIS数据可视化；所述AIS数据批量处理包括历史数据存储、统计分析、数据挖掘及结果保存；所述AIS数据查询包括对于AIS轨迹数据的查询和对AIS数据进行统计分析的交互式查询；所述AIS数据可视化分包括对AIS数据本身的可视化和对AIS数据挖掘结果的可视化。2.根据权利要求1所述的基于大数据平台针对AIS信息源的数据挖掘系统，其特征在于：所述分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。3.根据权利要求1所述的基于大数据平台针对AIS信息源的数据挖掘系统，其特征在于：还包括数据预处理系统，所述数据预处理系统负责数据清洗、异常数据处理及特征提取；在使用AIS数据之前，对异常数据处...

【专利技术属性】
技术研发人员：史金梁，张瑞，方明来，
申请(专利权)人：江苏锐天信息科技有限公司，
类型：发明
国别省市：江苏,32