一种AIS数据处理方法及系统技术方案

本发明专利技术公开了一种AIS数据处理方法及系统，该方法包括：采集AIS数据，形成AIS数据消息；判断AIS数据消息中的数据是否存在异常，对AIS数据消息中的数据进行异常去除处理；对异AIS数据消息进行解码，并根据预置匹配规则对解码后得到的AIS数据进行匹配，形成AIS基础数据、AIS位置数据、AIS数据历史数据；建立AIS数据计算基础模型；将AIS基础数据、AIS位置数据、AIS数据历史数据以及AIS数据计算基础模型通过索引分布式文件存储形式存在至数据库。本发明专利技术实现了基于高质量AIS数据构建符合空间数据应用的数据资源池，可在此基础上基于标准数据服务实现数据的安全共享开放及相关监控管理。服务实现数据的安全共享开放及相关监控管理。服务实现数据的安全共享开放及相关监控管理。

【技术实现步骤摘要】
一种AIS数据处理方法及系统


[0001]本专利技术涉及数据处理
，具体来说，涉及一种AIS数据处理方法及系统。

技术介绍

[0002]船舶自动识别系统(Automatic Identification System，AIS)是一种新型的船舶避碰系统，也称无线电应答系统，用于船舶之间、船岸之间自动应答和识别，由AIS船台和AIS岸站系统组成，通过增强船舶识别和船舶动态信息收集的功能，实现船岸之间的信息传输和交换，可在航行安全、交通控制和海事管理方面发挥十分重要的作用。我国海事局自2003年起在沿海和内河沿岸建设船舶AIS岸基网络系统，同时在运输船舶上配备AIS船台，现已建成覆盖全国所有沿海水域和内河四级以上高等级航道水域的岸基网络。
[0003]随着该系统的深入推广和应用，海量船舶AIS数据不断积累，为后续数据分析应用创造了条件。船舶AIS数据内容丰富，能够从微观层面准确、真实地还原单条船舶的历史航行轨迹，从宏观层面反映群体船舶的航行特征、航道繁忙程度、港口作业效率、区域经济运行趋势和特点，对于行业管理部门和企业掌握行业发展态势、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AIS数据处理方法，其特征在于，包括：采集AIS数据，并将采集的所有AIS数据写入到消息队列，形成AIS数据消息；其中，所述AIS数据包括AIS转发数据、AIS实时数据、AIS历史数据；对所述AIS数据消息进行分析，判断AIS数据消息中的数据是否存在异常，并在判断结果为AIS数据消息中的数据存在异常的情况下，对AIS数据消息中的数据进行异常去除处理；对异常去除处理后的AIS数据消息进行解码，并根据预置匹配规则对解码后得到的AIS数据进行匹配，形成AIS基础数据、AIS位置数据、AIS数据历史数据；根据得到的AIS基础数据、AIS位置数据、AIS数据历史数据，通过预置的数据挖掘框架，建立AIS数据计算基础模型；将AIS基础数据、AIS位置数据、AIS数据历史数据以及AIS数据计算基础模型通过索引分布式文件存储形式存在至数据库，形成结构化AIS数据库。2.根据权利要求1所述的AIS数据处理方法，其特征在于，还包括：在采集的所有AIS数据写入到消息队列之前，对采集的所有AIS数据进行数据格式处理，促使所有AIS数据的格式为预置数据格式，并备份所有AIS数据；在对所有的AIS数据进行数据格式处理之后，对AIS实时数据进行时间戳判断；并在判断结果为AIS实时数据不具备时间戳的情况下，在AIS实时数据中写入时间戳。3.根据权利要求1所述的AIS数据处理方法，其特征在于，对所述AIS数据消息进行分析，判断AIS数据消息中的数据是否存在异常，并在判断结果为AIS数据消息中的数据存在异常的情况下，对AIS数据消息中的数据进行异常去除处理包括：对AIS数据消息中的数据，进行报文规则分析，判断AIS数据消息中的数据报文规则是否正确，并在判断结果为错误的情况下，删除对应的数据，其中，所述报文规则包括报文长度规则、报文项目规则、报文内容格式规则；对AIS数据消息中的数据，进行数据时隙分析，判断AIS数据消息中的每个数据是否为单条报文数据；并在判断结果为否的情况下，继续对该数据进行分析，确定该数据是否为数据时隙中的第一条报文数据，若是，则创建数据等待队列，若不是，则将该数据追加到数据等到队列，并在数据等到队列中所有时隙数据全部完成后，根据数据时隙对数据进行融合，形成完整的单条报文数据；对AIS数据消息中的数据，进行数据重复分析，判断AIS数据消息中的数据是否存在重复数据；并在判断结果为是的情况下，对重复的数据进行删除处理。4.据权利要求3所述的AIS数据处理方法，其特征在于，对AIS数据消息中的数据，进行数据重复分析，判断AIS数据消息中的数据是否存在重复数据包括：将AIS数据消息中的数据存储至预置内存数据表；并在单位时间内，从预置内存数据表中取出对应数据；将对AIS数据消息中的后续数据存储至所述内存数据表，并将后续数据与内存数据表中所记录的数据进行比对，在比对结果为具有相同数据的情况下，判断该数据为重复数据。5.根据权利要求1所述的AIS数据处理方法，其特征在于，根据预置匹配规则对解码后得到的AIS数据进行匹配，形成AIS基础数据、AIS位置数据、AIS数据历史数据包括：通过远程字典匹配规则，将解码后得到的AIS数据根据静态船舶数据、船舶位置信息数
据以及船舶历史数据，匹配分类为AIS基础数据、AIS位置数据、AIS数据历史数据；并对匹配分后的AIS基础数据、AIS位置数据、AIS数据历史数据，单独采用远程字典匹配规则进行内部重复数据匹配，并对应的重复数据进行去重处理。6.一种AIS数据处理系统，其特...

【专利技术属性】
技术研发人员：王乐凯，袁小平，孔宪聪，穆珂，
申请(专利权)人：北明成功软件山东有限公司，
类型：发明
国别省市：