一种基于大数据和AI运算的船舶目标处理方法技术

本发明专利技术涉及一种基于大数据和AI运算的船舶目标处理方法，包括：船舶目标对接，对不同类型的船舶来源，通过主流的消息队列Kafka来完成数据的收集和分发；算法模型训练，由flume建立数据仓库，经Hive进行格式化存储用来进行数据提取、转化、加载，充分利用Hadoop中的大规模数据的机制确保算法模型的有效训练；算法实时运算，由Flink完成数据清洗和数据转换以及轨迹压缩和数据回放，将数据转存至ElasticSearch中，进行大量数据的快速检索。本发明专利技术可有效解决大量船舶目标融合效率低、算法运行速度慢、轨迹回放实时性差的问题。轨迹回放实时性差的问题。

【技术实现步骤摘要】
一种基于大数据和AI运算的船舶目标处理方法


[0001]本专利技术属于海上船舶定位
，涉及一种基于大数据和AI运算的船舶目标处理方法。

技术介绍

[0002]当前沿海地区拥有大量船舶，在进行船舶管理过程中，涉及大量船舶目标动态数据的处理，数据每1
‑
3秒更新一次，以一省大约有2万只船舶目标估算，通过不同的雷达、AIS来源，以及北斗数据来源，原始目标数据每秒大约有6
‑
8万条，而且要在大量的船舶目标中发现异常船舶目标，需要进行大量数据的实时算法运算，但目前的算法船舶目标融合效率低，运行速度慢，轨迹回放实时性差，不能满足船舶数据实时处理的需求。

技术实现思路

[0003]本专利技术的目的是提出一种基于大数据和AI运算的船舶目标处理方法，解决目前大量船舶目标融合效率低，算法运行速度慢的，轨迹回放实时性差的问题。
[0004]本专利技术的技术方案如下：
[0005]一种基于大数据和AI运算的船舶目标处理方法，其特征在于，包括：
[0006](1)船舶目标对接：对不同类型的船舶来源，利用Kafka的高吞吐量的分布式发布订阅消息技术特点，通过主流的消息队列Kafka来完成数据的收集和分发；
[0007](2)算法模型训练：由flume建立数据仓库，经Hive进行格式化存储用来进行数据提取、转化、加载，充分利用Hadoop中的大规模数据的机制确保算法模型的有效训练；
[0008](3)算法实时运算：由Flink完成数据清洗和数据转换以及轨迹压缩和数据回放，将数据转存至ElasticSearch中，进行大量数据的快速检索。
[0009]本专利技术提出的技术架构相比现有算法效率更高、运行更稳、速度更快，可有效解决大量船舶目标融合效率低，算法运行速度慢，轨迹回放实时性差的问题。
具体实施方式
[0010]本专利技术分为船舶目标对接、算法模型训练和算法实时运算。
[0011](1)船舶目标对接：对不同类型的船舶来源，利用Kafka的高吞吐量的分布式发布订阅消息技术特点，通过主流的消息队列Kafka来完成数据的收集和分发；
[0012](2)算法模型训练：由flume建立数据仓库，经Hive进行格式化存储用来进行数据提取、转化、加载，充分利用Hadoop中的大规模数据的机制确保算法模型的有效训练；
[0013](3)算法实时运算：由Flink完成数据清洗和数据转换以及轨迹压缩和数据回放，将数据转存至ElasticSearch中，进行大量数据的快速检索。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据和AI运算的船舶目标处理方法，其特征在于，包括：(1)船舶目标对接：对不同类型的船舶来源，利用Kafka的高吞吐量的分布式发布订阅消息技术特点，通过主流的消息队列Kafka来完成数据的收集和分发；(2)算法模型训练：由flume建立数据仓库，经Hiv...

【专利技术属性】
技术研发人员：张树环，
申请(专利权)人：北京航天长峰科技工业集团有限公司，
类型：发明
国别省市：