【技术实现步骤摘要】
本专利技术属于大数据处理，涉及一种百亿级船舶运动数据的实时处理方法。
技术介绍
1、航运在全球大宗商民贸易中起重要作用，80％以上的大宗商品贸易都是要通过航运进行运输，国内的船舶数量和航海业务也在逐年增加。由于雷达操作简单，白天夜晚都能使用，具有优秀的目标跟踪与测距能力，雷达被用于边海防领域，用于扫描船舶位置信息。雷达扫描到的船舶运动数据量巨大，且要求实时处理，并对处理后的雷达数据要具有快速查询船舶轨迹的能力。目前在雷达数据处理方面，在数据达到百亿级时，存在检索时间滞后，难以进行长时间存储，难以进行空间查询等问题。
技术实现思路
1、本专利技术的目的是提供一种百亿级船舶运动数据的实时处理方法，能够按照区域查询雷达轨迹、多目标轨迹查询、事发地按照半径查询并按时间倒叙展现船舶运动轨迹，用以解决船舶轨迹数据量大，难以进行长时间存储，难以进行空间查询等问题。
2、本专利技术的技术方案如下：
3、一种百亿级船舶运动数据的实时处理方法，其特征在于，包括以下步骤：
4、(1)数据接入：将雷达数据包解析成json字符串的格式向kafka中的radar主题发送消息；
5、(2)数据抽稀：采用流处理引擎flink中的滑动窗口对kafka中的数据进行处理；
6、(3)定义elasticsearch中的index，并且将船舶的经纬度定义为geo_point类型；使用logstash将kafka中主题为radar-flink的数据，抽取到elast
7、(4)采用道格拉斯-普克算法进行轨迹抽稀，抽稀的阈值设置为0.01。
8、(5)空间查询：利用elasticsearch提供的geo空间查询能力，提供查询圆形、矩形、不规则多边形区域内一定时间内船只的id和对应轨迹点的数量的接口；同时提供查询圆形、矩形、不规则多边形区域内一定时间内船只的轨迹接口，对于从elasticsearch中查询到的船只轨迹，运行道格拉斯-普克算法进行轨迹抽稀，将抽稀后的轨迹点数据按照时间顺序排列后进行返回；
9、(6)全量数据保存：使用后端程序将kafka中主题为radar的全量数据以批处理的形式存储clickhouse中，同时提供1-3年的存储。
10、本专利技术处理速度快，从数据接入到数据入库花费时间少；查询速度快，能够快速查询矩形、圆形、多边形等区域内的船舶轨迹；同时检索时间能够控制在秒级内；在不改变船舶轨迹形状的基础上对轨迹点进行了抽稀，抽稀后的数据约为原数据的80％；技术实现简单，具有很强的应用价值。
本文档来自技高网...【技术保护点】
1.一种百亿级船舶运动数据的实时处理方法，其特征在于，包括以下步骤：
【技术特征摘要】
1.一种百亿级船舶运动数据的实时处...
【专利技术属性】
技术研发人员：刘房，黄晶晶，张丹普，
申请(专利权)人：北京航天长峰科技工业集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。