一种基于数据库Druid的地震数据流存储与检测方法及系统技术方案

本发明专利技术公开了一种基于数据库Druid的地震数据流存储与检测方法及系统，其方法包括：采用解析方式和预处理程序结合消息队列(例如：Kafka)对地震数据进行数据处理；利用Druid对地震数据进行摄取，转换配置，分区压缩等操作；利用检测算法从Druid中高效读取数据进行地震数据检测。本发明专利技术所构建的方案实现了实时处理需求，有效提高了地震数据处理效率，确保了地震数据能够及时而迅速地被系统处理；还实现了高效的数据存储和查询，相比于传统方式中存在的空间利用问题，提升了系统性能；本发明专利技术通过简洁而有效的系统设计，减少了操作复杂性，提高了系统资源的利用率。

【技术实现步骤摘要】

本专利技术涉及地震检测，具体涉及一种基于数据库druid的地震数据流检测方法及系统。

技术介绍

1、随着中国地震测震台站的增加，用于数据采集的地震观测仪器数量将会不断增长，并随着物联网的发展，将会接入更多采集仪器进行地震数据分析，导致了海量地震观测数据的产生，现有地震解决方案中数据存储方式多为oracle为代表的关系型数据库，随着海量数据的产生，现有解决方案存在对海量数据的处理效率较低、并发性能较差以及难以应对复杂的地震数据结构，并且采用传统的单一集中式磁盘存储数据，当数据需要高效读取时会出现读取速度慢、读取效率低等问题，基于传统关系数据库的解决方案已经难以满足地震处理业务中日益增长的快速数据处理需求。

2、公开号为cn107544090a的中国专利技术专利申请提供了一种基于mapreduce的地震数据解析存储方法，该方法高度依赖hadoop的分布式计算，有些任务并不是很容易分解成map和reduce阶段，或者存在数据倾斜等问题，导致性能瓶颈。mapreduce通常适用于离线批处理任务，而不太适用于地震数据处理中需要实时响应的场景。该方法依赖于本文档来自技高网...

【技术保护点】

1.一种基于数据库Druid的地震数据流存储与检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述一种基于数据库Druid的地震数据流存储与检测方法，其特征在于，获取地震数据并进行解析，具体为：

3.根据权利要求1所述一种基于数据库Druid的地震数据流存储与检测方法，其特征在于，采用数据库Druid存储解析后的地震数据，具体为：

4.根据权利要求3所述一种基于数据库Druid的地震数据流存储与检测方法，其特征在于，通过数据库Druid的网页交互界面对流式摄取的地震数据按照属性进行转换并进行相应配置，具体为：

5.根据权利要求4所述...

【技术特征摘要】

1.一种基于数据库druid的地震数据流存储与检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述一种基于数据库druid的地震数据流存储与检测方法，其特征在于，获取地震数据并进行解析，具体为：

3.根据权利要求1所述一种基于数据库druid的地震数据流存储与检测方法，其特征在于，采用数据库druid存储解析后的地震数据，具体为：

4.根据权利要求3所述一种基于数据库druid的地震数据流存储与检测方法，其特征在于，通过数据库druid的网页交互界面对流式摄取的地震数据按照属性进行转换并进行相应配置，具体为：

5.根据权利要求4所述一种基于数据库druid的地震数据流存储与检测方法，其特征在于，对配置后的地震数据执行分区分块操作，具体为：将地震数据源时间列进行预聚合并按时间戳进行分区，基于所选分段粒度方式进行分块处理。

6.根据权利要求1所述一种基于数据库druid的地震数据流存储与检测方法，其特征在于，所述数据库dru...

【专利技术属性】
技术研发人员：高兵，李浩，邹启杰，汪祖民，刘瑞，
申请(专利权)人：大连大学，
类型：发明
国别省市：