The invention relates to a seismic data processing method and system, which comprises: receiving real-time waveform data by Kafka distributed high availability cluster, obtaining stored historical waveform data corresponding to real-time waveform data in preset time, determining the relationship between real-time waveform data and historical waveform data based on Flink real-time flow calculation framework, and according to real-time waveform data and historical waveform data The relationship between the data is to detect whether the real-time waveform data is abnormal. If the real-time waveform data is abnormal, STA / LTA + AIC algorithm and / or filterpicker algorithm are used to calculate the seismic phase data, and spring boot framework and / or spring cloud framework are used to submit the seismic phase data, so as to achieve timely and accurate acquisition of seismic parameters.
【技术实现步骤摘要】
地震数据处理方法及其系统
本专利技术涉及地震数据处理
,具体涉及一种地震数据处理方法及系统。
技术介绍
地震速报是中国地震台网中心的核心业务。在震后第一时间发布震中位置、震级大小等地震参数,对于政府和社会公众判断灾情、启动应急处置,最大限度地减轻损失具有重要意义。目前,我国的地震速报采用“自动+正式(人工)”两次发布的方式。对于国内地震一般2分钟之内便可产出自动速报结果,10分钟左右产出人工速报结果,对于国外地震一般15分钟内产出自动速报结果,一小时内完成人工速报结果。目前,全国台站数量是一千五百余个,自动速报处理系统除有部分采用并行程序外,大部分还是采用常规程序完成处理过程,对现有台站个数能够满足要求,但如果台站数量扩充到一万个以上时,超出了现有的速报处理系统处理能力的极限,则很难保证对地震参数的及时以及准确获取。
技术实现思路
有鉴于此,本专利技术的目的在于克服现有技术的不足,提供一种地震数据处理方法及系统,以实现及时、准确地获取对地震参数。为实现以上目的,本专利技术采用如下技术 ...
【技术保护点】
1.一种地震数据处理方法,其特征在于,包括:/n利用Kafka分布式高可用集群接收实时波形数据;/n获取预设时间内的与所述实时波形数据相对应的已存储的历史波形数据;/n基于Flink实时流计算框架,确定所述实时波形数据与所述历史波形数据的关系;/n根据所述实时波形数据与所述历史波形数据的关系,检测所述实时波形数据是否为异常;/n若所述实时波形数据为异常,应用STA/LTA+AIC算法和/或FilterPicker算法计算震相数据;/n采用Spring Boot框架和/或Spring Cloud框架,对所述震相数据进行报送。/n
【技术特征摘要】
1.一种地震数据处理方法,其特征在于,包括:
利用Kafka分布式高可用集群接收实时波形数据;
获取预设时间内的与所述实时波形数据相对应的已存储的历史波形数据;
基于Flink实时流计算框架,确定所述实时波形数据与所述历史波形数据的关系;
根据所述实时波形数据与所述历史波形数据的关系,检测所述实时波形数据是否为异常;
若所述实时波形数据为异常,应用STA/LTA+AIC算法和/或FilterPicker算法计算震相数据;
采用SpringBoot框架和/或SpringCloud框架,对所述震相数据进行报送。
2.根据权利要求1所述的方法,其特征在于,所述利用Kafka分布式高可用集群接收实时波形数据,包括:
基于预先构建的SeedLink的数据传输协议微服务,接收国外台网中心实时波形服务器上的实时波形数据;和/或;
基于预先构建的NetSeis/IP的数据传输协议微服务,接收国内台网中心的流服务器上的实时波形数据。
3.根据权利要求1所述的方法,其特征在于,所述利用Kafka分布式高可用集群接收实时波形数据之后,还包括:
读取所述实时波形数据;
按照预先设定的存储规则对所述实时波形数据进行分级存储。
4.根据权利要求3所述的方法,其特征在于,所述按照预先设定的存储规则对所述实时波形数据进行分级存储,包括:
基于预先构建的KafkaStream在线微服务,将处于在线时间内的所述实时波形数据存储于Ignite分布式缓存中;
基于预先构建的KafkaStream近线微服务,将处于近线时间内的所述历史波形数据存储于分布式数据库HBase中;
构建预先构建的独立离线微服务,将处于离线时间内的所述历史波形数据存储于分布式文件系统Hadoop中。
5.根据权利要求4所述的方法,其特征在于,所述获取预设时间内的与所述实时波形数据相对应的已存储的历史波形数据,包括:
若所述预设时间在所述近线时间内,根据所述实时波形数据和所述预设时间构建RowKey函数;
通过所述RowKey函数的二进制比较器生成RowFilter;
将所述RowFilter作为getScan方法参数输入Table对象,输出结果即为所述历史波形数据;
若所述预设时间在所述离线时间内,基于所述实时波形数据、所述预设时间生成索引文件和所述实时波形数据的文件路径列表;
根据所述预设时间和所述文件路径列表,利用所述索引文件检索所述实时波形数据对应的历史数据文件的位置;
基于所述历史数据文件的位置,通过所述分布式文件系统Hadoop,从所述历史数据文件中获取历史数据包,即为所述历史波形数据。
6...
【专利技术属性】
技术研发人员:吴连奎,王长欣,
申请(专利权)人:北京云庐科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。