ES告警数据回填方法、装置、设备及介质制造方法及图纸

本申请公开了一种ES告警数据回填方法、装置、设备及介质，涉及计算机技术领域，包括：判断当前是否存在预设写入失败信息；若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统；当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件；若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据，将所述当前告警数据回填至预设ES的目标MySQL表。通过上述方案，当存在写入失败信息时，则说明当前没有将当前告警数据成功写入预设ES中，先将当前告警数据写入预设消息发布订阅系统，当获取预设告警数据回填命令时，将当前告警数据回填至预设ES的目标MySQL表，提高告警数据成功写入预设ES的概率，降低告警数据丢失的概率。降低告警数据丢失的概率。降低告警数据丢失的概率。

【技术实现步骤摘要】
ES告警数据回填方法、装置、设备及介质


[0001]本专利技术涉及计算机
，特别涉及ES告警数据回填方法、装置、设备及介质。

技术介绍

[0002]告警数据会同时写入ES(Elastic Stack)和CK(Click Stream Data WareHouse，即ClicKhouse)中，以便ES和CK不同场景的聚合数据。但是可能会由于ES集群挂掉或网络问题导致告警数据写入失败的情况，导致发现丢失了重要的原始告警，或者出现CK写入的数据与ES写入的数据不一致的情况，进而使得客户无法基于告警数据进行后续的处理流程。
[0003]综上可见，如何提高告警数据成功写入预设ES的概率，并显著降低告警数据丢失的概率是本领域有待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种ES告警数据回填方法、装置、设备及介质，能够提高告警数据成功写入预设ES的概率，并显著降低告警数据丢失的概率。其具体方案如下：
[0005]第一方面，本申请公开了一种ES告警数据回填方法，包括：r/>[0006]判本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种ES告警数据回填方法，其特征在于，包括：判断当前是否存在预设写入失败信息；若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统；当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件；若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据，并将所述当前告警数据回填至预设ES的目标MySQL表。2.根据权利要求1所述的ES告警数据回填方法，其特征在于，所述判断当前是否存在预设写入失败信息之前，还包括：将ETL引擎的当前告警数据写入预设ES的目标数据流中，并生成对应的日志信息；判断所述日志信息是否表征所述当前告警数据已写入所述目标数据流中，若否则生成预设写入失败信息。3.根据权利要求1所述的ES告警数据回填方法，其特征在于，所述将ETL引擎的当前告警数据写入预设消息发布订阅系统，包括：将ETL引擎的当前告警数据写入预设消息发布订阅系统的目标主题中；相应的，所述从所述预设消息发布订阅系统中拉取所述当前告警数据，包括：从所述预设消息发布订阅系统的所述目标主题中拉取所述当前告警数据。4.根据权利要求1所述的ES告警数据回填方法，其特征在于，所述将ETL引擎的当前告警数据写入预设消息发布订阅系统之后，还包括：利用索引别名、预设分隔符和时间戳，以得到所述当前告警数据的标识信息；当需要将下一告警数据写入所述预设消息发布订阅系统时，则基于历史告警数据的标识信息确定所述下一告警数据在所述预设消息发布订阅系统的目标位置。5.根据权利要求1至4任一项所述的ES告警数据回填方法，其特征在于，所述当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件之前，还包括：在预设数据中...

【专利技术属性】
技术研发人员：李素丽，范渊，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：