数据同步的监控方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据同步的监控方法、装置、电子设备和计算机存储介质，其中，该监控方法包括：集多个业务日志，其中，业务日志配置有日志类型标识，日志类型标识用于区分业务日志的来源，将多个业务日志基于日志类型标识进行过滤得到第一日志，将第一日志存储到Elasticsearch，根据Elasticsearch中的日志索引查询第一日志，根据第一日志中的错误代码发出预警信息或告警信息，其中，预警信息包括网络存在异常波动，告警信息包括数据传输存在异常。通过本申请，解决了对异构系统的数据同步进行监控存在效率低的问题，提高了对异构系统的数据同步进行监控的效率。的数据同步进行监控的效率。的数据同步进行监控的效率。

【技术实现步骤摘要】
数据同步的监控方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据同步的监控方法、装置、电子设备及存储介质。

技术介绍

[0002]旅游行业的销售方式多数为线上电子商务销售与线下实体窗口销售同步进行的模式，而线上平台的订单往往来自线下的不同景区，因此需要将线上平台的订单数据与各个线下的票务客户端进行同步，从而保证订单可以顺利完成。而在实际中会出现订单数据同步异常的情况，此时需要确定错误类型才能对线上平台或票务客户端进行快速修复。在相关技术中，不同票务客户端的接口和数据不统一，导致需要对不同票务客户端上的已有业务进行修改，才能对不同票务客户端上的异构系统进行数据同步以及对数据同步过程进行监控，效率较低。
[0003]针对相关技术中，对异构系统的数据同步进行监控存在效率低的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种数据同步的监控方法、装置、电子设备及存储介质，以至少解决相关技术中对异构系统的数据同步进行监控存在效率低的问题。
[0005]第一方面，本申请实施例提供了一种数据同步的监控方法，所述方法包括：
[0006]采集多个业务日志，其中，所述业务日志配置有日志类型标识，所述日志类型标识用于区分所述业务日志的来源；
[0007]将多个所述业务日志基于所述日志类型标识进行过滤得到第一日志，将所述第一日志存储到Elasticsearch；
[0008]根据Elasticsearch中的日志索引查询所述第一日志，根据所述第一日志中的错误代码发出预警信息或告警信息，其中，所述预警信息包括网络存在异常波动，所述告警信息包括数据传输存在异常。
[0009]在其中一些实施例中，所述将多个所述业务日志基于所述日志类型标识进行过滤得到第一日志包括：配置grok表达式，按照所述日志类型标识对应的字段对所述业务日志进行过滤得到所述第一日志。
[0010]在其中一些实施例中，所述将多个所述业务日志基于所述日志类型标识进行过滤得到第一日志，将所述第一日志存储到Elasticsearch，包括：
[0011]在所述日志类型标识是客户端日志的情况下，对多个所述业务日志匹配客户端服务编码，并抓取多个所述业务日志中数据同步的订单编号、订单时间、异常代码和操作耗时，得到所述第一日志，其中，所述客户端服务编码是所述业务日志所属客户端的唯一标识；
[0012]创建日志索引，基于所述日志索引将所述第一日志存储到Elasticsearch。
[0013]在其中一些实施例中，所述将多个所述业务日志基于所述日志类型标识进行过滤得到第一日志，包括：
[0014]在所述日志类型标识是交互网络日志的情况下，对多个所述业务日志匹配组件服务编码，并抓取多个所述业务日志中的组件异常日志，得到所述第一日志。
[0015]在其中一些实施例中，所述将多个所述业务日志基于所述日志类型标识进行过滤得到第一日志，包括：
[0016]在所述日志类型标识是设备运行日志的情况下，对多个所述业务日志匹配设备编号，并抓取多个所述业务日志中的设备运行状态异常日志，得到所述第一日志。
[0017]在其中一些实施例中，所述根据所述第一日志中的错误代码发出预警信息或告警信息，包括：
[0018]在所述第一日志中存在至少一种错误代码的数量达到预设的异常阈值的情况下，发出预警信息或告警信息。
[0019]在其中一些实施例中，所述根据所述第一日志中的错误代码发出预警信息或告警信息，还包括：
[0020]根据所述第一日志中与所述错误代码对应的错误类型，发出预警信息或告警信息，其中，所述第一日志包括若干种所述错误代码，每种所述错误代码对应一种错误类型。
[0021]第二方面，本申请实施例提供了数据同步的监控装置，所述监控装置包括：日志采集模块、日志处理模块和查询提示模块；
[0022]所述日志采集模块，用于采集多个业务日志，其中，所述业务日志配置有日志类型标识，所述日志类型标识用于区分所述业务日志的来源；
[0023]所述日志处理模块，用于将多个所述业务日志基于所述日志类型标识进行过滤得到第一日志，将所述第一日志存储到Elasticsearch；
[0024]所述查询提示模块，用于根据Elasticsearch中的日志索引查询所述第一日志，根据所述第一日志中的错误代码发出预警信息或告警信息，其中，所述预警信息包括网络存在异常波动，所述告警信息包括数据传输存在异常。
[0025]第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的数据同步的监控方法。
[0026]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的数据同步的监控方法。
[0027]相比于相关技术，本申请实施例提供的数据同步的监控方法，通过采集多个业务日志，其中，业务日志配置有日志类型标识，日志类型标识用于区分业务日志的来源，将多个业务日志基于日志类型标识进行过滤得到第一日志，将第一日志存储到Elasticsearch，根据Elasticsearch中的日志索引查询第一日志，根据第一日志中的错误代码发出预警信息或告警信息，其中，预警信息包括网络存在异常波动，告警信息包括数据传输存在异常，解决了对异构系统的数据同步进行监控存在效率低的问题，提高了对异构系统的数据同步进行监控的效率。
附图说明
[0028]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0029]图1是根据本申请实施例的数据同步的监控方法的应用环境示意图；
[0030]图2是根据本申请实施例的数据同步的监控方法的流程图；
[0031]图3是根据本申请优选实施例的数据同步的监控方法的流程示意图；
[0032]图4是根据本申请实施例的数据同步的监控装置的结构示意图；
[0033]图5是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
[0034]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0035]显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步的监控方法，其特征在于，所述方法包括：采集多个业务日志，其中，所述业务日志配置有日志类型标识，所述日志类型标识用于区分所述业务日志的来源；将多个所述业务日志基于所述日志类型标识进行过滤得到第一日志，将所述第一日志存储到Elasticsearch；根据Elasticsearch中的日志索引查询所述第一日志，根据所述第一日志中的错误代码发出预警信息或告警信息，其中，所述预警信息包括网络存在异常波动，所述告警信息包括数据传输存在异常。2.根据权利要求1所述的方法，其特征在于，所述将多个所述业务日志基于所述日志类型标识进行过滤得到第一日志包括：配置grok表达式，按照所述日志类型标识对应的字段对所述业务日志进行过滤得到所述第一日志。3.根据权利要求1所述的方法，其特征在于，所述将多个所述业务日志基于所述日志类型标识进行过滤得到第一日志，将所述第一日志存储到Elasticsearch，包括：在所述日志类型标识是客户端日志的情况下，对多个所述业务日志匹配客户端服务编码，并抓取多个所述业务日志中数据同步的订单编号、订单时间、异常代码和操作耗时，得到所述第一日志，其中，所述客户端服务编码是所述业务日志所属客户端的唯一标识；创建日志索引，基于所述日志索引将所述第一日志存储到Elasticsearch。4.根据权利要求2所述的方法，其特征在于，所述将多个所述业务日志基于所述日志类型标识进行过滤得到第一日志，包括：在所述日志类型标识是交互网络日志的情况下，对多个所述业务日志匹配组件服务编码，并抓取多个所述业务日志中的组件异常日志，得到所述第一日志。5.根据权利要求3所述的方法，其特征在于，所述将多个所述业务日志基于所述日志类型标识进行过滤得到第一日志，包括：在所述日志类型标识是设...

【专利技术属性】
技术研发人员：汪早荣，刘昊，孙林才，
申请(专利权)人：浙江深大智能科技有限公司，
类型：发明
国别省市：