System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() ES日志比对方法、装置、设备及存储介质制造方法及图纸_技高网

ES日志比对方法、装置、设备及存储介质制造方法及图纸

技术编号:40604221 阅读:3 留言:0更新日期:2024-03-12 22:09
本发明专利技术公开了一种ES日志比对方法、装置、设备及存储介质,该方法包括:在目标ES数据库中查询实际转换前后的日志报文,根据交易场景名匹配预设报文转换规则,并生成预期转换后的日志报文,将实际和预期转换后的日志报文根据字段的格式、长度和内容进行比对,获得日志比对结果。由于本发明专利技术通过在ES数据库中查询实际转换前后的日志报文,支持ES语法查询日志,能够更精准的筛选出数据,根据报文转换规则确定预期转换后的日志报文,然后通过程序根据字段的格式、长度和内容逐个比对预期和实际的报文是否一致,多方面保证校验结果的正确性,相比于人工查询和比对日志,能够提高日志比对的准确性和效率,保证数据转换前后的一致性。

【技术实现步骤摘要】

本专利技术涉及计算机软件,尤其涉及一种es日志比对方法、装置、设备及存储介质。


技术介绍

1、在银行业务系统和外部系统交互的过程中,会经过前置的数据转换系统进行报文加密加签或解密解签,转换后透传,由于银行业务系统和外部系统的数据规范存在差异,这个过程需要保证接收和发出报文信息的一致性,因此需要在es数据库中查询转换前后的es日志进行日志报文比对,避免报文转换错误。但是,由于es日志内容较多,通过单一字段定位找到目标报文比较困难。过去通过es日志查询来手工比对,需人工转换一遍报文后,逐个字段进行验证校验,耗时较久,且人工比对准确性较低。


技术实现思路

1、本专利技术的主要目的在于提供一种es日志比对方法、装置、设备及存储介质,旨在解决现有技术中通过人工比对es日志的方式人力损耗大、效率低且准确性低的技术问题。

2、为实现上述目的,本专利技术提供一种es日志比对方法,所述方法包括以下步骤:

3、根据日志检索条件在目标es数据库中进行查询,获得目标es日志信息,所述目标es日志信息包括转换前的日志报文和实际转换后的日志报文;

4、根据交易场景名匹配对应业务的预设报文转换规则,并根据所述转换前的日志报文和所述预设报文转换规则生成预期转换后的日志报文;

5、将所述实际转换后的日志报文和所述预期转换后的日志报文根据字段的格式、长度和内容进行比对,获得日志比对结果。

6、可选地,所述根据交易场景名匹配对应业务的预设报文转换规则,并根据所述转换前的日志报文和所述预设报文转换规则生成预期转换后的日志报文之后,还包括:

7、根据所述交易场景名确定对应的业务类型,获取预设时间段内所述业务类型对应的历史报文;

8、根据所述历史报文生成历史报文转换规则;

9、判断所述预设报文转换规则和所述历史报文转换规则是否一致;

10、若不一致,则进行规则变化预警。

11、可选地,所述根据所述历史报文生成历史报文转换规则,包括:

12、根据所述历史报文中的系统标识字段确定转换前的历史报文和转换后的历史报文;

13、对转换前的历史报文的业务字段名称和转换后的历史报文的业务字段名称进行语义匹配,根据语义匹配结果确定所述业务字段名称之间的映射关系,并根据所述映射关系生成历史报文转换规则。

14、可选地,所述判断所述预设报文转换规则和所述历史报文转换规则是否一致,包括:

15、判断所述预设报文转换规则中的记账时间和所述历史报文转换规则中的交易时间是否一致。

16、可选地,所述根据日志检索条件在目标es数据库中进行查询,获得目标es日志信息之前,还包括:

17、获取检索条件元组合集,并根据所述检索条件元组合集生成日志检索条件。

18、可选地,所述获取检索条件元组合集,并根据所述检索条件元组合集生成日志检索条件,包括:

19、获取检索条件元组合集,判断所述检索条件元组合集是否属于单一查询条件,所述单一查询条件包括查询字段、查询方法和查询条件;

20、若属于单一查询条件,则将所述检索条件元组合集中的查询字段和查询条件根据es支持的json格式语法进行组装,生成日志检索条件。

21、可选地,所述若属于单一查询条件,则将所述检索条件元组合集中的查询字段和查询条件根据es支持的json格式语法进行组装,生成日志检索条件之后,还包括:

22、判断所述检索条件元组合集是否属于组合查询条件,所述组合查询条件包括通过逻辑运算符连接的多个子查询条件,所述子查询条件属于单一查询条件或者组合查询条件;

23、若属于组合查询条件,则根据递归方法依次判断所述检索条件元组合集的每个子查询条件是否属于单一查询条件;

24、确定所述检索条件元组合集中的所有单一查询条件,并将每个单一查询条件的查询字段和查询条件根据es支持的json格式语法进行组装,生成日志检索条件。

25、此外,为实现上述目的,本专利技术还提出一种es日志比对装置,所述es日志比对装置包括:

26、日志查询模块,用于根据日志检索条件在目标es数据库中进行查询,获得目标es日志信息,所述目标es日志信息包括转换前的日志报文和实际转换后的日志报文;

27、报文生成模块,用于根据交易场景名匹配对应业务的预设报文转换规则,并根据所述转换前的日志报文和所述预设报文转换规则生成预期转换后的日志报文;

28、日志比对模块,用于将所述实际转换后的日志报文和所述预期转换后的日志报文根据字段的格式、长度和内容进行比对,获得日志比对结果。

29、此外,为实现上述目的,本专利技术还提出一种es日志比对设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的es日志比对程序,所述es日志比对程序配置为实现如上文所述的es日志比对方法的步骤。

30、此外,为实现上述目的,本专利技术还提出一种存储介质,所述存储介质上存储有es日志比对程序,所述es日志比对程序被处理器执行时实现如上文所述的es日志比对方法的步骤。

31、在本专利技术中,公开了在目标es数据库中查询转换前的es日志报文和实际转换后的es日志报文,根据交易场景名匹配对应业务的预设报文转换规则,并生成预期转换后的日志报文,将实际转换后的日志报文和预期转换后的日志报文根据字段的格式、长度和内容进行比对,获得日志比对结果。由于本专利技术通过在目标es数据库中查询到实际转换前后的日志报文,支持es语法查询日志,能够更精准的筛选出数据,根据报文转换规则和转换前的日志报文确定预期转换后的日志报文,然后通过程序根据字段的格式、长度和内容比对预期和实际的报文是否一致,多方面保证校验结果的正确性,相比于人工查询和比对日志,能够提高日志比对的准确性和效率,保证数据转换前后的一致性。

本文档来自技高网...

【技术保护点】

1.一种ES日志比对方法,其特征在于,所述ES日志比对方法包括:

2.如权利要求1所述的ES日志比对方法,其特征在于,所述根据交易场景名匹配对应业务的预设报文转换规则,并根据所述转换前的日志报文和所述预设报文转换规则生成预期转换后的日志报文之后,还包括:

3.如权利要求2所述的ES日志比对方法,其特征在于,所述根据所述历史报文生成历史报文转换规则,包括:

4.如权利要求3所述的ES日志比对方法,其特征在于,所述判断所述预设报文转换规则和所述历史报文转换规则是否一致,包括:

5.如权利要求1所述的ES日志比对方法,其特征在于,所述根据日志检索条件在目标ES数据库中进行查询,获得目标ES日志信息之前,还包括:

6.如权利要求5所述的ES日志比对方法,其特征在于,所述获取检索条件元组合集,并根据所述检索条件元组合集生成日志检索条件,包括:

7.如权利要求6所述的ES日志比对方法,其特征在于,所述若属于单一查询条件,则将所述检索条件元组合集中的查询字段和查询条件根据ES支持的JSON格式语法进行组装,生成日志检索条件之后,还包括:

8.一种ES日志比对装置,其特征在于,所述ES日志比对装置包括:

9.一种ES日志比对设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的ES日志比对程序,所述ES日志比对程序配置为实现如权利要求1至7中任一项所述的ES日志比对方法的步骤。

10.一种存储介质,其特征在于,所述存储介质上存储有ES日志比对程序,所述ES日志比对程序被处理器执行时实现如权利要求1至7任一项所述的ES日志比对方法的步骤。

...

【技术特征摘要】

1.一种es日志比对方法,其特征在于,所述es日志比对方法包括:

2.如权利要求1所述的es日志比对方法,其特征在于,所述根据交易场景名匹配对应业务的预设报文转换规则,并根据所述转换前的日志报文和所述预设报文转换规则生成预期转换后的日志报文之后,还包括:

3.如权利要求2所述的es日志比对方法,其特征在于,所述根据所述历史报文生成历史报文转换规则,包括:

4.如权利要求3所述的es日志比对方法,其特征在于,所述判断所述预设报文转换规则和所述历史报文转换规则是否一致,包括:

5.如权利要求1所述的es日志比对方法,其特征在于,所述根据日志检索条件在目标es数据库中进行查询,获得目标es日志信息之前,还包括:

6.如权利要求5所述的es日志比对方法,其特征在于,所述获取检索条件元...

【专利技术属性】
技术研发人员:苗译文
申请(专利权)人:招商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1