本发明专利技术公开了一种日志的查询方法、系统、装置、处理器及电子设备，涉及金融科技领域。该方法包括：通过处理系统接收客户端发送的多个增量日志信息，其中，客户端用于监测多个业务节点的日志文件，增量日志信息是业务节点对目标任务进行处理的过程中在日志文件中生成的日志信息；根据处理规则集合对多个增量日志信息进行处理，得到处理后的多组日志字段，并将各组日志字段分别组合为日志语句；将日志语句存储至数据库中；接收查询系统发送的日志查询请求，根据日志查询请求从数据库中查询目标日志语句，并将目标日志语句发送至查询系统。通过本申请，解决了相关技术中日志占用的存储空间大、难以对日志进行快速有效查询的问题。难以对日志进行快速有效查询的问题。难以对日志进行快速有效查询的问题。
【技术实现步骤摘要】
日志的查询方法、系统、装置、处理器及电子设备
[0001]本专利技术涉及金融科技领域，具体而言，涉及一种日志的查询方法、系统、装置、处理器及电子设备。
技术介绍
[0002]对于处理复杂任务时，通常利用分布式系统对相关任务进行处理，也即将相关任务分散在分布式系统中的多个业务节点中进行处理，而业务节点处理任务时会产生相应的日志文件，日志文件用于记录系统对目标任务的处理操作过程以及异常信息，当任务出现异常时，可以通过查询日志来快速定位出现的异常问题，方便操作人员及时修改。由于分布式系统需要处理的任务量较大，进而产生的日志较多，系统会每隔一段时期对日志进行打包压缩归档，对于归档的日志难以对其进行查询。因此当需要查询某一日志时，查询难度大大提高。
[0003]为解决查询的问题，现有技术中在分布式系统中新增用于存放日志的日志归集节点，将生成的日志文件发送至日志归集节点中，并针对日志文件建立索引。但是该方法至解决了日志的查询问题，没有有效提升查询的速度及性能，此外，由于在日志归集节点中的日志文件不能压缩，会产生大量的存储损耗。
[0004]针对相关技术中日志占用的存储空间大、难以对日志进行快速有效查询的问题，目前尚未提出有效的解决方案。
技术实现思路
[0005]本申请提供一种日志的查询方法、系统、装置、处理器及电子设备，以解决相关技术中日志占用的存储空间大、难以对日志进行快速有效查询的问题。
[0006]根据本申请的一个方面，提供了一种日志的查询方法。该方法包括：通过处理系统接收客户端发送的多个增量日志信息，其中，客户端用于监测多个业务节点的日志文件，多个业务节点部署在分布式系统中，增量日志信息是业务节点对目标任务进行处理的过程中在日志文件中生成的日志信息；根据处理规则集合对多个增量日志信息进行处理，得到处理后的多组日志字段，并将各组日志字段分别组合为日志语句，其中，处理规则集合根据目标任务的查询需求确定，每组日志字段是一个增量日志信息中的字段；将日志语句存储至数据库中，其中，数据库部署在处理系统中；接收查询系统发送的日志查询请求，根据日志查询请求从数据库中查询目标日志语句，并将目标日志语句发送至查询系统。
[0007]可选地，根据处理规则集合对多个增量日志信息进行处理，得到处理后的多组日志字段包括：获取存储在数据库中的处理规则集合，并识别处理规则集合中的多个处理规则；根据多个处理规则匹配的正则表达式对每一条增量日志信息进行处理，得到一组日志字段，其中，每组日志字段至少包括以下之一：生成增量日志信息的时间、增量日志信息的日志等级以及目标任务的执行结果。
[0008]可选地，多个处理规则至少包括以下之一：删除每一条增量日志信息中重复的日
志字段；删除每一条增量日志信息中不属于预设字段集合的日志字段；按照预设格式对日志字段进行格式转换，其中，预设格式根据目标任务的查询需求确定。
[0009]可选地，将个组日志字段组合为日志语句包括：对各组日志字段中的各个日志字段进行拼接，得到多个日志语句，其中，每组日志字段拼接得到一个日志语句；在将每组日志字段组合为日志语句之后，方法还包括：将多个日志语句进行组合，得到目标任务的日志表，将并日志表传递至数据库中。
[0010]可选地，数据库对日志表进行处理，处理方式至少包含以下之一：根据日志语句类型对日志表进行划分，得到多个分区日志表；对日志表中的日志语句建立索引，将索引与日志语句之间的索引关系存储至数据库中。
[0011]可选地，根据日志查询请求从数据库中查询目标日志语句包括：识别查询请求中的多个关键字信息，其中，关键字信息至少包括以下之一：生成增量日志信息的时间、增量日志信息的日志等级以及目标任务的执行结果；根据多个关键字信息从数据库中获取目标日志语句。
[0012]根据本申请的另一方面，提供了一种日志的查询系统。该系统包括：分布式系统，包含多个业务节点，并且每一业务节点上部署一个客户端，业务节点用于对目标任务进行处理，客户端用于监测业务节点对目标任务进行处理时生成的增量日志信息，将增量日志信息传递至处理系统；处理系统，与分布式系统通信连接，包括处理程序以及数据库，处理程序用于接收分布式系统传递的增量日志信息，并将增量日志信息处理为日志语句后，将日志语句传递至数据库中，处理程序还用于在接收到查询系统传递的查询请求后，识别查询请求中的关键字信息，根据关键字信息从数据库中筛选出目标日志语句，并将目标日志语句传递至查询系统；查询系统，与处理系统通信连接，用于向处理系统传递查询请求，并接收由处理系统发送的目标日志语句。
[0013]根据本申请的另一方面，提供了一种日志的查询装置。该装置包括：第一接收单元，用于通过处理系统接收客户端发送的多个增量日志信息，其中，客户端用于监测多个业务节点的日志文件，多个业务节点部署在分布式系统中，增量日志信息是业务节点对目标任务进行处理的过程中在日志文件中生成的日志信息；处理单元，用于根据处理规则集合对多个增量日志信息进行处理，得到处理后的多组日志字段，并将各组日志字段分别组合为日志语句，其中，处理规则集合根据目标任务的查询需求确定，每组日志字段是一个增量日志信息中的字段；存储单元，用于将日志语句存储至数据库中，其中，数据库部署在处理系统中；第二接收单元，用于接收查询系统发送的日志查询请求，根据日志查询请求从数据库中查询目标日志语句，并将目标日志语句发送至查询系统。
[0014]根据本专利技术实施例的另一方面，还提供了一种处理器，计算机存储介质用于运行程序，其中，程序运行时执行一种日志的查询方法。
[0015]根据本专利技术实施例的另一方面，还提供了一种电子设备，包含处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种日志的查询方法。
[0016]通过本申请，采用以下步骤：通过处理系统接收客户端发送的多个增量日志信息，其中，客户端用于监测多个业务节点的日志文件，多个业务节点部署在分布式系统中，增量日志信息是业务节点对目标任务进行处理的过程中在日志文件中生成的日志信息；根据处
理规则集合对多个增量日志信息进行处理，得到处理后的多组日志字段，并将各组日志字段分别组合为日志语句，其中，处理规则集合根据目标任务的查询需求确定，每组日志字段是一个增量日志信息中的字段；将日志语句存储至数据库中，其中，数据库部署在处理系统中；接收查询系统发送的日志查询请求，根据日志查询请求从数据库中查询目标日志语句，并将目标日志语句发送至查询系统，解决了相关技术中日志占用的存储空间大、难以对日志进行快速有效查询的问题，通过部署处理系统，利用处理系统对日志进行优化处理，进而达到了减少日志占用的存储以及提高日志查询速度的效果。
附图说明
[0017]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0018]图1是根据本申请实施例提本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种日志的查询方法，其特征在于，包括：通过处理系统接收客户端发送的多个增量日志信息，其中，所述客户端用于监测多个业务节点的日志文件，所述多个业务节点部署在分布式系统中，所述增量日志信息是所述业务节点对目标任务进行处理的过程中在所述日志文件中生成的日志信息；根据处理规则集合对所述多个增量日志信息进行处理，得到处理后的多组日志字段，并将各组日志字段分别组合为日志语句，其中，所述处理规则集合根据所述目标任务的查询需求确定，每组日志字段是一个增量日志信息中的字段；将所述日志语句存储至数据库中，其中，所述数据库部署在所述处理系统中；接收查询系统发送的日志查询请求，根据所述日志查询请求从所述数据库中查询目标日志语句，并将所述目标日志语句发送至所述查询系统。2.根据权利要求1所述的方法，其特征在于，根据处理规则集合对所述多个增量日志信息进行处理，得到处理后的多组日志字段包括：获取存储在所述数据库中的所述处理规则集合，并识别所述处理规则集合中的多个处理规则；根据所述多个处理规则匹配的正则表达式对每一条增量日志信息进行处理，得到一组日志字段，其中，每组日志字段至少包括以下之一：生成所述增量日志信息的时间、所述增量日志信息的日志等级以及所述目标任务的执行结果。3.根据权利要求2所述的方法，其特征在于，所述多个处理规则至少包括以下之一：删除每一条增量日志信息中重复的日志字段；删除每一条增量日志信息中不属于预设字段集合的日志字段；按照预设格式对所述日志字段进行格式转换，其中，所述预设格式根据所述目标任务的查询需求确定。4.根据权利要求2所述的方法，其特征在于，将个组日志字段组合为日志语句包括：对各组日志字段中的各个日志字段进行拼接，得到多个日志语句，其中，每组日志字段拼接得到一个日志语句；在将每组日志字段组合为日志语句之后，所述方法还包括：将所述多个日志语句进行组合，得到所述目标任务的日志表，将并所述日志表传递至所述数据库中。5.根据权利要求4所述的方法，其特征在于，所述数据库对所述日志表进行处理，处理方式至少包含以下之一：根据日志语句类型对所述日志表进行划分，得到多个分区日志表；对所述日志表中的所述日志语句建立索引，将所述索引与所述日志语句之间的索引关系存储至所述数据库中。6.根据权利要求1所述的方法，其特征在于，根据所述日志查询请求从所述数据库中查询目标日志语句包括：识别所述查询请求中的多个关键...
【专利技术属性】
技术研发人员：朱家伟，秦喆，钱磊，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。