一种应用日志抓取系统及方法技术方案

本申请公开了一种应用日志抓取系统及方法，应用于金融领域或其他领域。客户端将请求信息和请求标识发送给服务端响应模块。若日志请求类型为抓取日志请求且满足预设条件，服务端响应模块将抓取日志请求发送给服务调度模块。服务调度模块生成爬虫抓取日志请求，将爬虫抓取日志请求以及第一日志抓取策略发送给第一目标代理程序模块。第一目标代理程序模块解析爬虫抓取日志请求中的请求信息，获取第一日志标准化输出路径，并根据请求信息以及第一日志抓取策略获取目标日志文件。当满足回传条件时，基于第一日志标准化输出路径将目标日志文件回传到核心处理模块，以通过服务端响应模块将目标日志文件返回给客户端。如此，可满足应用日志抓取需求。应用日志抓取需求。应用日志抓取需求。

【技术实现步骤摘要】
一种应用日志抓取系统及方法


[0001]本申请涉及计算机
，尤其涉及一种应用日志抓取系统及方法。

技术介绍

[0002]随着银行应用的规模的不断扩大，银行应用在运行过程中可能发生故障。此时，需要查询应用日志以便能够根据应用日志分析应用发生故障的原因。
[0003]在查询应用日志前，需要先从银行应用的应用服务器中抓取应用日志。目前的应用日志抓取系统无法满足抓取应用日志的需求。

技术实现思路

[0004]为了解决上述技术问题，本申请提供了一种应用日志抓取系统及方法，能够满足应用日志的抓取需求。
[0005]为了实现上述目的，本申请提供的技术方案如下：
[0006]第一方面，本申请提供一种应用日志抓取系统，所述系统包括：客户端、服务端以及应用服务器；所述服务端包括服务端响应模块、服务调度模块、服务端数据库以及核心处理模块；所述应用服务器部署有代理程序模块；
[0007]所述客户端，用于获取日志请求中的请求信息以及请求标识，将所述请求信息以及所述请求标识发送给所述服务端响应模块；所述请求信息包括所述应用日志的关键字、日期、日志级别以及日志请求类型；
[0008]所述服务端响应模块，用于当所述日志请求类型为抓取日志请求且满足预设条件时，将所述抓取日志请求发送给所述服务调度模块；
[0009]所述服务调度模块，用于根据所述抓取日志请求生成爬虫抓取日志请求，并将所述爬虫抓取日志请求以及所述服务端数据库中的所述爬虫抓取日志请求对应的第一日志抓取策略发送给第一目标代理程序模块；所述第一目标代理程序模块部署于第一目标服务器上；所述第一目标服务器为根据第一筛选条件从所述应用服务器中筛选得到的；
[0010]所述第一目标代理程序模块，用于解析所述爬虫抓取日志请求中的请求信息，获取所述请求信息对应的第一日志标准化输出路径，并根据所述请求信息以及所述日志抓取策略获取所述爬虫抓取日志请求对应的目标日志文件；当满足回传条件时，建立和所述服务端的文件传输链接，并基于所述第一日志标准化输出路径以及所述文件传输链接，将所述目标日志文件回传到所述核心处理模块；
[0011]所述核心处理模块，用于将所述目标日志文件返回给所述服务端响应模块；
[0012]所述服务端响应模块，还用于将所述目标日志文件返回给所述客户端。
[0013]第二方面，本申请提供一种应用日志抓取方法，所述方法应用于应用日志抓取系统中，所述系统包括：客户端、服务端以及应用服务器；所述服务端包括服务端响应模块、服务调度模块、服务端数据库以及核心处理模块；所述应用服务器部署有代理程序模块；所述方法包括：
[0014]所述客户端获取日志请求中的请求信息以及请求标识，将所述请求信息以及所述请求标识发送给所述服务端响应模块；所述请求信息包括所述应用日志的关键字、日期、日志级别以及日志请求类型；
[0015]当所述日志请求类型为抓取日志请求且满足预设条件时，所述服务端响应模块将所述抓取日志请求发送给所述服务调度模块；
[0016]所述服务调度模块根据所述抓取日志请求生成爬虫抓取日志请求，并将所述爬虫抓取日志请求以及所述服务端数据库中的所述爬虫抓取日志请求对应的第一日志抓取策略发送给第一目标代理程序模块；所述第一目标代理程序模块部署于第一目标服务器上；所述第一目标服务器为根据第一筛选条件从所述应用服务器中筛选得到的；
[0017]所述第一目标代理程序模块解析所述爬虫抓取日志请求中的请求信息，获取所述请求信息对应的第一日志标准化输出路径，并根据所述请求信息以及所述日志抓取策略获取所述爬虫抓取日志请求对应的目标日志文件；当满足回传条件时，建立和所述服务端的文件传输链接，并基于所述第一日志标准化输出路径以及所述文件传输链接，将所述目标日志文件回传到所述核心处理模块；
[0018]所述核心处理模块将所述目标日志文件返回给所述服务端响应模块；
[0019]所述服务端响应模块将所述目标日志文件返回给所述客户端。
[0020]通过上述技术方案可知，本申请具有以下有益效果：
[0021]本申请提供了一种应用日志抓取系统，系统中的客户端用于获取日志请求中的请求信息和请求标识，并将请求信息和请求标识发送给服务端响应模块。当请求信息中的日志请求类型为抓取日志请求且满足预设条件时，服务端响应模块将抓取日志请求发送给服务调度模块。服务调度模块根据抓取日志请求生成爬虫抓取日志请求。并将爬虫抓取日志请求以及服务端数据库中的爬虫抓取日志请求对应的第一日志抓取策略发送给第一目标代理程序模块。第一目标代理程序模块解析爬虫抓取日志请求中的请求信息，获取请求信息对应的第一日志标准化输出路径，并根据请求信息以及第一日志抓取策略获取爬虫抓取日志请求对应的目标日志文件。当满足回传条件时，建立和服务端的文件传输链接，并基于第一日志标准化输出路径以及文件传输链接，将目标日志文件回传到核心处理模块，以便核心处理模块通过服务端响应模块，将目标日志文件返回给客户端。本申请实施例提供的应用日志抓取系统的拓展性强且耦合度低，能够降低代码侵入性，满足应用日志抓取需求。
附图说明
[0022]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本申请实施例提供的一种应用日志抓取系统的示意图；
[0024]图2为本申请实施例提供的另一种应用日志抓取系统的示意图；
[0025]图3为本申请实施例提供的一种应用日志抓取方法的流程图；
[0026]图4为本申请实施例提供的另一种应用日志抓取方法的流程图。
具体实施方式
[0027]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
[0028]为了便于理解和解释本申请实施例提供的技术方案，先对本申请实施例中所涉及到的
技术介绍
进行介绍。
[0029]随着银行业务应用的规模的不断扩大，应用在运行过程中可能发生故障。此时，需要查询应用日志以便能够根据应用日志分析应用发生故障的原因。
[0030]在查询应用日志前，需要先从应用服务器中抓取应用日志。目前，有以下三种抓取应用日志抓取方式。
[0031]第一种，引入第三方管理平台。第三方管理平台向银行应用提供了跟踪交易链路、限流熔断、版本更新、日志查看等一体化服务。但对于银行应用而言，内网银行应用的部署受制于第三方管理平台，不利于银行应用的日常维护和拓展。银行应用和第三方管理平台的复杂性，使得第三方管理平台提供的策略不具有普适性。而且，引入第三方管理平台方依赖，增加了银行应用与第三方管理平台之间的耦合性，不利于应用移植，没有解决应用日志查询困难的情景。
[0032]第二种，对于存在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用日志抓取系统，其特征在于，所述系统包括：客户端、服务端以及应用服务器；所述服务端包括服务端响应模块、服务调度模块、服务端数据库以及核心处理模块；所述应用服务器部署有代理程序模块；所述客户端，用于获取日志请求中的请求信息以及请求标识，将所述请求信息以及所述请求标识发送给所述服务端响应模块；所述请求信息包括所述应用日志的关键字、日期、日志级别以及日志请求类型；所述服务端响应模块，用于当所述日志请求类型为抓取日志请求且满足预设条件时，将所述抓取日志请求发送给所述服务调度模块；所述服务调度模块，用于根据所述抓取日志请求生成爬虫抓取日志请求，并将所述爬虫抓取日志请求以及所述服务端数据库中的所述爬虫抓取日志请求对应的第一日志抓取策略发送给第一目标代理程序模块；所述第一目标代理程序模块部署于第一目标服务器上；所述第一目标服务器为根据第一筛选条件从所述应用服务器中筛选得到的；所述第一目标代理程序模块，用于解析所述爬虫抓取日志请求中的请求信息，获取所述请求信息对应的第一日志标准化输出路径，并根据所述请求信息以及所述第一日志抓取策略获取所述爬虫抓取日志请求对应的目标日志文件；当满足回传条件时，建立和所述服务端的文件传输链接，并基于所述第一日志标准化输出路径以及所述文件传输链接，将所述目标日志文件回传到所述核心处理模块；所述核心处理模块，用于将所述目标日志文件返回给所述服务端响应模块；所述服务端响应模块，还用于将所述目标日志文件返回给所述客户端。2.根据权利要求1所述的系统，其特征在于，所述系统还包括：服务端网关；所述客户端，具体用于将所述请求信息以及所述请求标识发送给所述服务端网关；所述服务端网关，用于将所述请求信息以及所述请求标识转发给所述服务端响应模块。3.根据权利要求1所述的系统，其特征在于，所述服务调度模块包括：调度前置模块、任务调度和分配模块以及任务调度线程池；所述服务端数据库包括待执行任务表、任务策略信息表以及任务调度表；所述调度前置模块，用于当所述日志请求类型为抓取日志请求时，对所述抓取日志请求中的请求信息进行校验，当校验通过后，将抓取日志请求任务插入所述待执行任务表中，并设置所述抓取日志请求对应的等待超时时间；所述任务调度和分配模块，用于调用后台常驻线程来轮询所述待执行任务表中的任务，当所述抓取日志请求任务满足调起条件时，利用调起线程将所述抓取日志请求任务从所述待执行任务表添加到所述任务调度表和所述任务调度线程池中，并为所述任务调度表中的所述抓取日志请求任务分配任务执行线程；当满足执行条件时，通过所述任务执行线程将所述抓取日志请求任务从所述任务调度表添加到所述执行任务表中，将所述执行任务表中所述抓取日志请求任务的任务执行状态修改为执行中；读取所述任务策略信息表中的所述抓取日志请求对应的第一日志抓取策略并生成爬虫抓取日志请求，将所述第一日志抓取策略以及所述爬虫抓取日志请求发送给所述第一目标代理程序模块。
4.根据权利要求1或3所述的系统，其特征在于，所述回传条件为所述目标日志文件的生成时间与所述抓取日志请求的请求时间的时间差未超过所述抓取日志请求对应的等待超时时间。5.根据权利要求3所述的系统，其特征在于，所述目标日志文件为压缩状态；所述核心处理模块包括服务器文件管理模块、监听器以及日志加工和归档模块；所述服务端数据库还包括执行任务表；所述服务器文件管理模块，用于接收所述代理程序模块发送的所述目标日志文件，并将所述目标日志文件存储到服务器文件管理目录中；所述监听器，用于监听所述执行任务表中的所述抓取日志请求任务对应的任务执行状态，并监听消息队列；所述代理程序模块，用于当所述目标日志文件回传结束时，发送所述目...

【专利技术属性】
技术研发人员：莫宇阳，梁智华，刘富德，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：