基于日志采集的请求校验方法、装置及计算机设备制造方法及图纸

技术编号:26032036 阅读:24 留言:0更新日期:2020-10-23 21:09
本申请涉及一种基于日志采集的请求校验方法、装置、计算机设备及存储介质,其中该方法包括:为每个服务的接口定义不同的TAG值;当某一服务的接口接收到请求后,生成对应的会话ID;通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链,并将所述请求对应的会话ID及请求顺序链保存到请求链日志中;当后续有请求进行访问时,根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链;若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失,则认定请求为非法请求。本发明专利技术利用通用日志监控可以实现对系统请求进行有规则校验,从而快速定位出非法请求。

【技术实现步骤摘要】
基于日志采集的请求校验方法、装置及计算机设备
本专利技术涉及计算机
,特别是涉及一种基于日志采集的请求校验方法、装置、计算机设备及存储介质。
技术介绍
系统日志是记录系统中硬件、软件和系统问题的信息,同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因,或者寻找受到攻击时攻击者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志。在传统技术中,现有的日志检查只支持单文件存储,需要人工根据时间进行查询,并且在现有日志检查中无法实现对数据上下游关联数据准确判断。此外,现有的日志检查缺乏统一的检查更新,数据容易存在错误,进而影响了对请求校验的准确性。
技术实现思路
基于此,有必要针对上述技术问题,提供一种可以实现对请求顺序进行校验的基于日志采集的请求校验方法、装置、计算机设备及存储介质。一种基于日志采集的请求校验方法,所述方法包括:为每个服务的接口定义不同的TAG值;当某一服务的接口接收到请求后,生成对应的会话ID;通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链,并将所述请求对应的会话ID及请求顺序链保存到请求链日志中;当后续有请求进行访问时,根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链;若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失,则认定所述请求为非法请求。在其中一个实施例中,所述当某一服务的接口接收到请求后,生成对应的会话ID的步骤还包括:在每个服务的接口入口处埋点日志;当某一服务的接口被请求触发时记录对应的日志信息,所述日志信息包括对应的会话ID、请求地址、业务自带参数及时间戳格式。在其中一个实施例中,在所述当某一服务的接口被请求触发时记录对应的日志信息的步骤之后还包括:每个服务会将每个请求上报日志到数据仓库中;将所述请求依次经过的服务接口对应的TAG值按时间顺序记录下来,连同对应的会话ID进行存储。在其中一个实施例中,在所述根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链的步骤之后还包括:将所述请求的访问顺序与查询到的请求顺序链中记录的顺序进行比对;若顺序不匹配,则判定所述请求为非法请求并同时拦截所述请求;若顺序完全一致,则判定所述请求为合法请求进行执行相应的程序。一种基于日志采集的请求校验装置,所述装置包括:接口定义模块,所述接口定义模块用于为每个服务的接口定义不同的TAG值;会话ID生成模块,所述会话ID生成模块用于当某一服务的接口接收到请求后,生成对应的会话ID;日志记录模块,所述日志记录模块用于通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链,并将所述请求对应的会话ID及请求顺序链保存到请求链日志中;查询模块,所述查询模块用于当后续有请求进行访问时,根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链;请求判定模块,所述请求判定模块用于若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失,则认定所述请求为非法请求。在其中一个实施例中,所述装置还包括埋点日志模块,所述埋点日志模块用于:在每个服务的接口入口处埋点日志;当某一服务的接口被请求触发时记录对应的日志信息,所述日志信息包括对应的会话ID、请求地址、业务自带参数及时间戳格式。在其中一个实施例中,所述日志记录模块还用于:每个服务会将每个请求上报日志到数据仓库中;将所述请求依次经过的服务接口对应的TAG值按时间顺序记录下来,连同对应的会话ID进行存储。在其中一个实施例中,所述装置还包括比对模块,所述比对模块用于:将所述请求的访问顺序与查询到的请求顺序链中记录的顺序进行比对;若顺序不匹配,则判定所述请求为非法请求并同时拦截所述请求;若顺序完全一致,则判定所述请求为合法请求进行执行相应的程序。一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项方法的步骤。上述基于日志采集的请求校验方法、装置、计算机设备及存储介质通过为每个服务的接口定义不同的TAG值;当某一服务的接口接收到请求后,生成对应的会话ID;通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链,并将所述请求对应的会话ID及请求顺序链保存到请求链日志中;当后续有请求进行访问时,根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链;若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失,则认定请求为非法请求。本专利技术利用通用日志监控可以实现对系统请求进行有规则校验,从而快速定位出非法请求。在系统中关键业务接口入口处埋点日志并打印出来的日志信息,通过flume组件进行采集,由于每个入口定义了特定的TAG值,因此可以对请求的请求顺序链进行校验,如果请求顺序链出现顺序错乱或者顺序跳跃,则可以判定为非法请求,进而有效地实现了对请求的安全监控。附图说明图1为本专利技术中基于日志采集的请求校验方法的应用环境图;图2为一个实施例中基于日志采集的请求校验方法的流程示意图;图3为另一个实施例中基于日志采集的请求校验方法的流程示意图;图4为再一个实施例中基于日志采集的请求校验方法的流程示意图;图5为一个实施例中基于日志采集的请求校验装置的结构框图;图6为另一个实施例中基于日志采集的请求校验装置的结构框图;图7为再一个实施例中基于日志采集的请求校验装置的结构框图;图8为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。目前,现有的日志检查只支持单文件存储,需要人工根据时间进行查询,并且在现有日志检查中无法实现对数据上下游关联数据准确判断。此外,现有的日志检查缺乏统一的检查更新,数据容易存在错误,进而影响了对请求校验的准确性。基于此,本专利技术提供一种基于日志采集的请求校验方法,旨在能够实现对请求顺序进行校验。该方法可以应用于如图1所示的应用环境图,在该应用环境中,当浏览器发送请求被A读物A接口触发后,生成唯一关键的会话ID即tranceID,例如该tranceID=A001,那么接下来该请求访问的每一个接口都会记录该对应的tranceID直至请求完成,通过flume组件进行采集,由于每个入口定义了特定的TAG值,通过对应tranceID可以记录请求的完整访问路径。例如:一个完整业务接口顺序是通过TAGA>TAGB>TAGC,因本文档来自技高网...

【技术保护点】
1.一种基于日志采集的请求校验方法,其特征在于,所述方法包括:/n为每个服务的接口定义不同的TAG值;/n当某一服务的接口接收到请求后,生成对应的会话ID;/n通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链,并将所述请求对应的会话ID及请求顺序链保存到请求链日志中;/n当后续有请求进行访问时,根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链;/n若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失,则认定所述请求为非法请求。/n

【技术特征摘要】
1.一种基于日志采集的请求校验方法,其特征在于,所述方法包括:
为每个服务的接口定义不同的TAG值;
当某一服务的接口接收到请求后,生成对应的会话ID;
通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链,并将所述请求对应的会话ID及请求顺序链保存到请求链日志中;
当后续有请求进行访问时,根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链;
若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失,则认定所述请求为非法请求。


2.根据权利要求1所述的基于日志采集的请求校验方法,其特征在于,所述当某一服务的接口接收到请求后,生成对应的会话ID的步骤还包括:
在每个服务的接口入口处埋点日志;
当某一服务的接口被请求触发时记录对应的日志信息,所述日志信息包括对应的会话ID、请求地址、业务自带参数及时间戳格式。


3.根据权利要求2所述的基于日志采集的请求校验方法,其特征在于,在所述当某一服务的接口被请求触发时记录对应的日志信息的步骤之后还包括:
每个服务会将每个请求上报日志到数据仓库中;
将所述请求依次经过的服务接口对应的TAG值按时间顺序记录下来,连同对应的会话ID进行存储。


4.根据权利要求1-3任一项所述的基于日志采集的请求校验方法,其特征在于,在所述根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链的步骤之后还包括:
将所述请求的访问顺序与查询到的请求顺序链中记录的顺序进行比对;
若顺序不匹配,则判定所述请求为非法请求并同时拦截所述请求;
若顺序完全一致,则判定所述请求为合法请求进行执行相应的程序。


5.一种基于日志采集的请求校验装置,其特征在于,所述装置包括:
接口定义模块,所述接口定义模块用于为每个服务的接口定义不同的TAG值;
会话ID生成模块,所述会话ID生成模块用于当某一服...

【专利技术属性】
技术研发人员:谢尚高罗振
申请(专利权)人:深圳市富之富信息科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1