异常访问识别和接入控制方法及装置制造方法及图纸

本发明专利技术提出一种异常访问识别和接入控制方法及装置，其中，异常访问识别方法包括：从访问请求日志实时获取当前时间窗口内生成的各次最近访问的描述信息，对最近访问的描述信息以及预存的历史访问的描述信息，采用预先配置的判定规则进行判定，以确定各条描述信息对应的访问是否存在异常，根据存在异常的访问的描述信息，对后续请求接入的访问进行实时异常访问识别。通过实时对已接入的访问进行在线的异常判定，并在已判定存在异常的情况下，根据相关描述信息，对后续接入的访问进行实时异常访问的识别以便进行接入控制，具有实时性和高效性，解决了相关技术中，需要访问完成后由人工判定或人工半自动判定，实时性较差、效率较低的问题。

【技术实现步骤摘要】
异常访问识别和接入控制方法及装置
本专利技术涉及网络监控
，尤其涉及一种异常访问识别和接入控制方法及装置。
技术介绍
目前互联网访问中，有大量的爬虫、脚本等非用户行为的访问存在，其中这部分非用户行为又分为正常爬虫行为和异常访问行为。对于正常的爬虫行为，在遵循访问限制和行为规范的情况下，并不会对被爬取的互联网服务本身构成威胁。但还有相当大比例来自其他开发者的爬虫、脚本行为，采用各种明显的或隐蔽的方式对网站数据进行爬取，被爬取的网站除了承担这部分异常访问导致的成本支出外，还可能因为异常访问占用流量过大，对网站服务稳定性构成威胁，因此这部分异常访问流量对互联网服务而言百害而无一利，因此，对互联网服务来讲，需要识别并拦截异常访问。相关技术中，对异常访问流量的发现，一部分是在影响线上稳定性后，人工分析日志发现；一部分是小量爬取，但是未影响线上稳定性，半自动化分析，并定期汇总，最终由人工判定异常。但是这种人工或半自动判定的方式，均为离线情况下的异常访问识别，存在较大的延迟，致使无法实时识别出异常访问，存在效率较低的问题。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种异常访问识别方法，以实现通过实时对已接入的访问进行在线的异常判定，并在已判定存在异常的情况下，根据相关描述信息，对后续接入的访问进行实时异常访问的识别以便进行接入控制，具有实时性和高效性，解决了相关技术中，需要访问完成后由人工判定或人工半自动判定，实时性较差、效率较低的问题。本专利技术的第二个目的在于提出一种接入控制方法。本专利技术的第三个目的在于提出一种异常访问识别装置。本专利技术的第四个目的在于提出一种接入控制装置。本专利技术的第五个目的在于提出一种计算机设备。本专利技术的第六个目的在于提出一种非临时性计算机可读存储介质。本专利技术的第七个目的在于提出一种计算机程序产品。为达上述目的，本专利技术第一方面实施例提出了一种异常访问识别方法，包括：从访问请求日志实时获取当前时间窗口内生成的各次最近访问的描述信息；对最近访问的描述信息以及预存的历史访问的描述信息，采用预先配置的判定规则进行判定，以确定各条描述信息对应的访问是否存在异常；根据存在异常的访问的描述信息，对后续请求接入的访问进行实时异常访问识别。本专利技术实施例的异常访问识别方法中，从访问请求日志实时获取当前时间窗口内生成的各次最近访问的描述信息，对最近访问的描述信息以及预存的历史访问的描述信息，采用预先配置的判定规则进行判定，以确定各条描述信息对应的访问是否存在异常，根据存在异常的访问的描述信息，对后续请求接入的访问进行实时异常访问识别。通过实时对已接入的访问进行在线的异常判定，并在已判定存在异常的情况下，根据相关描述信息，对后续接入的访问进行实时异常访问的识别以便进行接入控制，具有实时性和高效性，解决了相关技术中，需要访问完成后由人工判定或人工半自动判定，实时性较差、效率较低的问题。为达上述目的，本专利技术第二方面实施例提出了一种接入控制方法，包括：采用第一方面所述的异常访问识别方法，对请求接入的访问进行异常访问识别；根据异常识别结果，执行对应的接入控制策略。本专利技术实施例的接入控制方法中，采用第一方面所述的异常访问识别方法，对请求接入的访问进行异常访问识别，根据异常识别结果，执行对应的接入控制策略，通过根据识别出的异常结果，采用不用的接入控制策略，提升了对异常流量处理的灵活性。为达上述目的，本专利技术第三方面实施例提出了一种异常访问识别装置，包括：获取模块，用于从访问请求日志实时获取当前时间窗口内生成的各次最近访问的描述信息；规则判定模块，用于对最近访问的描述信息以及预存的历史访问的描述信息，采用预先配置的判定规则进行判定，以确定各条描述信息对应的访问是否存在异常；识别模块，用于根据存在异常的访问的描述信息，对后续请求接入的访问进行实时异常访问识别。本专利技术实施例的异常访问识别装置中，获取模块用于从访问请求日志实时获取当前时间窗口内生成的各次最近访问的描述信息，规则判定模块用于对最近访问的描述信息以及预存的历史访问的描述信息，采用预先配置的判定规则进行判定，以确定各条描述信息对应的访问是否存在异常，识别模块用于根据存在异常的访问的描述信息，对后续请求接入的访问进行实时异常访问识别。通过实时对已接入的访问进行在线的异常判定，并在已判定存在异常的情况下，根据相关描述信息，对后续接入的访问进行实时异常访问的识别以便进行接入控制，具有实时性和高效性，解决了相关技术中，需要访问完成后由人工判定或人工半自动判定，实时性较差、效率较低的问题。为达上述目的，本专利技术第四方面实施例提出了一种接入控制装置，包括：接口模块，用于从第三方面所述的异常访问识别装置，获取请求接入的访问的异常识别结果；执行模块，用于根据异常识别结果，执行对应的接入控制策略。本专利技术实施例的接入控制装置中，接口模块用于从第三方面所述的异常访问识别装置，对请求接入的访问进行异常访问识别，执行模块用于根据异常识别结果，执行对应的接入控制策略，通过根据识别出的异常结果，采用不同的接入控制策略，提升了对请求接入的异常访问处理的灵活性。为了实现上述目的，本专利技术第五方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如第一方面所述的异常访问识别方法，和/或，如第二方面所述的接入控制方法。为了实现上述目的，本专利技术第六方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的异常访问识别方法，和/或，如第二方面所述的接入控制方法。为了实现上述目的，本专利技术第七方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如第一方面所述的异常访问识别方法，和/或，如第二方面所述的接入控制方法。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术实施例所提供的一种异常访问识别方法的流程示意图；图2为本专利技术实施例所提供的另一种异常访问识别方法的流程示意图；图3为本专利技术实施例所提供的一种机器学习模型训练方法的流程示意图；图4为本专利技术实施例提供的决策树模型的示意图；图5为本专利技术实施例所提供的一种接入控制方法的流程示意图；图6为本专利技术实施例提供的一种异常访问识别装置的结构示意图；图7为本专利技术实施例所提供的另一种异常访问识别装置的结构示意图；图8为本专利技术实施例所提供的一种接入控制装置的结构示意图；以及图9示出了适于用来实现本申请实施方式的示例性计算机设备的框图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参考附图描述本专利技术实施例的异常访问识别和接入控制方法及装置。图1为本专利技术实施例所提供的一种异常访问识别方法的流程示意图。如图1所示，该方法包括本文档来自技高网...

【技术保护点】
一种异常访问识别方法，其特征在于，包括以下步骤：从访问请求日志实时获取当前时间窗口内生成的各次最近访问的描述信息；对最近访问的描述信息以及预存的历史访问的描述信息，采用预先配置的判定规则进行判定，以确定各条描述信息对应的访问是否存在异常；根据存在异常的访问的描述信息，对后续请求接入的访问进行实时异常访问识别。

【技术特征摘要】
1.一种异常访问识别方法，其特征在于，包括以下步骤：从访问请求日志实时获取当前时间窗口内生成的各次最近访问的描述信息；对最近访问的描述信息以及预存的历史访问的描述信息，采用预先配置的判定规则进行判定，以确定各条描述信息对应的访问是否存在异常；根据存在异常的访问的描述信息，对后续请求接入的访问进行实时异常访问识别。2.根据权利要求1所述的异常访问识别方法，其特征在于，所述预先配置的判定规则为多条，每一条判定规则用于判定对应危险等级的异常；所述采用预先配置的判定规则进行判定，以确定各条描述信息对应的访问是否存在异常包括：依据各判定规则的排序，遍历各条判定规则，直至描述信息匹配中判定规则时停止遍历；所述排序是依据判定规则对应危险等级的严重程度确定的；若存在匹配中的判定规则，确定所述描述信息对应的访问存在异常；根据匹配中的判定规则对应的危险等级，确定异常的危险等级。3.根据权利要求2所述的异常访问识别方法，其特征在于，所述危险等级为至少两级，所述采用预先配置的判定规则进行判定，以确定各条描述信息对应的访问是否存在异常之后，还包括：若对描述信息，采用所述判定规则判定对应的访问存在异常，且危险等级为严重程度最轻的危险等级，对存在异常的访问的描述信息采用机器学习模型进行异常识别，以重新确定所述描述信息对应的访问是否存在异常，以及存在异常时的危险等级。4.根据权利要求3所述的异常访问识别方法，其特征在于，所述机器学习模型的训练样本是根据对应同一用户的多次访问的描述信息生成的。5.根据权利要求1所述的异常访问识别方法，其特征在于，所述对最近访问的描述信息以及预存的历史访问的描述信息，采用预先配置的判定规则进行判定，以确定各条描述信息对应的访问是否存在异常，包括：根据描述信息的相似性，对各次最近访问的描述信息以及预存的历史访问的描述信息进行聚合，得到多组描述信息；针对每一组描述信息，采用预先配置的判定规则进行判定，以确定当前组内的各条描述信息对应的访问是否存在异常。6.根据权利要求1-5任一项所述的异常访问识别方法，其特征在于，所述描述信息包括：访问来源信息；其中，访问来源信息包括IP地址、UID和Referer中的一个或多个组合；或者，所述描述信息包括：所述访问来源信息以及访问目的信息；其中，所述访问目的信息包括：所需访问的URL和数据量中的一个或多个组合。7.根据权利要求6所述的异常访问识别方法，其特征在于，所述根据存在异常的访问的描述信息，对后续请求接入的访问进行实时异常访问识别，包括：针对存在异常的访问的描述信息，根据描述信息中所包含IP地址、UID和Referer中的一个或多个组合，生成黑名单；采用所述黑名单，对所述请求接入的访问进行实时异常访问识别。8.根据权利要求7所述的异常访问识别方法，其特征在于，所述针对存在异常的访问的描述信息，根据描述信息中所包含IP地址、UID和Referer中的一个或多个组合，生成黑名单，包括：对存在异常的访问的描述信息，从描述信息的访问来源信息中，确定匹配中判定规则的访问来源信息；根据匹配中判定规则的访问来源信息，生成黑名单。9.根据权利要求1-5任一项所述的异常访问识别方法，其特征在于，危险等级依据严重程度从重到轻对应划分为三级，所述预先配置的判定规则包括：若相同IP在正数n秒内访问次数多于正数...

【专利技术属性】
技术研发人员：王玉操，王伯远，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11