一种异常访问监控方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及大数据技术领域，特别是涉及一种异常访问监控方法、装置、计算机设备、存储介质和计算机程序产品。包括：获取用户访问日志数据，基于第一预设规则对用户访问日志数据进行前置异常检测；当用户访问日志数据通过前置异常检测后，根据与用户访问日志数据所匹配的数据类型，将用户访问日志数据分流至若干个分支检测流程，不同的分支检测流程与不同的第二预设规则对应；在分支检测流程中，基于第二预设规则以及时间窗口对用户访问日志数据进行滚动检测，得到分支检测结果；对分支检测结果为异常的用户访问日志数据对应的目标用户执行预设的异常处置措施。采用本方法能够提高对不同的访问情况进行异常监测，提高异常监测的效率和准确度。效率和准确度。效率和准确度。

【技术实现步骤摘要】
一种异常访问监控方法、装置、计算机设备及存储介质


[0001]本申请涉及大数据
，特别是涉及一种异常访问监控方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着互联网的快速发展，越来越多的网站和应用程序需要从互联网上获取数据。网络爬虫是一种自动化程序，可以帮助人们快速地收集和抓取互联网上的数据。然而，网络爬虫也会对互联网和用户产生一定的影响。网络爬虫可能会对服务器和网络造成负面影响。当网络爬虫抓取网站时，它会向服务器发送大量的请求，这可能会导致服务器崩溃或网络拥堵。这不仅会影响网站的正常运行，而且会影响其他用户的使用体验。此外，网络爬虫还可能会在网站上留下垃圾信息，从而影响用户的体验和搜索引擎的排名。其次，网络爬虫也可能会侵犯个人隐私。一些网站可能会包含个人信息，例如电话号码、电子邮件地址和家庭地址等。如果这些信息被网络爬虫收集，就会对个人隐私造成威胁。此外，网络爬虫还可能会收集用户的浏览历史和个人偏好等信息，从而侵犯用户的隐私。
[0003]总体而言，网络爬虫在互联网发展中扮演着重要的角色，但是也带来了一些负面影响。为了解决这些问题，保护公司重要数据不被爬取，需要采取一些措施来平衡网络爬虫的利弊，以确保公司收益正向的可持续发展。
[0004]相关技术中，在对异常的访问情况进行监测时，通常基于特定的分析判别逻辑，对用户的访问日志进行分析。
[0005]然而，目前的异常访问监测方法，存在如下的技术问题：
[0006]在异常访问监测中，依赖于特定的分析判别逻辑，但是用户的访问行为存在大量、不同的情况，少量的判别逻辑难以覆盖所有情况，导致异常判别的准确度以及效率较低，且检测能力单一，封禁效果较差。

技术实现思路

[0007]基于此，有必要针对上述技术问题，提供一种能够提高对不同的访问情况进行异常监测，提高异常监测的效率和准确度的一种异常访问监控方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0008]第一方面，本申请提供了一种异常访问监控方法。所述方法包括：
[0009]获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测；
[0010]当所述用户访问日志数据通过所述前置异常检测后，根据与所述用户访问日志数据所匹配的数据字段，将所述用户访问日志数据分流至若干个分支检测流程，不同的所述分支检测流程与不同的第二预设规则对应；
[0011]在所述分支检测流程中，基于所述第二预设规则以及预设长度的时间窗口对所述用户访问日志数据进行检测，得到分支检测结果；
[0012]对所述分支检测结果为异常的所述用户访问日志数据对应的目标用户执行预设的异常处置措施。
[0013]在其中一个实施例中，所述获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测之前还包括：
[0014]基于预设的第一权限列表对所述用户访问日志数据进行过滤，以使存储于所述第一权限列表中的第一类别用户对应的用户访问日志数据跳过检测流程。
[0015]在其中一个实施例中，所述在所述分支检测流程中，基于所述第二预设规则以及预设长度的时间窗口对所述用户访问日志数据进行检测，得到分支检测结果包括：
[0016]根据所述第二预设规则对所述用户访问日志数据设定所述时间窗口，基于所述时间窗口对所述用户访问日志数据进行滚动选取；
[0017]应用预训练的异常检测模型对滚动选取中所述时间窗口内的所述用户访问日志数据进行异常检测。
[0018]在其中一个实施例中，所述应用预训练的异常检测模型对滚动选取中所述时间窗口内的所述用户访问日志数据进行异常检测包括：
[0019]基于第三预设规则选取与所述用户访问日志数据相对应的目标异常检测模型；
[0020]应用所述目标异常检测模型对所述时间窗口内的所述用户访问日志数据进行异常检测。
[0021]在其中一个实施例中，所述获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测之前还包括：
[0022]对所述用户访问日志数据进行格式转换，以使所述用户访问日志数据由原始格式转换为目标格式。
[0023]在其中一个实施例中，所述对所述分支检测结果为异常的所述用户访问日志数据对应的目标用户执行预设的异常处置措施包括：
[0024]根据所述分支检测结果确定所述目标用户的异常程度；
[0025]根据所述异常程度与所述异常处置措施的映射关系，对所述目标用户执行相应的目标异常处置措施。
[0026]第二方面，本申请还提供了一种异常访问监控装置。所述装置包括：
[0027]前置检测模块，用于获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测；
[0028]数据分流模块，用于当所述用户访问日志数据通过所述前置异常检测后，根据与所述用户访问日志数据所匹配的数据字段，将所述用户访问日志数据分流至若干个分支检测流程，不同的所述分支检测流程与不同的第二预设规则对应；
[0029]分支检测模块，用于在所述分支检测流程中，基于所述第二预设规则以及预设长度的时间窗口对所述用户访问日志数据进行检测，得到分支检测结果；
[0030]异常处置模块，用于对所述分支检测结果为异常的所述用户访问日志数据对应的目标用户执行预设的异常处置措施。
[0031]在其中一个实施例中，所述前置检测模块之前还包括：
[0032]数据过滤模块，用于基于预设的第一权限列表对所述用户访问日志数据进行过滤，以使存储于所述第一权限列表中的第一类别用户对应的用户访问日志数据跳过检测流
程。
[0033]在其中一个实施例中，所述分支检测模块包括：
[0034]窗口数据选取模块，用于根据所述第二预设规则对所述用户访问日志数据设定所述时间窗口，基于所述时间窗口对所述用户访问日志数据进行滚动选取；
[0035]模型检测模块，用于应用预训练的异常检测模型对滚动选取中所述时间窗口内的所述用户访问日志数据进行异常检测。
[0036]在其中一个实施例中，所述模型检测模块包括：
[0037]模型匹配模块，用于基于第三预设规则选取与所述用户访问日志数据相对应的目标异常检测模型；
[0038]模型应用模块，用于应用所述目标异常检测模型对所述时间窗口内的所述用户访问日志数据进行异常检测。
[0039]在其中一个实施例中，所述前置检测模块之前还包括：
[0040]数据格式转换模块，用于对所述用户访问日志数据进行格式转换，以使所述用户访问日志数据由原始格式转换为目标格式。
[0041]在其中一个实施例中，所述异常处置模块包括：
[0042]异常程度检测模块，用于根据所述分支检测结果确定所述目标用户的异常程度；
[0043]措施映射模块，用于根据所述异常程度与所述异常处置措施的映射关系，对所述目标用户执行相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常访问监控方法，其特征在于，所述方法包括：获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测；当所述用户访问日志数据通过所述前置异常检测后，根据与所述用户访问日志数据所匹配的数据字段，将所述用户访问日志数据分流至若干个分支检测流程，不同的所述分支检测流程与不同的第二预设规则对应；在所述分支检测流程中，基于所述第二预设规则以及预设长度的时间窗口对所述用户访问日志数据进行检测，得到分支检测结果；对所述分支检测结果为异常的所述用户访问日志数据对应的目标用户执行预设的异常处置措施。2.根据权利要求1所述的方法，其特征在于，所述获取用户访问日志数据，基于第一预设规则对所述用户访问日志数据进行前置异常检测之前还包括：基于预设的第一权限列表对所述用户访问日志数据进行过滤，以使存储于所述第一权限列表中的第一类别用户对应的用户访问日志数据跳过检测流程。3.根据权利要求1所述的方法，其特征在于，所述在所述分支检测流程中，基于所述第二预设规则以及预设长度的时间窗口对所述用户访问日志数据进行检测，得到分支检测结果包括：根据所述第二预设规则对所述用户访问日志数据设定所述时间窗口，基于所述时间窗口对所述用户访问日志数据进行滚动选取；应用预训练的异常检测模型对滚动选取中所述时间窗口内的所述用户访问日志数据进行异常检测。4.根据权利要求3所述的方法，其特征在于，所述应用预训练的异常检测模型对滚动选取中所述时间窗口内的所述用户访问日志数据进行异常检测包括：基于第三预设规则选取与所述用户访问日志数据相对应的目标异常检测模型；应用所述目标异常检测模型对所述时间窗口内的所述用户访问日志数据进行异常检测。5.根据权利要求1至4任意一项所述的方法，其特征在于...

【专利技术属性】
技术研发人员：温时豪，朱正亮，吴帅帅，崔露露，
申请(专利权)人：企查查科技股份有限公司，
类型：发明
国别省市：