有效识别机器访问行为的方法及系统技术方案

本发明专利技术公开了一种有效识别机器访问行为的方法及系统，方法包括：输入Waf访问日志；实时检测引擎消费Waf访问日志，输出Bot用户；管控中心对Bot用户进行管控，且将管控结果反馈至自适应学习模块；自适应学习模块自主更新，且将更新结果加载至实时检测引擎形成闭环。装置包括：Waf访问日志采集模块、实时检测引擎模块、管控中心模块和自适应学习模块。计算机设备和存储介质通过执行计算机程序能够实现上述方法过程。本发明专利技术结合Gini系数、稳定系数、白名单、模型自适应学习等，实现Bot用户实体访问行为检测，具有准确度高，可解释性、泛化能力强等特点，可以无缝对接WAF管理后台和防护体系，从而实现用户个性化配置和自动化编排响应。

A method and system for effectively identifying machine access behavior

【技术实现步骤摘要】
有效识别机器访问行为的方法及系统
本专利技术涉及网络安全领域，特别涉及一种有效识别机器访问行为的方法及系统。
技术介绍
随着互联网的发展，国家级力量的介入，网络安全战事持续升温。而Bot流量作为子弹充斥在这片战场的每个角落。2019年恶意机器流量报告(2019BadBotReport)指出，2018年间，37.9％的互联网流量来自于“机器人”(Bots)，恶意Bot流量占据所有流量的20.4％。实际上，自2015年以来，恶意Bot访问占比大体上逐年升高。2019年的报告指出，在这些恶意Bot中，黄牛程序十分抢眼，并且其中有24.1％属于高级Bot程序，不易防控，这些恶意机器人被称为AdvancedPersistentBots(APBs，高级持久型机器人)。它们往往以僵尸网络的形式出现，通过匿名代理和随机化交互时间与其他身份隐藏技术来模拟真人访问行为。然而在我国当前消费升级的大环境下，尤其是在大型电商领域，实际的恶意Bot流量占比远高于20.4％这个数值，面临的恶意Bot流量威胁也更为严峻。作为守方，在攻防严重不对等的网络安全领域，如何以较低的成本文档来自技高网...

【技术保护点】
1.一种有效识别机器访问行为的方法，其特征在于，包括以下步骤：/n输入Waf访问日志；/n实时检测引擎消费所述Waf访问日志，输出机器访问行为Bot用户至管控中心；/n通过管控中心对检测到的Bot用户进行管控，且将管控结果反馈至自适应学习模块；/n自适应学习模块根据管控结果进行更新，且将更新结果加载至实时检测引擎形成闭环，实现机器访问行为的自适应实时检测。/n

【技术特征摘要】
1.一种有效识别机器访问行为的方法，其特征在于，包括以下步骤：
输入Waf访问日志；
实时检测引擎消费所述Waf访问日志，输出机器访问行为Bot用户至管控中心；
通过管控中心对检测到的Bot用户进行管控，且将管控结果反馈至自适应学习模块；
自适应学习模块根据管控结果进行更新，且将更新结果加载至实时检测引擎形成闭环，实现机器访问行为的自适应实时检测。


2.根据权利要求1所述的有效识别机器访问行为的方法，其特征在于，所述实时检测引擎消费Waf访问日志，输出机器访问行为Bot用户至管控中心，具体包括：
自定义设置全局白名单；
构建Bot用户检测机器学习模型，同时构建自适应学习模块以对所述Bot用户检测机器学习模型进行实时更新，并进一步构建模型函数；
实时对Waf访问日志进行特征提取，所述特征包括用户的访问总量、访问时长、访问频率稳定系数以及访问资源的Gini系数；
将提取到的特征输入至所述模型函数，输出机器访问行为Bot用户；
根据全局白名单对所述Bot用户进行过滤，并对过滤后的Bot用户进行风险等级计算后输出至管控中心。


3.根据权利要求2所述的有效识别机器访问行为的方法，其特征在于，所述构建Bot用户检测机器学习模型，同时构建自适应学习模块以对所述Bot用户检测机器学习模型进行实时更新，并进一步构建模型函数，具体包括：
将已标注的Bot用户和正常用户特征数据存入Hive表，形成训练样本知识库；
创建Spark任务周期性消费Hive表中的训练样本，生成Bot用户检测机器学习模型；
将所述Bot用户检测机器学习模型的参数文件以文本的形式保存至集群，构成自适应学习模块；
在分布式计算平台创建Flink实时计算任务，周期性加载集群上保存的模型参数文本，构建模型函数。


4.根据权利要求2所述的有效识别机器访问行为的方法，其特征在于，所述访问频率稳定系数的求取过程包括：
求取访问频率的Gini系数Gini(p)：



式中，pk表示一个统计时间窗口内事件k发生的概率；K表示所有事件k构成的基本事件空间；k为K中的一个事件元素；当k表示访问频率时，具体表示单位时间内的访问频率；
结合变异系数Cv和访问频率的Gini系数Gini(p)求取访问频率稳定系数Cs为：



其中，变异系数Cv为：



式中，N为统计元素的个数，xi为第i个单位时间对应的访问频率，σ为访问频率的标准差，μ为访问频率的均值。


5.根据权利要求4所述的有效识别机器访问行为的方法，其特征在于，在所述求取访问频率的Gini系数之前，还包括：
判断访问频率的单位统计时间是否为1秒，若是，直接求取访问频率的Gini系数；
反之，对单位统计时间内所有访问频率构成的数列先进行分箱操作，之后求取访问频率的Gini系数。


6.根据权利要求3所述的有效识别机器访问行为的方法，其特征在于，所述通过管控中心对检测到的Bot用户进行管控，具体包括：
根据自定义设置的域名白名单对实时检测引擎检测输出的Bot用户进行过滤，并对未命中域名白名单的Bot用户进行标记；
按照自定义设置的基于风险等级的Bot用户自动限制配置，对上述标记后的Bot用户采取不同的限制手段；且针对未进行限制的标记过的Bot用户，及时发送...

【专利技术属性】
技术研发人员：刘浩杰，皇甫道一，张昭，
申请(专利权)人：苏宁云计算有限公司，
类型：发明
国别省市：江苏;32