一种基于特征学习的BOT流量检测方法技术

本发明专利技术公开了一种基于特征学习的BOT流量检测方法，属于网络安全技术领域，包括以下步骤：采集原始的网络流量，形成原始HTTP流量日志；对原始HTTP流量日志进行预处理；进行特征选择，得到多个特征；将处理后数据作为训练数据集，使用所有特征在训练数据集上训练随机森林模型，获得最佳超参数，使用最佳超参数训练随机森林模型，输出分类样本，将分类样本划分为训练集和测试集，设置参数后对XGBOOST模型进行训练，得到最佳效果模型；最佳效果模型部署，进行BOT流量实时监控，本申请能够更精确地识别发现网络中BOT流量，降低误报率，并对高级攻击BOT有较好的识别效果，并且本申请无需客户端侵入，可避免造成侵犯用户隐私的问题。

【技术实现步骤摘要】

本专利技术属于网络安全，具体涉及一种基于特征学习的bot流量检测方法。

技术介绍

1、bot是机器人（robot）的简称，所谓bot流量，即指在网络上，针对web网站、api接口、终端app等服务实体，通过非人工操作的方式，如工具脚本、外挂爬虫或模拟器等，发起的自动化程序访问流量。对于符合此类特征的访问流量，就可以称为bot流量。据第三方统计，近几年全球网络环境中，bot流量的请求占比已过半，超过人工的访问流量。

2、从用途目的上来看，bot流量既包含善意的，也包含恶意的。善意流量主要包括搜索引擎（蜘蛛、seo）、商业数据抓取爬虫、性能监控机器人等产生的流量，恶意流量则通过利用idc机房ip、代理或秒拨ip、手机群控、打码或接码平台等手段，执行爬取敏感数据、刷业务接口、薅活动羊毛、外挂作弊和漏洞检测利用等恶意攻击行为，造成信息泄露、资源消耗或资金损失等风险和影响。因此，良好的bot流量检测能力对于保护企业免受网络欺诈和安全威胁至关重要。

3、随着安全人员与黑灰产的攻防演进，bot检测相比以往更加困难。现有的bot检测包括用户交互行为本文档来自技高网...

【技术保护点】

1.一种基于特征学习的BOT流量检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于特征学习的BOT流量检测方法，其特征在于，S1具体为：使用流量采集探针，通过旁路流量接入的方式，采集原始的网络流量，并基于网络协议采集引擎，对多协议的网络流量进行解析还原，分离出HTTP协议流量，形成原始HTTP流量日志。

3.根据权利要求1所述的一种基于特征学习的BOT流量检测方法，其特征在于，S2中，预处理操作包括去噪清洗、处理缺失值、去除异常值、标准化数据格式、富化数据特征。

4.根据权利要求1所述的一种基于特征学习的BOT流量检测方法，其特征在...

【技术特征摘要】

1.一种基于特征学习的bot流量检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于特征学习的bot流量检测方法，其特征在于，s1具体为：使用流量采集探针，通过旁路流量接入的方式，采集原始的网络流量，并基于网络协议采集引擎，对多协议的网络流量进行解析还原，分离出http协议流量，形成原始http流量日志。

3.根据权利要求1所述的一种基于特征学习的bot流量检测方法，其特征在于，s2中，预处理操作包括去噪清洗、处理缺失值、去除异常值、标准化数据格式、富化数据特征。

4.根据权利要求1所述的一种基于特征学习的bot流量检测方法，其特征在于，s3中的特征包括...

【专利技术属性】
技术研发人员：章明珠，楚文良，
申请(专利权)人：成都思维世纪科技有限责任公司，
类型：发明
国别省市：