【技术实现步骤摘要】
本专利技术涉及网络安全，具体而言，涉及一种网络异常识别方法和系统。
技术介绍
1、在对抗爬虫的场景下，对于流量时间序列所呈现的异常波动的感知是判断爬虫的重要手段。随着对抗的逐步升级，爬虫越来越狡猾，它们会通过降低调用量、分散调用、仅高峰时段调用等手段相结合的方式尽可能隐藏自己的踪迹。
2、现有技术中，通常先对采集的某个网络接口访问量的时间序列进行平滑处理，再结合平滑处理后数据的均值、方差等统计特征及人工经验设置异常告警阈值，以在后续基于异常告警阈值进行网络异常识别。
3、由上分析可知，针对上述现有技术通过人工经验设置网络接口访问量异常阈值导致网络异常识别准确性和及时性差的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本专利技术实施例提供了一种网络异常识别方法和系统，以至少解决现有技术通过人工经验设置网络接口访问量异常阈值导致网络异常识别准确性和及时性差的技术问题。
2、根据本专利技术实施例的一个方面，提供了一种网络异常识别方法，包括：
3、获取目标服务器的网络接口访问日志；利用目标流处理框架对网络接口访问日志的文本数据进行处理，得到处理结果，其中，处理结果至少包括目标网络接口的时序数据，时序数据用于确定目标网络接口在任意一个访问时间的实际访问量；利用目标时序预测模型对第一时间周期的时序数据进行预测，得到预测结果，其中，预测结果用于确定目标网络接口在第二时间周期的预测访问量，第二时间周期为时序在第一时间周期之后且与第一时间周期相
4、可选地，利用目标流处理框架对网络接口访问日志的文本数据进行处理，得到处理结果包括：对文本数据进行数据清洗，得到清洗后文本数据；利用数据流处理函数对清洗后文本数据进行数据解析，得到解析结果，其中，解析结果用于确定每条访问日志的网络接口名称和时间戳信息；基于预设时间窗口对解析结果进行聚合统计，得到处理结果。
5、可选地，上述网络异常识别方法还包括：基于时序预测算法构建初始时序预测模型；获取目标网络接口在至少两个时间周期的历史数据，其中，历史数据用于确定至少两个时间周期的历史访问量；对历史数据进行数据预处理与数据分割，得到训练集和测试集；在利用训练集对初始时序预测模型进行训练过程中，反复迭代和调整模型参数，得到待评估时序预测模型；利用测试集对待评估时序预测模型进行评估，得到评估结果，其中，评估结果用于确定待调整模型参数；基于评估结果对待评估时序预测模型的待调整模型参数进行调整，得到目标时序预测模型。
6、可选地，预测结果包括第一预测结果和第二预测结果，第一预测结果包括目标时间点的预测访问量，目标时间点为第二时间周期的两个时间端点，第二预测结果包括其他时间点的预测访问量，其他时间点为第二时间周期内除了目标时间点之外的时间点，利用目标时序预测模型对第一时间周期的时序数据进行预测，得到预测结果包括：利用目标时序预测模型对目标时间点的访问量进行预测，得到第一预测结果；利用第一预测结果中至少一个时间端点的预测访问量确定其他时间点的预测访问量，得到第二预测结果。
7、可选地，利用第一预测结果中至少一个时间端点的预测访问量确定其他时间点的预测访问量包括：确定与任意一个其他时间点接近的时间端点为目标时间端点；将目标时间端点的预测访问量确定为任意一个其他时间点的预测访问量。
8、可选地，利用第一预测结果中至少一个时间端点的预测访问量确定其他时间点的预测访问量包括：确定任意一个其他时间点与任意一个时间端点的时间距离；基于时间距离确定任意一个时间端点的预测访问量的权重；对两个时间端点的预测访问量及对应的权重进行加权求和计算，得到任意一个其他时间点的预测访问量。
9、可选地，基于预测访问量和第一时间周期的实际访问量，对目标网络接口进行异常识别，得到识别结果包括：计算任意一个时间点对应的预测访问量与实际访问量的差值，得到残差序列；计算残差序列的标准差；比较标准差与异常访问阈值，得到比较结果；响应于比较结果确定标准差大于异常访问阈值，确定识别结果为目标网络接口在第二时间周期存在异常访问风险。
10、可选地，异常访问阈值由第一时间周期对应残差序列的标准差确定。
11、可选地，上述网络异常识别方法还包括：响应于目标网络接口在第二时间周期存在异常访问风险，触发并执行网络异常保护措施。
12、根据本专利技术实施例的另一方面，还提供了一种网络异常识别装置，包括：
13、获取模块，用于获取目标服务器的网络接口访问日志；处理模块，用于利用目标流处理框架对网络接口访问日志的文本数据进行处理，得到处理结果，其中，处理结果至少包括目标网络接口的时序数据，时序数据用于确定目标网络接口在任意一个访问时间的实际访问量；预测模块，用于利用目标时序预测模型对第一时间周期的时序数据进行预测，得到预测结果，其中，预测结果用于确定目标网络接口在第二时间周期的预测访问量，第二时间周期为时序在第一时间周期之后且与第一时间周期相邻的时间周期；识别模块，用于基于预测访问量和第一时间周期的实际访问量，对目标网络接口进行异常识别，得到识别结果，其中，识别结果用于确定目标网络接口在第二时间周期是否存在异常访问风险。
14、可选地，上述处理模块包括：对文本数据进行数据清洗，得到清洗后文本数据；利用数据流处理函数对清洗后文本数据进行数据解析，得到解析结果，其中，解析结果用于确定每条访问日志的网络接口名称和时间戳信息；基于预设时间窗口对解析结果进行聚合统计，得到处理结果。
15、可选地，上述网络异常识别装置还包括：训练模块，用于基于时序预测算法构建初始时序预测模型；获取目标网络接口在至少两个时间周期的历史数据，其中，历史数据用于确定至少两个时间周期的历史访问量；对历史数据进行数据预处理与数据分割，得到训练集和测试集；在利用训练集对初始时序预测模型进行训练过程中，反复迭代和调整模型参数，得到待评估时序预测模型；利用测试集对待评估时序预测模型进行评估，得到评估结果，其中，评估结果用于确定待调整模型参数；基于评估结果对待评估时序预测模型的待调整模型参数进行调整，得到目标时序预测模型。
16、可选地，预测结果包括第一预测结果和第二预测结果，第一预测结果包括目标时间点的预测访问量，目标时间点为第二时间周期的两个时间端点，第二预测结果包括其他时间点的预测访问量，其他时间点为第二时间周期内除了目标时间点之外的时间点，上述预测模块包括：利用目标时序预测模型对目标时间点的访问量进行预测，得到第一预测结果；利用第一预测结果中至少一个时间端点的预测访问量确定其他时间点的预测访问量，得到第二预测结果。
17、可选地，上述预测模块包括：确定与任意一个其他时间点接近的时间端点为目标时间端点；将目标时间端点的预测访问量确定为任意一本文档来自技高网...
【技术保护点】
1.一种网络异常识别方法，其特征在于，包括：
2.根据权利要求1所述的网络异常识别方法，其特征在于，利用所述目标流处理框架对所述网络接口访问日志的所述文本数据进行处理，得到所述处理结果包括：
3.根据权利要求1所述的网络异常识别方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的网络异常识别方法，其特征在于，所述预测结果包括第一预测结果和第二预测结果，所述第一预测结果包括目标时间点的预测访问量，所述目标时间点为所述第二时间周期的两个时间端点，所述第二预测结果包括其他时间点的预测访问量，所述其他时间点为所述第二时间周期内除了所述目标时间点之外的时间点，利用所述目标时序预测模型对所述第一时间周期的所述时序数据进行预测，得到所述预测结果包括：
5.根据权利要求4所述的网络异常识别方法，其特征在于，利用所述第一预测结果中所述至少一个时间端点的预测访问量确定所述其他时间点的预测访问量包括：
6.根据权利要求4所述的网络异常识别方法，其特征在于，利用所述第一预测结果中所述至少一个时间端点的预测访问量确定所述其他时间点的预测访
7.根据权利要求1所述的网络异常识别方法，其特征在于，基于所述预测访问量和所述第一时间周期的实际访问量，对所述目标网络接口进行异常识别，得到所述识别结果包括：
8.根据权利要求7所述的网络异常识别方法，其特征在于，所述异常访问阈值由所述第一时间周期对应残差序列的标准差确定。
9.根据权利要求7所述的网络异常识别方法，其特征在于，所述方法还包括：
10.一种网络异常识别系统，其特征在于，包括存储器和处理器，所述存储器中存储有可执行计算机程序，所述处理器被设置为运行所述可执行计算机程序以执行所述权利要求1至9中任意一项的所述网络异常识别方法。
...【技术特征摘要】
1.一种网络异常识别方法，其特征在于，包括：
2.根据权利要求1所述的网络异常识别方法，其特征在于，利用所述目标流处理框架对所述网络接口访问日志的所述文本数据进行处理，得到所述处理结果包括：
3.根据权利要求1所述的网络异常识别方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的网络异常识别方法，其特征在于，所述预测结果包括第一预测结果和第二预测结果，所述第一预测结果包括目标时间点的预测访问量，所述目标时间点为所述第二时间周期的两个时间端点，所述第二预测结果包括其他时间点的预测访问量，所述其他时间点为所述第二时间周期内除了所述目标时间点之外的时间点，利用所述目标时序预测模型对所述第一时间周期的所述时序数据进行预测，得到所述预测结果包括：
5.根据权利要求4所述的网络异常识别方法，其特征在于，利用所述第一预测结果中所述至少一个时间端点的...
【专利技术属性】
技术研发人员：闫逸飞，
申请(专利权)人：途家网网络技术北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。