网络行为异常检测方法及装置制造方法及图纸

本公开的实施例提供了网络行为异常检测方法及装置。所述方法包括：采集日志数据生成用户行为信息表；对所述用户行为信息表进行预处理，生成用户行为子序列；根据所述用户行为子序列生成训练集，对预设模型进行训练。以此方式，可以更加准确的检测出网络异常行为。可以更加准确的检测出网络异常行为。可以更加准确的检测出网络异常行为。

【技术实现步骤摘要】
网络行为异常检测方法及装置


[0001]本公开涉及网络安全领域，尤其涉及网络行为异常检测


技术介绍

[0002]网络行为异常检查(NBAD，network behavior anomaly detection)能连续监测专有网络的不寻常事件或趋势。网络行为异常检查是网络行为分析(NBA)的主要部分，除了传统反威胁应用程序(如防火墙、防病毒软件和间谍软件检测软件)提供的安全之外，网络行为分析也提供安全保护。
[0003]网络行为异常检查(NBAD)程序实时跟踪关键网络特性，如果检测到一个不寻常事件或趋势，就生成显示威胁存在的警报。网络特性的例子有流量、带宽使用和协议使用。网络行为异常检查程序还可以监视个人网络用户的行为。为了使网络行为异常检查达到最佳效果，就必须在一段时间内建立正常网络或用户行为的基准。一旦某些参数被定义为是正常的，那么违背一个或多个参数就会被标记为异常。除了使用传统的防火墙和恶意软件检测软件外，也应使用网络行为异常检查(NBAD)。一些厂商已开始认识到这一事实，并且将网络行为分析或网络行为异常检查作为其网络安全套件的主要组成部分。
[0004]现有技术方案主要是根据HDFS中历史一个统计周期内用户的日志记录,用户异常行为检测系统利用机器学习通过离线方式对用户访问行为进行异常分析,建立用户行为模型；基于Storm中当前实时用户操作行为,用户异常行为检测系统在线比较实时行为和历史行为的差异；若上述二者差异较大,则向Kafka发送安全预警信息并在Stream界面中展示，否则,判断该行为是合规的安全行为。
[0005]现有技术方案主要存在三个缺点：
[0006]一、没有提供日志数据处理的过程，且日志来源单一，当前企业或者公司日志来源种类多，日志根据来源的规则库存在异构性，与实际应用场景不符，有效性和实用性差。
[0007]二、日志以流的形式被收集，具有海量且冗杂的特点，对每条日志都进行概率密度计算以及与历史行为进行数值上的对比需要消耗大量的计算资源，缺乏对数据的整理和过滤。
[0008]三、异常检测种类单一，难以适应现存的需求，实用性差。

技术实现思路

[0009]本公开提供了一种网络行为异常检测方法及装置。
[0010]根据本公开的第一方面，提供了一种网络行为异常检测模型的训练方法，包括：
[0011]采集日志数据生成用户行为信息表；对所述用户行为信息表进行预处理，生成用户行为子序列；
[0012]根据所述用户行为子序列生成训练集，对预设模型进行训练。
[0013]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述日志数据包括以下一种或多种：网页访问日志、登录日志、TCP LOG日志、邮件日志、安全日志；
[0014]采集日志数据生成用户行为信息表包括分别采集各种日志数据生成对应的用户行为信息表。
[0015]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述对所述用户行为信息表进行预处理，生成用户行为子序列包括：
[0016]对用户行为信息表进行预处理，将所述用户行为信息表转化成序列形式；使用时间滑动窗口对序列形式的用户行为信息表进行采集，生成用户行为子序列。
[0017]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述用户行为子序列生成训练集，对预设模型进行训练包括：
[0018]根据对应的下一用户行为属于正常行为的用户行为子序列作为样本，将对应的下一用户行为属于正常行为作为标注，生成训练集；
[0019]利用所述训练集对预设的XGBoost模型进行训练。
[0020]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述用户行为子序列生成训练集还包括：
[0021]基于所述用户行为子序列的相似性，缩小训练集的范围。
[0022]根据本公开的第二方面，提供了一种网络行为异常检测方法，所述方法包括：
[0023]采集日志数据生成用户行为信息表；对所述用户行为信息表进行预处理，生成用户行为子序列；
[0024]将所述用户行为子序列输入权利要求1
‑
5任一所述的网络行为异常检测模型，得到是否属于异常行为的检测结果。
[0025]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：
[0026]通过查询语句确定所述用户行为子序列是否属于其他异常行为。
[0027]根据本公开的第三方面，提供了一种网络行为异常检测装置，包括：
[0028]采集模块，用于采集日志数据生成用户行为信息表；对所述用户行为信息表进行预处理，生成用户行为子序列；
[0029]判定模块，用于将所述用户行为子序列输入权利要求1
‑
5任一所述的网络行为异常检测模型，得到是否属于异常行为的检测结果。
[0030]根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
[0031]根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本公开的第一方面和/或第二方面的方法。
[0032]根据本公开提供的一种网络行为异常检测方法及装置，实现了以下技术效果：
[0033]将召回、排序算法引入异常行为检测分析，实现对了实时行为序列中的每一步正常行为进行预测，若预测值包含了真实值，则认为无异常，减少误报漏报。
[0034]解决了以下问题：
[0035]①
解决了多源异构日志数据处理问题，当前企业或者公司日志来源种类多，日志根据来源的规则库存在异构性，为适应实际应用场景，提高有效性和实用性，设计了适应绝大多数情况的信息表。
[0036]②
解决了普通算法难以适应流式数据特性的问题。日志以流的形式被收集，具有
海量且冗杂的特点。技术使用logstash实现数据采集，使用HDFS作为数据库，使用Spark技术对数据库历史数据进行离线的批量特征处理，使用Flink技术对客户端的实时数据进行流式数据处理。得到行为序列的多种特征，并将其分别存放在HDFS数据库中。
[0037]③
解决了异常检测种类单一，难以适应现存的需求的问题。实现了基于数据库查询的点异常查询；实现了基于行为序列异常检测算法实现的上下文异常判定。
[0038]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
[0039]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本公开的限定在附图中，相同或相似的附图标记表示相同或相似的元素，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络行为异常检测模型的训练方法，其特征在于，包括：采集网络日志数据生成用户行为信息表；对所述用户行为信息表进行预处理，生成用户行为子序列；根据所述用户行为子序列生成训练集，对预设模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述网络日志数据包括以下一种或多种：网页访问日志、登录日志、TCP LOG日志、邮件日志、安全日志；所述采集日志数据生成用户行为信息表包括分别采集各种日志数据生成对应的用户行为信息表。3.根据权利要求2所述的方法，其特征在于，所述对所述用户行为信息表进行预处理，生成用户行为子序列包括：对用户行为信息表进行预处理，将所述用户行为信息表转化成序列形式；使用时间滑动窗口对序列形式的用户行为信息表进行采集，生成用户行为子序列。4.根据权利要求3所述的方法，其特征在于，所述根据所述用户行为子序列生成训练集，对预设模型进行训练包括：根据对应的下一用户行为属于正常行为的用户行为子序列作为样本，将对应的下一用户行为属于正常行为作为标注，生成训练集；利用所述训练集对预设的XGBoost模型进行训练。5.根据权利要求4所述的方法，其特征在于，所述根据所述用户行为子序列生成训练集还包括：基于所述用户行为子序列的相似性，缩小训练集的范围。6.一种网络行为异常检测方法，其特征在...

【专利技术属性】
技术研发人员：孔维玉，孙燕杰，袁开国，付海涛，司大鹏，石明磊，陆毅远，
申请(专利权)人：上海速丰通联科技集团有限公司，
类型：发明
国别省市：