【技术实现步骤摘要】
本专利技术属于网络安全，涉及流量识别及异常检测技术，特别涉及一种面向高级持续威胁的双阶智能异常检测方法及系统。
技术介绍
1、异常检测是网络安全的重要研究方向之一，是发现网络攻击线索的一种重要技术手段，尤其是在面对高级持续威胁(advanced persistent threat,apt)时，比如检测c&c恶意通联和窃密行为等与apt攻击密切相关的恶意行为，能够在不掌握特征规则的情况下，起到攻击线索前置发现的作用。
2、在实际网络中，由于单位管理要求和ip资源池逐渐匮乏等因素，ip地址往往被划分为不同的区块，各自的管理员建立准入与ip动态分配机制，用户使用设备接入互联网通常需要获得许可才能使用互联网服务。图1展示了一个典型的ip地址分配示意，可见同一个ip背后的设备大概率并不是一成不变的，而是根据不同需求分配给不同的设备，继而可能被不同的用户使用。也就是说，即使是同一个ip，在一个时段下所产生的流量也可能并不是一个设备的行为导致的，而是多台设备多个用户混淆产生的流量。
3、为了准确、高效地检测网络异常行为，研究者们提出了许多方法，主要包括基于统计的异常检测方法、基于机器学习的异常检测方法和基于深度学习的异常检测方法几大类。这些方法有助于识别和检测网络流量中的异常模式、潜在攻击或不寻常行为，保护网络免受恶意活动和威胁的影响。然而，传统方法通常以ip为单位，通过收集该ip在某个时间窗口内产生的流量样本进行统计分析或者机器学习，建立正常的流量模型，进而发现异常行为。然而，在实际场景中，如图1所示，在观测
4、因此，在实际网络环境中，由于apt攻击的多设备、多步骤特性，在面向用户进行apt相关的异常检测时，需要将用户不同设备、不同ip产生的流量进行聚合分析，以获取全面的信息来支撑用户网络行为精准建模。随着当前越来越多的单位部署了网络准入管理系统，用户在连接到互联网之前基本进行了身份认证，能够有效从网络流量中区分出ip地址当前被分配给哪个用户、哪台设备。因此，本专利技术面向网络准入环境，以用户为单位建立流量模型进行异常检测，即使在ip动态分配场景下仍然有效，比传统方法更准确、更实用。此外，本专利技术引入了大模型(large language model,llm)技术，通过给定场景案例学习流量数据的内在规律，生成多样化的有标注攻击数据，同时根据场景定义仿真不同的有标注数据以支持ai检测。
技术实现思路
1、针对上述问题，本专利技术公开了一种面向高级持续威胁的双阶智能异常检测方法及系统，该方法以用户为单位，建立面向真实网络环境的集成检测方案。通过以用户为单位进行特征提取和异常检测，本专利技术能够更全面地了解用户的行为模式和特征，识别出跨设备的异常活动，并提供更准确的异常检测结果和异常等级判定。
2、为达到上述目的，本专利技术的技术方案包括以下内容。
3、一种面向高级持续威胁的双阶智能异常检测方法，所述方法包括：
4、从网络流量中提取待检测用户的用户流量，以得到该待检测用户的行为数据和该待检测用户所涉及的每一用户设备的流量数据；
5、从所述行为数据提取用户级特征，并从所述流量数据提取该用户设备的设备级特征；
6、基于所述用户级特征和所述设备级特征，得到所述用户流量的异常检测结果。
7、进一步地，所述从网络流量中提取待检测用户的用户流量，以得到该待检测用户的行为数据和该待检测用户所涉及的每一用户设备的流量数据，包括：
8、将待检测用户的用户账户、用户设备的ip地址和该用户设备相互映射；
9、基于时间戳，对网络流量的数据序列进行重排；
10、根据映射结果，将不同时段的重排后网络流量归因到该待检测用户上，以得到该待检测用户的行为数据；
11、根据映射结果，将该待检测用户的行为数据归因到所涉及的用户设备上，以得到该待检测用户所涉及的每一用户设备的流量数据。
12、进一步地，所述用户级特征包括：与特定对端通联的用户源ip数量、特定时间区间内与特定对端通联的用户源端口数量、特定c段下通联的用户源ip数量、用户源ip数、tcp字节数中用户设备占比、tcp流出字节数中用户设备占比、总字节数中用户设备占比、tcp包数中用户设备占比、tcp流出包数中用户设备占比和总包数中用户各设备占比。
13、进一步地，所述设备级特征包括：用户设备的流量总字节数、用户设备的流入总字节数、用户设备的流出总字节数、用户设备的特定对端ip和port流量总包数、用户设备的特定对端ip和port的tcp流量总字节数、用户设备的udp_53端口总包数、用户设备的特定ip的icmp通联对端ip数、用户设备的流入流出字节数比、用户设备的流入流出包数比值、用户设备的tcp/udp包数比值、非稳定对端字节数、非稳定对端包数、非稳定对端通联流入流出字节比、以及非稳定对端通联流入流出包数比。
14、进一步地，基于所述用户级特征和所述设备级特征，得到所述用户流量的异常检测结果，包括：
15、基于所述用户级特征识别所述用户流量是否存在异常；
16、在未识别出所述用户流量存在异常的情况下，将用户流量正常作为所述用户流量的异常检测结果；
17、在识别出所述用户流量存在异常的情况下，基于设备级特征识别判断对应的用户设备是否存在异常；
18、在所有用户设备都不存在异常的情况下，将异常告警保持在用户层面作为所述用户流量的异常检测结果；
19、在至少一用户设备存在异常的情况下，结合该用户设备的权重计算所述用户流量的异常等级，并将所述异常等级和存在异常的用户设备作为所述用户流量的异常检测结果。
20、进一步地，基于所述用户级特征识别所述用户流量是否存在异常，包括：
21、通过将所述用户级特征中文本类信息转为数字信息后，进行min-max归一处理，得到所述用户级特征的向量化表示；
22、将所述用户级特征的向量化表示输入训练好的用户级ai模型，得到用户流量异常检测结果；其中，构建用户级ai模型的方法包括：随机森林算法。
23、进一步地，所述方法还包括：对训练好的用户级ai模型进行半监督适应性更新；
24、所述对训练好的用户级ai模型进行半监督适应性更新，包括：
25、通过关联用户级ai模型的检测结果和历史流量数据，生成标注数据data′＝judge(result,data)[left,right]；其中，judge是关联函数，result是用户级ai模型hi的检测结果，data为历史流量数据，[left,right]表示数据范围；其中，i≥0，h0表示所述训练好的用户级ai模型本文档来自技高网...
【技术保护点】
1.一种面向高级持续威胁的双阶智能异常检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述从网络流量中提取待检测用户的用户流量，以得到该待检测用户的行为数据和该待检测用户所涉及的每一用户设备的流量数据，包括：
3.根据权利要求1所述的方法，其特征在于，所述用户级特征包括：与特定对端通联的用户源IP数量、特定时间区间内与特定对端通联的用户源端口数量、特定C段下通联的用户源IP数量、用户源IP数、TCP字节数中用户设备占比、TCP流出字节数中用户设备占比、总字节数中用户设备占比、TCP包数中用户设备占比、TCP流出包数中用户设备占比和总包数中用户各设备占比。
4.根据权利要求1所述的方法，其特征在于，所述设备级特征包括：用户设备的流量总字节数、用户设备的流入总字节数、用户设备的流出总字节数、用户设备的特定对端IP和Port流量总包数、用户设备的特定对端IP和Port的TCP流量总字节数、用户设备的UDP_53端口总包数、用户设备的特定IP的ICMP通联对端IP数、用户设备的流入流出字节数比、用户设备的流入流出包数比值
5.根据权利要求1所述的方法，其特征在于，基于所述用户级特征和所述设备级特征，得到所述用户流量的异常检测结果，包括：
6.根据权利要求5所述的方法，其特征在于，基于所述用户级特征识别所述用户流量是否存在异常，包括：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：对训练好的用户级AI模型进行半监督适应性更新；
8.一种面向高级持续威胁的双阶智能异常检测系统，其特征在于，所述系统包括：
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-7中任一所述面向高级持续威胁的双阶智能异常检测方法。
10.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-7中任一所述面向高级持续威胁的双阶智能异常检测方法。
...【技术特征摘要】
1.一种面向高级持续威胁的双阶智能异常检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述从网络流量中提取待检测用户的用户流量，以得到该待检测用户的行为数据和该待检测用户所涉及的每一用户设备的流量数据，包括：
3.根据权利要求1所述的方法，其特征在于，所述用户级特征包括：与特定对端通联的用户源ip数量、特定时间区间内与特定对端通联的用户源端口数量、特定c段下通联的用户源ip数量、用户源ip数、tcp字节数中用户设备占比、tcp流出字节数中用户设备占比、总字节数中用户设备占比、tcp包数中用户设备占比、tcp流出包数中用户设备占比和总包数中用户各设备占比。
4.根据权利要求1所述的方法，其特征在于，所述设备级特征包括：用户设备的流量总字节数、用户设备的流入总字节数、用户设备的流出总字节数、用户设备的特定对端ip和port流量总包数、用户设备的特定对端ip和port的tcp流量总字节数、用户设备的udp_53端口总包数、用户设备的特定ip的icmp通联对端ip数、用户设备的流入流出字节数比、用户设...
【专利技术属性】
技术研发人员：李书豪，谢江，云晓春，尹涛，秦瑞，
申请(专利权)人：北京中关村实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。