一种变长时间窗口下复杂图网络的聚类方法技术

本发明专利技术是有关于一种变长时间窗口下复杂图网络的聚类方法，其先选定单位时间窗口，将日志数据按照单位时间窗口划分，再计算笛卡尔积，计算聚类的簇的距离，依据距离划分攻击组织，其立足于攻击行为中的关键实体，基于模块度的衡量指标，依照关键实体与其他攻击资源的关系，采用Louvain算法对不同时间窗口内不同组织的关键实体进行聚合。然后对相邻两时间窗口下的簇进行比较与合并，从而形成在一定时间窗口下的攻击组织，实现了对变长时间窗口下的攻击组织进行了持续跟踪，并可从单位时间窗口角度对攻击组织的成员增加、减少等变化进行刻画，满足了对攻击组织变迁的了解需求。

【技术实现步骤摘要】
一种变长时间窗口下复杂图网络的聚类方法
本专利技术涉及一种网络安全领域的网络安全方法及装置，特别是涉及一种变长时间窗口下复杂图网络的聚类方法。
技术介绍
基于图网络的聚类算法有K-means、标签传播、Infomap和Louvain等。申请号为201510052965.X，专利技术名称为：网络攻击源组织检测方法，使用马尔可夫快速图形聚类方法，对关联图进行检测。没有时间维度的信息，无法考察一个聚类结果在一定时间内的变化情况，缺乏实际应用价值。申请号为201911423368.8，专利技术名称为日志聚类方法、装置、设备及存储介质，该专利使用传统的机器学习方法模型，提取IP、URL等日志实体进行聚类。没有时间维度的信息，无法考察一个聚类结果在一定时间内的变化情况，缺乏实际应用价值。上述算法通过随机游走、概率转移矩阵等方法能够较好地对输入数据中的相似样本聚集成簇，形成有研究价值的社区。然而，绝大多数图网络聚类算法缺少时间维度的度量，尤其是变长时间窗口下的聚类生成与持续跟踪方法。在网络安全实践中，一个攻击组织的活动情况是离散、非连续的，即分布在多个时间段内。又因为现有算法给定的簇编号是随机生成的，导致了同一攻击组织在不同时间段内无法统一标定，无法对攻击组织的产生、扩张、缩减以及消亡进行跟踪，所以并不适用于网络安全事件与日志分析，以及黑客攻击组织跟踪场景，缺少实际应用价值。随着网络攻防对抗的深化和不断演变，网络攻击呈现分布化和规模化的趋势，由此产生了海量的、无序的和无语义的网络安全事件。显然现有的对网络攻击和防护的方法不适应目前网络攻防对抗的形势的需要。除此之外，业界对网络攻击的防护不单满足于成功阻断，更关注对于攻击者的刻画和溯源，从而评估威胁等级，采取妥善的应对措施。因此，如何在一定时间内对具有相对独占攻击资源、基于一定手法进行规模化攻击的组织进行持续追踪，是解决上述问题的重要基础。有鉴于上述现有的图聚类算法存在的缺陷，本专利技术人经反复试作及改进后，终于创设出确具实用价值的本专利技术。
技术实现思路
本专利技术的主要目的在于，克服现有的聚类方法存在的缺陷，而提供一种新的一种变长时间窗口下复杂图网络的聚类方法，所要解决现有图聚类算法缺少时间维度考量的问题，使其应用在网络安全事件与日志分析，以及黑客攻击组织跟踪场景，对重点攻击者和攻击组织进行持续跟踪，指导采取安全处置措施，非常适于实用。本专利技术的另一目的在于，克服现有的海量日志分析不能计算长时间全部数据的问题，而提供一种变长时间窗口下复杂图网络的聚类方法，所要解决的技术问题是使其分块分区化，所提供的新型的计算数据的方式，先计算少量小部分的数据，再将其依据相似度度量方法按时间先后顺序进行拼接，从而更加适于实用。本专利技术的还一目的在于，克服现有的组织命名方法无法自动化生成和追踪存在的缺陷，而提供一种新的一种变长时间窗口下复杂图网络的聚类方法，所提供的攻击组织自动化命名和追踪的方式，使其随机生成的组织编号持久化，并能在不同时间窗口中就创生和湮灭等情况进行分析刻画，从而更加适于实用。本专利技术的目的及解决其技术问题是采用以下技术方案来实现的。依据本专利技术提出的一种变长时间窗口下复杂图网络的聚类方法，其包括以下步骤：步骤1；选定单位时间窗口，将日志数据按照单位时间窗口划分，从而将变长时间窗口下的数据分析问题转化为多个固定单位时间窗口内的数据分析；步骤2：计算笛卡尔积，计算聚类的簇的距离，依据距离划分攻击组织，实现了对变长时间窗口下的攻击组织进行了持续跟踪，并可从单位时间窗口角度对攻击组织的成员增加、减少等变化进行刻画，满足了对攻击组织变迁的了解需求。本专利技术的目的及解决其技术问题还可采用以下技术措施进一步实现。前述的一种变长时间窗口下复杂图网络的聚类方法，其中所述的选定单位时间窗口，将日志数据按照单位时间窗口划分的具体步骤是：首先接入网络安全日志数据，抽取实体信息，抽取的实体信息包括：从DDoS攻击日志中抽取时间、C&C、Bot和被攻击者的IP地址；然后，依照全部日志L时间跨度，选定单位时间窗口T，包括一年的数据，选定T为1个月，日志数据L依据时间窗口分为Lt，t∈{T1，T2，...，Tn}。前述的一种变长时间窗口下复杂图网络的聚类方法，其中所述的计算笛卡尔积计算聚类的簇的距离，依据距离划分攻击组织的具体步骤是：先按Lt，t∈{T1，T2，...，Tn}构建以关键实体为中心的无向图v0是图的初始顶点，即实体，E0是图的初始边，表示C&C控制Bot或Bot对被攻击者发起攻击；再定义社区模块度其中，Aij是顶点i和顶点j之间的权重，在此恒定为1；ki和kj表示顶点的度数；m表示所有边的数量；ci表示顶点所属的社区；δ是克罗内克函数；让后初始化循环迭代次数记录器k为0，进行以下循环迭代：将图中的每个点i∈Vk看作一个社区。尝试将每个顶点i,依次将其分配到相邻顶点j所在社区，计算其模块度变化量ΔM；取本次循环ΔM最大值ΔMmax,若ΔMmax＞0，则保留ΔMmax所对应的顶点分配尝试；若循环不再发生顶点的实际社区重分配，循环终止，记此时图聚类结果为Ct，t∈{T1，T2，...，Tn}；对于上述单位时间窗口聚类计算结果Ct，t∈{T1，T2，...，Tn},记录各聚类结果内不同簇的关键实体集合，如表示在内编号为N的簇含有的关键实体集合；对于两个相邻时间窗口内的关键实体集合做笛卡尔积运算，可得形如的集合运算结果；对于R中每个数对计算其距离若一个数对中两个元素距离大于阈值，则认为两元素具有演进关系，即二者同属一个攻击组织。若已有唯一攻击组织编号Gid，id为随机产生且唯一的值，则将其归入该攻击组织中。若没有已知的攻击组织编号关联，则新建一个编号；最终可得攻击组织它包含在不同时间窗口(Ta，Tb，Tc，Td...)内的聚类结果，从而实现对变长窗口的图网络聚类。本专利技术与现有技术相比具有明显的优点和有益效果。借由上述技术方案,其至少具有下列优点：1、本专利技术选定单位时间窗口，将日志数据按照单位时间窗口划分，不同于现有的将全部数据进行计算的方法，从而将变长时间窗口下的数据分析问题转化为多个固定单位时间窗口内的数据分析问题。此步骤采取化整为零的思想，解决了原始数据过大导致的存储和计算难题，提升了大量日志数据的计算效率。2、本专利技术计算笛卡尔积，计算聚类的簇的距离，依据距离划分攻击组织，实现了对变长时间窗口下的攻击组织进行了持续跟踪，并可从单位时间窗口角度对攻击组织的成员增加、减少等变化进行刻画，满足了对攻击组织变迁的了解需求。现有技术能够发现以攻击组织为代表的社区，但做不到其在不同时间段内的标定和持续跟踪。3、本专利技术在计算组织相似度的同时，有机引入了威胁情报等交叉对比数据，实现了攻击组织的多源多结构对比，提高了语义度量含义的熵值，使计算结果更具处置上的参考意义本文档来自技高网...

【技术保护点】
1.一种变长时间窗口下复杂图网络的聚类方法，其特征在于其包括以下步骤：/n步骤1；选定单位时间窗口，将日志数据按照单位时间窗口划分，从而将变长时间窗口下的数据分析问题转化为多个固定单位时间窗口内的数据分析；/n步骤2：计算笛卡尔积，计算聚类的簇的距离，依据距离划分攻击组织，实现了对变长时间窗口下的攻击组织进行了持续跟踪，并从单位时间窗口角度对攻击组织的成员增加、减少的变化进行刻画，满足了对攻击组织变迁的了解需求。/n

【技术特征摘要】
1.一种变长时间窗口下复杂图网络的聚类方法，其特征在于其包括以下步骤：
步骤1；选定单位时间窗口，将日志数据按照单位时间窗口划分，从而将变长时间窗口下的数据分析问题转化为多个固定单位时间窗口内的数据分析；
步骤2：计算笛卡尔积，计算聚类的簇的距离，依据距离划分攻击组织，实现了对变长时间窗口下的攻击组织进行了持续跟踪，并从单位时间窗口角度对攻击组织的成员增加、减少的变化进行刻画，满足了对攻击组织变迁的了解需求。


2.根据权利要求1所述的一种变长时间窗口下复杂图网络的聚类方法，其特征在于其中所述的选定单位时间窗口，将日志数据按照单位时间窗口划分的具体步骤是：
首先接入网络安全日志数据，抽取实体信息，抽取的实体信息包括：从DDoS攻击日志中抽取时间、C&C、Bot和被攻击者的IP地址；
然后，依照全部日志L时间跨度，选定单位时间窗口T，包括一年的数据，选定T为1个月，日志数据L依据时间窗口分为Lt，t∈{T1，T2，...，Tn}。


3.根据权利要求1至2中任一权利要求所述的一种变长时间窗口下复杂图网络的聚类方法，其特征在于其中所述的计算笛卡尔积，计算聚类的簇的距离，依据距离划分攻击组织的具体步骤是：
先按Lt，t∈{T1，T2，...，Tn}构建以关键实体为中心的无向图v0是图的初始顶点，即实体，E0是图的初始边，表示C&C控制Bot或Bo...

【专利技术属性】
技术研发人员：饶毓，严寒冰，周昊，朱天，明钢，刘威歆，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：北京;11