一种基于哈希计数的网络系统活跃度评估方法技术方案

本发明专利技术公开了一种基于哈希计数的网络系统活跃度评估方法，采用Coco Sketch这一数据结构统计各个节点的信息，完成对各类数据的初步统计，并使用最小堆来对信息进行排序。在此基础上，设计了相应的系统活跃度评价算法，从多个角度对网络节点的系统活跃度进行综合评价，最终，将得到的网络节点活跃度信息进行整理，并将结果以可视化的方式展示出来，完成对其活跃度的综合评估。本发明专利技术设计了相应的统计算法，完成了对各类数据的初步统计，最后将结果进行可视化，综合评估网络系统的活跃度。综合评估网络系统的活跃度。综合评估网络系统的活跃度。

【技术实现步骤摘要】
一种基于哈希计数的网络系统活跃度评估方法


[0001]本专利技术涉及实时流量数据分析问题，具体涉及一种基于哈希计数的网络系统活跃度评估方法。

技术介绍

[0002]实时数据分析在现实的数据中心网络中很重要。面对海量的数据流，不仅需要正确统计每一个IP地址的访问与被访问次数等信息，还应对节点信息进行有效处理，设计相关评价指标对网络节点在时间周期内的活跃度进行综合评估。
[0003]相关技术主要聚焦于网络流量数据高性能处理和活跃度评价指标上。每个网络节点都可以得到相关的访问信息，适当地利用这些信息，就可以准确地对该节点的系统活跃度进行综合评价，从而直观的了解每个IP的活跃度情况。目前有关节点活跃度的评估方法有很多，但并未有一个与此目标问题结合较深的解决方法，所以如何利用相关技术，并结合该问题场景，有效地完成对网络系统活跃度的综合评估，是需要思考和解决的问题。

技术实现思路

[0004]本专利技术的目的在于提出一种基于哈希计数的网络系统活跃度评估方法，能够从多个角度对网络节点的系统活跃度进行综合评价，并通过可视化的方法将相关结果直观地表示出来。
[0005]为了实现以上专利技术目的，本专利技术的技术方案如下：
[0006]一种基于哈希计数的网络系统活跃度评估方法和设备，包括以下步骤：
[0007](1)对初始网络流量数据进行清洗处理，使用Coco Sketch对网络流信息进行存储。
[0008](2)对数据流的ID进行哈希处理，找到对应的哈希桶。根据数据流和哈希桶中所保留的流ID，更新哈希桶中的各个字段，并查询流大小的估计值。
[0009](3)根据流大小的估计值更新最小堆。
[0010](4)对数据中存在的异常进行检测并处理。
[0011](5)对sketch中的信息进行处理，得到IP对应的入度、出度、输入输出流量、活跃端口数、频繁访问流入流出邻居列表，并将评价后信息整理并可视化。
[0012]进一步地，所述步骤1中的Coco Sketch数据结构，可以通过任意部分键进行查询，并且通过一个sketch就可以实现对流数据特征的高效记录，从而大大减小空间空间开销。
[0013]进一步地，所述步骤2中，当数据流映射出现冲突时，更新所述对冲突计数器；当哈希桶中原流需要更新时，重置冲突的哈希桶并进行更新；
[0014]进一步地，所述步骤3中增添了最小堆模块以实现对高频项的记录和查询；
[0015]输入为待分析活跃度的IP地址，找到该IP对应的历史网络流量数据记录，保存在相应的sketch中。根据极限检测模型分析是否存在异常，若存在活跃度异常则进行异常分析；接着从多个sketch中提取该IP的活动信息，记录其活跃端口与拼房访问邻居等信息；最
后根据访问数据生成可视化图表。
[0016]进一步地，所述步骤5中，对存储所有源IP发起访问的统计信息的sketch进行读取，进而提取出每个IP发起访问其它节点的总的节点数量以及每个IP的输出流量。类似地，对存储了所有目的IP被访问的统计信息的sketch进行读取，同理可以提取出每个IP被其它节点访问的总的节点数量以及每个IP的输入流量；
[0017]进一步地，所述步骤5中，每个IP对应的端口文件存储了所有源IP与目的IP相应端口被访问的信息的，因而我们读取相应文件中的数据，对其中的数据进行处理并判断(通过端口的被访问次数判断其是否活跃)进而得出该IP的活跃端口数；
[0018]进一步地，所述步骤5中，对存储了每个源IP发起访问的统计信息的文件进行读取，可以得到该IP发起访问最频繁的IP地址的统计信息。读取后加以处理，进而可以得到每个IP地址的频繁访问流出邻居列表。类似地，同样可以得到每个IP地址的频繁访问流入邻居列表；最后，利用matlibplot及networkx可视化工具画出相关图像。
[0019]有益效果：本专利技术提出了一种基于哈希计数的网络系统活跃度评估方法，对于网络流数据采用CocoSketch这一数据结构统计各个节点的信息，并设计了相应的统计算法，完成了对各类数据的初步统计。最后将结果进行可视化，综合评估网络系统的活跃度。
附图说明
[0020]图1是活跃度分析算法采用的基本数据结构示意图。
[0021]图2是基于活跃度分析算法的运行流程示意图。
[0022]图3是整体算法的运行流程示意图。
具体实施方式
[0023]下面结合附图对本专利技术的技术方案作进一步说明。应当了解，以下提供的实施例仅是为了详尽地且完全地公开本专利技术，并且向所属
的技术人员充分传达本专利技术的技术构思，本专利技术还可以用许多不同的形式来实施，并且不局限于此处描述的实施例。对于示例性实施方式中的术语并不是对本专利技术的限定。
[0024]一种基于哈希计数的网络系统活跃度评估方法，该方法包括以下步骤：
[0025](1)对初始网络流量数据进行清洗处理，使用Coco Sketch对网络流信息进行存储。
[0026](2)对数据流的ID进行哈希处理，找到对应的哈希桶。根据数据流和哈希桶中所保留的流ID，更新哈希桶中的各个字段，并查询流大小的估计值。
[0027](3)根据流大小的估计值更新最小堆。
[0028](4)对数据中存在的异常进行检测并处理。
[0029](5)对sketch中的信息进行处理，得到IP对应的入度、出度、输入输出流量、活跃端口数、频繁访问流入流出邻居列表，并将评价后信息整理并可视化。
[0030]进一步地，所述步骤1中的Coco Sketch数据结构，可以通过任意部分键进行查询，并且通过一个sketch就可以实现对流数据特征的高效记录，从而大大减小空间空间开销。
[0031]进一步地，所述步骤2中，当数据流映射出现冲突时，更新所述对冲突计数器；当哈希桶中原流需要更新时，重置冲突的哈希桶并进行更新；
[0032]进一步地，所述步骤3中增添了最小堆模块以实现对高频项的记录和查询；
[0033]输入为待分析活跃度的IP地址，找到该IP对应的历史网络流量数据记录，保存在相应的sketch中。根据极限检测模型分析是否存在异常，若存在活跃度异常则进行异常分析；接着从多个sketch中提取该IP的活动信息，记录其活跃端口与拼房访问邻居等信息；最后根据访问数据生成可视化图表。
[0034]进一步地，所述步骤5中，对存储所有源IP发起访问的统计信息的sketch进行读取，进而提取出每个IP发起访问其它节点的总的节点数量以及每个IP的输出流量。类似地，对存储了所有目的IP被访问的统计信息的sketch进行读取，同理可以提取出每个IP被其它节点访问的总的节点数量以及每个IP的输入流量；
[0035]进一步地，所述步骤5中，每个IP对应的端口文件存储了所有源IP与目的IP相应端口被访问的信息的，因而我们读取相应文件中的数据，对其中的数据进行处理并判断(通过端口的被访问次数判断其是否活跃)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于哈希计数的网络系统活跃度评估方法，其特征在于，该方法包括以下步骤：（1）对初始网络流量数据进行清洗处理，使用Coco Sketch对网络流信息进行存储；（2）对数据流的ID进行哈希处理，找到对应的哈希桶；根据数据流和哈希桶中所保留的流ID，更新哈希桶中的各个字段，并查询流大小的估计值；（3）根据流大小的估计值更新最小堆；（4）对数据中存在的异常进行检测并处理；（5）对sketch中的信息进行处理，得到IP对应的入度、出度、输入输出流量、活跃端口数、频繁访问流入流出邻居列表，并将评价后信息整理并可视化。2.根据权利要求1所述的一种基于哈希计数的网络系统活跃度评估方法，其特征在于，步骤（1）中的Coco Sketch的数据结构根据哈希值的范围来确定的所需的存储空间，各种包根据哈希值再次归类，可以大大减少存储空间；Coco Sketch是一个w列d行的二维数组，参数w和d在创建数据结构时就已经确定，与查询的错误率相关；每一行与一个哈希函数相关联，共有d个相互独立的哈希函数；当新事件到来时，利用d个哈希函数获得d个对应的列索引，并且在每一行的对应位置上计数加一；查询阶段需要统计某个事件i的计数，可以类似地获得d个对应的列索引，然后取对应位置中的最小值。3.根据权利要求1所述的一种基于哈希计数的网络系统活跃度评估方法，其特征在于，在步骤（2）中，当映射到任一所述哈希桶的新流与所述哈希桶中原流不同，更新所述流计冲突数器，每当窗口滑动时，更新所述位图，当所述位图中记录的数据确定所述新流大于所述原流，重置存在冲突的所述哈希桶，所述新流替换所述哈希桶中原流。4.根据权利要求1所述的一种基于哈希计数的网络系统活跃度评估方法，其特征在于，步骤（3）中，为了方便对高频项进行记录与查询，为每个...

【专利技术属性】
技术研发人员：姜鑫东，周峰，王晨璐，姜婧，季润阳，蒋亮，蒋思珺，刘春辉，陈一楠，薛清宇，
申请(专利权)人：国网江苏省电力有限公司南通供电分公司，
类型：发明
国别省市：