一种海量数据的TOP排名方法、设备及存储介质技术

本发明专利技术公开一种海量数据的TOP排名方法、设备及存储介质，方法包括：S1、构建哈希链表，其中，所述哈希链表分配有预设大小的内存，用于存储n个不同的TOP节点，所述哈希链表的各个TOP节点通过一预设的哈希函数与海量数据的第一元素对应；S2、获取海量数据中的某一条数据，并通过所述哈希函数计算此数据的第一元素对应的TOP节点后，判断计算出的TOP节点是否在所述哈希链表中，并根据判断结果对所述哈希链表进行更新，以更新哈希链表中的TOP节点的排序；S3、重复执行步骤S2，直至海量数据遍历完毕后，以最后更新得到的哈希链表中的TOP节点的排序结果作为海量数据的TOP排名。本发明专利技术解决了目前对海量数据进行TOP排名时耗费时间长、耗费内存大的问题。内存大的问题。内存大的问题。

【技术实现步骤摘要】
一种海量数据的TOP排名方法、设备及存储介质


[0001]本专利技术涉及计算机安全
，具体涉及一种海量数据的TOP排名方法、设备及存储介质。

技术介绍

[0002]在网络设备中(比如防火墙、路由设备等)，会话是其中非常重要的模块和组成部分，对于管理员来说，关注一些基于源IP、目的IP、源端口、目的端口等的TOP排名(一般在100以内)是十分有价值的，他们可以据此来评估和分析网络中的流量模型、攻击行为等。
[0003]但是在这里又面临一个实实在在的问题，会话的总数往往数量巨大，大多都是400万条以上，对一些高端设备或大流量场景，其数目可达到上千万条，对如此多条码进行统计排序往往会比较耗时，也很耗费内存。

技术实现思路

[0004]本专利技术的目的在于克服上述技术不足，提供一种海量数据的TOP排名方法、设备及存储介质，解决现有技术中对海量数据进行TOP排名时耗费时间长、耗费内存大的技术问题。
[0005]为达到上述技术目的，本专利技术采取了以下技术方案：
[0006]第一方面，本专利技术提供一种海量数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海量数据的TOP排名方法，其特征在于，包括如下步骤：S1、构建哈希链表，其中，所述哈希链表分配有预设大小的内存，用于存储n个不同的TOP节点，所述哈希链表的各个TOP节点通过一预设的哈希函数与海量数据的第一元素对应；S2、获取海量数据中的某一条数据，并通过所述哈希函数计算此数据的第一元素对应的TOP节点后，判断计算出的TOP节点是否在所述哈希链表中，并根据判断结果对所述哈希链表进行更新，以更新哈希链表中的TOP节点的排序；S3、重复执行步骤S2，直至海量数据遍历完毕后，以最后更新得到的哈希链表中的TOP节点的排序结果作为海量数据的TOP排名。2.根据权利要求1所述的海量数据的TOP排名方法，其特征在于，所述第一元素为源IP地址、目的IP地址、源端口、目的端口、协议类型、DNAT转换后的目的IP地址或数据对应的认证用户名。3.根据权利要求1所述的海量数据的TOP排名方法，其特征在于，所述预设大小的内存为10M。4.根据权利要求1所述的海量数据的TOP排名方法，其特征在于，在初始状态下，所述哈希链表中没有存储任何TOP节点。5.根据权利要求1至4任意一项所述的海量数据的TOP排名方法，其特征在于，所述步骤S2具体包括：获取海量数据中的某一条数据，并通过所述哈希函数计算此数据的第一元素对应的TOP节点；判断计算出的TOP节点是否在所述哈希链表中；当所述计算出的TOP节点不在哈希链表中时，将所述计算出的TOP节点加至所述哈希链表的最尾端，以对所述哈希链表进行更新；当所述计算出的TOP节点在哈希链表中时，将所述计算出的TOP节点的计数加1后，根据所述哈希链表中的各个TOP节点的计数值对所述哈希链表进行更新。6.根据权利要求5所述的海量数据的TOP排名方法，其特征在于，所述当...

【专利技术属性】
技术研发人员：刘小伟，
申请(专利权)人：武汉思普崚技术有限公司，
类型：发明
国别省市：