一种分布式部署审计平台的审计数据去重方法技术

本发明专利技术属于网络安全审计领域，涉及一种分布式部署审计平台的审计数据去重方法。所述方法包括：审计中心存储各审计单元上报的审计记录的信息；审计中心启动一个线程或进程，定时检测和处理审计中心存储的审计记录的信息；根据审计中心存储的审计记录的信息，判断新上传的审计记录是否为重复数据，舍弃重复上传的审计记录。本发明专利技术实现了分布式部署审计平台的审计数据去重处理，有效消除了新上传审计数据中的重复数据，节省了存储空间，提高了审计处理的速度。

【技术实现步骤摘要】

本专利技术属于网络安全审计领域，尤其涉及一种分布式部署审计平台的审计数据去重方法。
技术介绍
网络安全审计系统针对网络行为提供有效的行为审计、内容审计、行为报警、行为控制及相关审计功能；从管理层面提供网络的有效监督，预防、制止数据泄密；满足用户对网络行为审计备案及安全保护措施的要求，提供完整的网络行为记录，便于信息追踪、系统安全管理和风险防范。现有分布式网络审计系统一般采用多个审计单元采集数据，并将审计数据汇总到审计中心的部署方式，分布式部署审计平台如图1所示。公开号为CN1996876A的中国专利文献，公开了一种分布式审计系统，所述系统包括多个审计单元，所述多个审计单元构建成一个向下的树形结构的分布式网络，并形成上下级关系，上级审计单元向下级审计单元传递命令和策略数据，下级审计单元向上级审计单元传递审计日志数据。由于本专利技术分布式审计系统多个审计单元连接起来，建立了一个分级的分布式审计网络，实现了审计系统的上下级控制和管理，还能够通过同时控制多台网络审计单元进行工作处理高速网络里的数据，满足高速网络审计要求。该审计系统存在的问题是：如果同一条网络流量经过其中某些不同的审计单元，当这些审计单元向审计中心汇总审计数据时，上述网络流量的审计数据就会有多条重复记录，不但占用过多的存储空间，还增加处理的数据量，降低处理速度。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术在现有分布式审计系统的基础上，提供一r>种网络审计数据去重方法，在分布式部署方式下，确保一条流量只有一条审计记录。为达到上述目的，本专利技术采用如下技术方案：一种分布式部署审计平台的审计数据去重方法，包括以下步骤：步骤1，审计中心存储各审计单元上报的审计记录的信息。步骤2，审计中心启动一个线程或进程，定时检测和处理审计中心存储的审计记录的信息。步骤3，根据审计中心存储的审计记录的信息，判断新上传的审计记录是否为重复数据，舍弃重复上传的审计记录。进一步地，所述审计中心存储的审计记录的信息包括：审计记录主键，发送该条审计记录的审计单元信息和最后一次更新该审计记录的时间；所述审计记录主键是能唯一区分审计记录的元组。优选地，所述审计记录的信息以表格形式存储在所述审计中心。进一步地，步骤2定时检测和处理审计中心存储的审计记录的信息的方法如下：定时检测审计中心存储的审计记录的信息，如果发现某条审计记录的信息超过一段时间没有更新，删除该条审计记录的信息。进一步地，定时检测的时间间隔通过实验确定。进一步地，步骤3判断重复数据丢弃重复上传的审计记录的方法如下：当审计中心接到新上传的审计记录时，逐条查询审计中心存储的审计记录，根据审计记录主键判断审计中心存储的审计记录的信息中是否包含新上传的审计记录。如果不包含，则在审计中心存储该条新上传的审计记录的信息；如果包含，则比较新上传的审计记录的审计单元信息与审计中心存储的审计单元信息是否相同，如果相同，则更新最后更新时间；如果不相同，则该条新上传的审计记录为重复数据，丢弃该条新上传的审计记录。与现有技术相比，本专利技术具有以下有益效果：本专利技术所述方法在审计中心存储审计记录的信息并定时检测和处理存储的审计记录的信息，新上传审计记录时，通过与审计中心存储的审计记录的信息进行比较，丢弃重复的审计记录，实现了分布式部署审计平台的审计数据去重处理，有效消除了新上传审计数据中的重复数据，节省了存储空间，提高了审计处理的速度。附图说明图1为分布式部署审计平台示意图。具体实施方式下面结合附图和实施例对本专利技术做进一步说明。本专利技术提出的审计数据去重方法，针对的对象是分布式部署审计平台的审计数据，所述方法包括以下步骤：步骤1，审计中心存储各审计单元上报的审计记录的信息。步骤2，审计中心启动一个线程或进程，定时检测和处理审计中心存储的审计记录的信息。步骤3，根据审计中心存储的审计记录的信息，判断新上传的审计记录是否为重复数据，舍弃重复上传的审计记录。所述审计中心存储的审计记录的信息包括：审计记录主键，发送该条审计记录的审计单元信息和最后一次更新该审计记录的时间。所述审计记录主键是能唯一区分审计记录的元组，用于查找审计中心存储的审计记录；所述审计单元信息即审计数据；最后一次更新该审计记录的时间可用于判断审计中心存储的该审计记录的信息是否超时。优选地，所述审计记录的信息以表格形式存储在所述审计中心。步骤2定时检测和处理审计中心存储的审计记录的信息的方法如下：定时检测审计中心存储的审计记录的信息，如果发现某条审计记录的信息超过一段时间没有更新，删除该条审计记录的信息某条审计记录的信息长时间不更新，说明该条审计记录所对应的网络流量已经结束，为了节省存储空间和提高处理速度，删除长时间不更新的审计记录的信息。定时检测的时间间隔通过实验确定。步骤3判断重复数据丢弃重复上传的审计记录的方法如下：当审计中心接到新上传的审计记录时，逐条查询审计中心存储的审计记录的信息，根据审计记录主键判断审计中心存储的审计记录的信息中是否包含新上传的审计记录的信息。如果不包含，说明该新上传的审计记录不是重复数据，在审计中心存储该条新上传的审计记录；如果包含，说明该新上传的审计记录可能是重复数据，也有可能是正常更新审计记录的数据，需要继续以下判断。比较新上传的审计记录的审计单元信息与审计中心存储的审计单元信息是否相同，如果相同，说明这是审计单元上传的正常的更新数据，更新该条审查记录的最后更新时间；如果不相同，说明该条新上传的审计记录为重复数据，丢弃该审计记录。本专利技术不限于上述实施方式，本领域技术人员所做出的对上述实施方式任何显而易见的改进或变更，都不会超出本专利技术的构思和所附权利要求的保护范围。本文档来自技高网...

【技术保护点】
一种分布式部署审计平台的审计数据去重方法，其特征在于，包括以下步骤：步骤1，审计中心存储各审计单元上报的审计记录的信息；步骤2，审计中心启动一个线程或进程，定时检测和处理审计中心存储的审计记录的信息；步骤3，根据审计中心存储的审计记录的信息，判断新上传的审计记录是否为重复数据，舍弃重复上传的审计记录。

【技术特征摘要】
1.一种分布式部署审计平台的审计数据去重方法，其特征在于，包括以下步骤：
步骤1，审计中心存储各审计单元上报的审计记录的信息；
步骤2，审计中心启动一个线程或进程，定时检测和处理审计中心存储的审计记录的信
息；
步骤3，根据审计中心存储的审计记录的信息，判断新上传的审计记录是否为重复数据，
舍弃重复上传的审计记录。
2.根据权利要求1所述的分布式部署审计平台的审计数据去重方法，其特征在于，所述
审计中心存储的审计记录的信息包括：审计记录主键，发送该条审计记录的审计单元信息和
最后一次更新该审计记录的时间；所述审计记录主键是能唯一区分审计记录的元组。
3.根据权利要求1或2所述的分布式部署审计平台的审计数据去重方法，其特征在于，
所述审计记录的信息以表格形式存储在所述审计中心。
4.根据权利要求2所述的分布式部署审计平台的审计数据去重方法，其特征在于，步骤
2定时检测和处理审计中心...

【专利技术属性】
技术研发人员：韩延鹏，冯全宝，黄敏，龙国东，
申请(专利权)人：北京威努特技术有限公司，
类型：发明
国别省市：北京;11