一种大数据流负载下的数据库审计方法、系统与设备技术方案

本发明专利技术旨在提供一种针对大数据流负载的数据库高效审计方法、系统与设备，通过有限状态机处理机制，快速分类各种网络报文，从而简化报文预处理流，实现了系统资源的充分利用；综合优化的Hash算法、环形队列和大页面缓存，可以将网卡获取的大数据流动态分配到多个引擎进行处理，大幅提升数据包处理性能；采用控制与数据处理分离，减少了多引擎线程间的调度，提升了处理效率；采用正则匹配和二进制比较以及准确的数据解析等方法，实现了对国内外主流数据库和对SSL加密数据库的审计。

A Database Auditing Method, System and Equipment under Large Data Stream Load

【技术实现步骤摘要】
一种大数据流负载下的数据库审计方法、系统与设备
本专利技术属于网络安全
，尤其涉及一种大数据流负载下实现可适应性、高效审计的数据库审计方法及应用该方法的数据库审计系统与设备。
技术介绍
随着全球信息化的不断加速，信息技术的应用越来越广泛，特别是移动互联网、社交媒体、电子商务的兴起，产生了海量的数据，数据库作为信息的基础，承载着越来越多的关键业务系统，逐渐成为商业和公共安全中重要的资产，一旦发生篡改或者泄露，轻则造成企业或者社会的经济损失，重则影响企业形象甚至社会安全。而实际中，数据库信息资产面临着严峻的安全威胁：一方面来自企业外部的非法入侵、篡改或者盗取数据，这类威胁可以通过在业务网络入口部署防火墙、入侵防护等产品得到有效预防；另一方面的威胁来自企业内部，这种操作往往不具备攻击特征，难以被普通的信息安全防护系统识别。数据库审计与风险控制系统，是针对业务环境下的网络操作行为进行计，它通过对访问系统的行为进行解析、分析、记录、汇报，用来帮助用户事前规划预防，事中实时监视、违规行为响应，事后合规报告、事故追踪溯源，同时加强内外部网络行为监管、促进核心资产（数据库、服务器、网络设备等）的正常运营。目前，业务系统对数据库的访问，应用最为广泛，也是大量数据库操作的来源，从海量的数据中高效快速的审计有用信息，对审计设备来说无疑是较困难的。因此，更有必要通过一定的措施，减少设备的性能消耗，提高数据库的审计效率。
技术实现思路
为了解决上述的目前数据库审计存在的问题，本专利技术旨在提出一种针对大数据流负载的数据库高效审计方法、系统与设备，通过高效动态的数据流采集与调度、控制与数据分离的多引擎并行处理、基于有限状态机的细粒度快速内容解析算法，减少设备性能消耗，提高审计效率。本专利技术采用的技术方案是：大数据流负载下的数据库审计方法，包括环境探测、数据流采集与分流、内容解析、审计响应，数据包内容解析包括基于有限状态机的解析算法：从网卡取到数据包后，偏移取出数据库端口，确认该端口的协议是否需要审计，若不需要则直接丢弃，若需要则将数据包放置到环形队列上；从环形队列上取数据包，偏移取出五元组信息与应用层数据；调用公共插件对数据包进行主机匹配，确认业务主机的数据流是否需要审计，若不需要则直接丢弃，若需要则继续传递给应用层插件解析；应用层插件确认数据包是否与审计规则集匹配，若不匹配则直接丢弃，若匹配则将日志入库后丢弃；结束数据包的处理；将审计结果入库，供页面查询。优选的，本数据库审计方法对数据库协议、互联网协议、文件类协议、运维类协议的关键字段进行解析；其中无用数据包直接丢弃，包括ICMP、ARP协议的数据包。本数据库审计方法的数据流采集包括：网卡驱动将封装后的数据包通过DMA映射到用户态的大内存区；对数据包的五元组信息计算HASH值后除以环形队列数，根据所得余数将数据包依次放置到对应的环形队列上；每个环形队列分别设置对应的分析引擎。优选的，所述大内存区包括512个2MB缓存区，环形队列是由512个数据包指针组成的首尾相连的长链表；所述数据包放置到对应的环形队列是指将数据包指针加入到环形队列。优选的，本专利技术采用正则匹配与二进制比较算法，对数据库与SSL加密数据库进行审计。本专利技术还提供一种数据库审计系统，包括：捕包模块，用于对网络数据包进行捕获和重组，并进行协议过滤；解析模块，用于对网络数据库包进行分类过滤和解析，对重要事件和会话进行审计，同时检测数据包是否携带关键攻击特征；响应模块，对审计事件、会话和攻击进行响应。优选的，上述响应模块用于将审计日志上传后存储、对事件进行告警、对威胁操作进行阻断，还用于将审计日志发送至外部系统。进一步的，响应模块通过邮件或Syslog或SNMP信息的方式将审计日志发送至外部系统。在上述数据库审计方法与系统基础上，本专利技术提出一种数据库审计设备，该设备上具有数据库审计系统，包括CPU，审计系统的控制程序绑定到CPU0核，将抓包引擎绑定到CPU1核，分析引擎绑定到剩余CPU核上；在此基础上，审计方法中所述的所述环形队列数优选为（CPU核心总数-2）。采用以上技术方案的本专利技术，具有以下有益效果：通过有限状态机处理机制，快速分类各种网络报文，从而简化报文预处理流，实现了系统资源的充分利用；综合优化的Hash算法、环形队列和大页面缓存，可以将网卡获取的大数据流动态分配到多个引擎进行处理，大幅提升数据包处理性能；采用控制与数据处理分离，减少了多引擎线程间的调度，提升了处理效率；采用正则匹配和二进制比较以及准确的数据解析等方法，实现了对国内外主流数据库和对SSL加密数据库的审计。附图说明图1为本专利技术的数据库审计方法，基于有限状态机的解析算法流程图；图2为本专利技术的数据库审计方法，数据流分流示意图；图3为本专利技术的数据库审计系统组成结构示意图。具体实施方式下面结合附图对本专利技术的技术方案进行详细说明.首先，大数据流负载下的数据库审计方法，包括环境探测、数据流采集与分流、内容解析、审计响应；数据包内容解析包括基于有限状态机的解析算法，如图1所示：从网卡取到数据包后，偏移取出数据库端口，确认该端口的协议是否需要审计，若不需要则直接丢弃，若需要则将数据包放置到环形队列上；从环形队列上取数据包，偏移取出五元组信息与应用层数据；调用公共插件对数据包进行主机匹配，确认业务主机的数据流是否需要审计，若不需要则直接丢弃，若需要则继续传递给应用层插件解析；应用层插件确认数据包是否与审计规则集匹配，若不匹配则直接丢弃，若匹配则将日志入库后丢弃；结束数据包的处理；将审计结果入库，供页面查询。优选的，本数据库审计方法对数据库协议、互联网协议、文件类协议、运维类协议的关键字段进行解析；其中无用数据包直接丢弃，包括ICMP、ARP协议的数据包。除了上述的设计外，引擎在大数据会话处理过程中，会依据资源规则，动态自主地回收内存、文件IO等系统资源，集中资源处理优先级较高的网络会话。通过有限状态机处理机制，各种网络报文被快速分类，报文预处理流程被大大简化，系统可以提供更多的资源进行规则匹配和分析处理，实现了系统资源的充分优化。基于上述的有限状态机的解析算法，改进了数据流采集即调度的方法。传统的网卡驱动对数据包的处理动作如下：[1]数据包到达网卡设备；[2]网卡设备依据配置进行DMA操作，DMA技术(DirectMemoryAccess，直接内存存取)，让网卡直接从主内存之间读写它们的I/O数据；[3]网卡发送中断，唤醒处理器；[4]驱动软件填充读写缓冲区数据结构；[5]数据报文到达内核协议栈，进行高层处理；[6]如果最终应用在用户态，则将数据从内核态转移到用户态；[7]如果最终应用在内核态，则在内核中继续进行如[3]所述，每一个数据报文都会触发一个中断，大量的数据到来会频繁的触发中断，从而带来大量的系统开销。同时如果最终应用在用户态，还需要将数据包从内核缓冲区复制到用户缓冲区等开销操作。除此之外，上述方案还存在设备的CPU、内存利用率不充分等问题，导致数据包处理效率不高。为此，提出一种对大数据流负载的高效动态调度方法，总体架构图如图2所示：网卡驱动将封装后的数据包通过DMA映射到用户态的大内存区；对数据包的五元组信息计算HASH值后除以环形队列数，根据所本文档来自技高网...

【技术保护点】
1.一种大数据流负载下的数据库审计方法，包括环境探测、数据流采集与分流、内容解析、审计响应，其特征在于，数据包内容解析包括基于有限状态机的解析算法：从网卡取到数据包后，偏移取出数据库端口，确认该端口的协议是否需要审计，若不需要则直接丢弃，若需要则将数据包放置到环形队列上；从环形队列上取数据包，偏移取出五元组信息与应用层数据；调用公共插件对数据包进行主机匹配，确认业务主机的数据流是否需要审计，若不需要则直接丢弃，若需要则继续传递给应用层插件解析；应用层插件确认数据包是否与审计规则集匹配，若不匹配则直接丢弃，若匹配则将日志入库后丢弃；结束数据包的处理；将审计结果入库，供页面查询。

【技术特征摘要】
1.一种大数据流负载下的数据库审计方法，包括环境探测、数据流采集与分流、内容解析、审计响应，其特征在于，数据包内容解析包括基于有限状态机的解析算法：从网卡取到数据包后，偏移取出数据库端口，确认该端口的协议是否需要审计，若不需要则直接丢弃，若需要则将数据包放置到环形队列上；从环形队列上取数据包，偏移取出五元组信息与应用层数据；调用公共插件对数据包进行主机匹配，确认业务主机的数据流是否需要审计，若不需要则直接丢弃，若需要则继续传递给应用层插件解析；应用层插件确认数据包是否与审计规则集匹配，若不匹配则直接丢弃，若匹配则将日志入库后丢弃；结束数据包的处理；将审计结果入库，供页面查询。2.根据权利要求1所述的数据库审计方法，其特征在于，对数据库协议、互联网协议、文件类协议、运维类协议的关键字段进行解析；其中无用数据包直接丢弃，包括ICMP、ARP协议的数据包。3.根据权利要求1所述的数据库审计方法，其特征在于，数据流采集包括：网卡驱动将封装后的数据包通过DMA映射到用户态的大内存区；对数据包的五元组信息计算HASH值后除以环形队列数，根据所得余数将数据包依次放置到对应的环形队列上；每个环形队列分别设置对应的分析引擎...

【专利技术属性】
技术研发人员：何建锋，武博，
申请(专利权)人：西安交大捷普网络科技有限公司，
类型：发明
国别省市：陕西,61