基于分区偏移计算的网络安全日志系统大数据检索方法技术方案

本发明专利技术公开了一种基于分区偏移计算的网络安全日志系统大数据检索方法，根据时间规则对数据库表进行分区获得若干个子分区，根据输入的待检索的时间参数确定所述时间参数内包含的至少一个子分区，确定时间参数的起始时间与所述时间参数内最靠近起始时间的第一个子分区之间的检索数据规模，当所述检索数据规模小于当前页检索数据规模时，重新确定时间参数的起始时间与所述时间参数内最靠近起始时间的第二个子分区之间的检索数据规模，依次确定到一下子分区之间的检索数据规模，直到重新确定的检索数据规模大于等于当前页检索数据规模时，终止重新确定检索数据规模，将当前重新确定的检索数据规模进行展示。本发明专利技术能够有效提高数据处理性能。

【技术实现步骤摘要】

本专利技术属于网络信息安全
，具体涉及一种基于分区偏移计算的网络安全日志系统大数据检索方法。
技术介绍
随着Internet的日益普及，网络环境的不断壮大，网络安全设备的安全日志数据规模也随之急速增长，传统的仅仅依靠数据库自身处理能的数据处理方案已经无法完全满足实际的使用需要。日志分析检索的效率，直接影响着网络安全设备在用户环境中事件、风险分析、预警的时效性和网络安全设备的用户满意度。因此，有效提升安全设备日志数据的检索处理能力，能在一定程度上提升安全分析的能力指标。数据检索的性能主要由网络安全设备的CPU性能、内存、数据库表设计、检索软件实现。而对于安全设备，CPU、内存等硬件往往受成本影响，是相对有限的，数据库表设计在一定程度上可提升检索性能，然而在面临单表上十亿或更大规模情况下，往往提升不能满足要求。因此，在不影响设备功能前提下，通过优化数据检索算法，以提升性能是至关重要的。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种基于分区偏移计算的网络安全日志系统大数据检索方法。为达到上述目的，本专利技术的技术方案是这样实现的：本专利技术实施例提供一种基于分区偏移计算的网络安全日志系统大数据检索方法，该方法为：根据时间规则对数据库表进行分区获得若干个子分区，根据输入的待检索的时间参数确定所述时间参数内包含的至少一个子分区，确定时间参数的起始时间与所述时间参数内最靠近起始时间的第一个子分区之间的检索数据规模，当所述检索数据规模小于当前页检索数据规模时，重新确定时间参数的起始时间与所述时间参数内最靠近起始时间的第二个子分区之间的检索数据规模，依次确定到一下子分区之间的检索数据规模，直到重新确定的检索数据规模大于等于当前页检索数据规模时，终止重新确定检索数据规模，将当前重新确定的检索数据规模进行展示。上述方案中，该方法还包括：当所述检索数据规模大于等于当前页检索数据规模时，将所述检索数据规模进行展示。上述方案中，该方法还包括：当重新确定时间参数的起始时间与所述时间参数内的最后一个子分区之间的检索数据规模时，直接将所述重新确定的检索数据规模进行展示。上述方案中，该方法还包括：确定时间参数的截止时间与所述时间参数内最靠近截止时间的第一个子分区之间的检索数据规模，当所述检索数据规模小于当前页检索数据规模时，重新确定时间参数的截止时间与所述时间参数内最靠近截止时间的第二个子分区之间的检索数据规模，依次确定到一下子分区之间的检索数据规模，直到重新确定的检索数据规模大于等于当前页检索数据规模时，终止重新确定检索数据规模，将当前重新确定的检索数据规模进行展示。上述方案中，该方法还包括：将确定的时间参数的起始时间或截止时间与所述时间参数内子分区之间的检索数据规模进行缓存，待下次输入时间参数时，直接查找缓存中是否存在所述输入时间参数对应的起始时间或截止时间与输入时间参数内的子分区之间检索数据规模，如果存在，直接从缓存中获取并且与当前页检索数据规模进行比较，根据比较结果进行展示或者继续重新确定检索数据规模和查找缓存中是否存在重新确定的检索数据规模；反之，重新确定检索数据规模并且进行缓存。与现有技术相比，本专利技术的有益效果：本专利技术能够有效提高网络安全设备日志在大规模数据下的性能，大大降低了设备日常数据检索的时间成本，提高设备分析响应的实时性和产品易用性，提升产品满意度。附图说明图1为本专利技术实施提供一种基于分区偏移计算的网络安全日志系统大数据检索方法的偏移算法示意图。具体实施方式下面结合附图和具体实施方式对本专利技术进行详细说明。本专利技术实施例提供一种基于分区偏移计算的网络安全日志系统大数据检索方法，该方法为：根据时间规则对数据库表进行分区获得若干个子分区，根据输入的待检索的时间参数确定所述时间参数内包含的至少一个子分区，确定时间参数的起始时间与所述时间参数内最靠近起始时间的第一个子分区之间的检索数据规模，当所述检索数据规模小于当前页检索数据规模时，重新确定时间参数的起始时间与所述时间参数内最靠近起始时间的第二个子分区之间的检索数据规模，依次确定到一下子分区之间的检索数据规模，直到重新确定的检索数据规模大于等于当前页检索数据规模时，终止重新确定检索数据规模，将当前重新确定的检索数据规模进行展示。所述根据时间规则对数据库表进行分区获得若干个子分区，可以按照小时或者天等时间单位对数据库表进行分区。当所述检索数据规模大于等于当前页检索数据规模时，将所述检索数据规模进行展示。该方法还包括：当重新确定时间参数的起始时间与所述时间参数内的最后一个子分区之间的检索数据规模时，直接将所述重新确定的检索数据规模进行展示。该方法还包括：确定时间参数的截止时间与所述时间参数内最靠近截止时间的第一个子分区之间的检索数据规模，当所述检索数据规模小于当前页检索数据规模时，重新确定时间参数的截止时间与所述时间参数内最靠近截止时间的第二个子分区之间的检索数据规模，依次确定到一下子分区之间的检索数据规模，直到重新确定的检索数据规模大于等于当前页检索数据规模时，终止重新确定检索数据规模，将当前重新确定的检索数据规模进行展示。该方法还包括：将确定的时间参数的起始时间或截止时间与所述时间参数内子分区之间的检索数据规模进行缓存，待下次输入时间参数时，直接查找缓存中是否存在所述输入时间参数对应的起始时间或截止时间与输入时间参数内的子分区之间检索数据规模，如果存在，直接从缓存中获取并且与当前页检索数据规模进行比较，根据比较结果进行展示或者继续重新确定检索数据规模和查找缓存中是否存在重新确定的检索数据规模；反之，重新确定检索数据规模并且进行缓存。实施例1：通过本专利技术以正序检索为例进行说明。步骤1：对输入时间参数T1、T2的时间范围进行计算。计算T1、T2之间有多少个子分区，使用SQL指令通过查询数据库系统自身的分区表，查询分区时间点（以时间规则部分描述例子为例，该时间点即当天的凌晨零点）大于T1，小于等于T2的分区有那些分区（sql指令：selectP.TABLE_NAME,P.PARTITION_NAME,P.PARTITION_DESCRIPTION,TABLE_ROWSfrominformation_schema.PARTITIONSasPwhereP.TABLE_NAME='log_event_http';），如图1所示，得到P2、P3、P4、P5、P6，并记录每个分区的开始时间和结束时间，例如：P2分区开始时间为D2，结束时间为D3等，依次类推。步骤2：根据单前页数据规模S，在正序检索（即以时间为序正序排列，sql指令为orderbygtimeasc）情况下。假设T1后的第一个分区开始时间为Dn（n=2），偏移计算步骤如下：步骤201，计算T1~Dn之间的数据大小Sn，首先在分区缓存中查询T1~Dn间的数据大小sn，如果存在，将Sn赋值给检索数据规模ST，执行步骤2。如果不存在，则需要进行数据库查询计算（使用sql查询：s本文档来自技高网...

【技术保护点】
一种基于分区偏移计算的网络安全日志系统大数据检索方法，其特征在于，该方法为：根据时间规则对数据库表进行分区获得若干个子分区，根据输入的待检索的时间参数确定所述时间参数内包含的至少一个子分区，确定时间参数的起始时间与所述时间参数内最靠近起始时间的第一个子分区之间的检索数据规模，当所述检索数据规模小于当前页检索数据规模时，重新确定时间参数的起始时间与所述时间参数内最靠近起始时间的第二个子分区之间的检索数据规模，依次确定到一下子分区之间的检索数据规模，直到重新确定的检索数据规模大于等于当前页检索数据规模时，终止重新确定检索数据规模，将当前重新确定的检索数据规模进行展示。

【技术特征摘要】
1.一种基于分区偏移计算的网络安全日志系统大数据检索方法，其特征在于，该方法为：根据时间规则对数据库表进行分区获得若干个子分区，根据输入的待检索的时间参数确定所述时间参数内包含的至少一个子分区，确定时间参数的起始时间与所述时间参数内最靠近起始时间的第一个子分区之间的检索数据规模，当所述检索数据规模小于当前页检索数据规模时，重新确定时间参数的起始时间与所述时间参数内最靠近起始时间的第二个子分区之间的检索数据规模，依次确定到一下子分区之间的检索数据规模，直到重新确定的检索数据规模大于等于当前页检索数据规模时，终止重新确定检索数据规模，将当前重新确定的检索数据规模进行展示。
2.根据权利要求1所述的基于分区偏移计算的网络安全日志系统大数据检索方法，其特征在于，该方法还包括：当所述检索数据规模大于等于当前页检索数据规模时，将所述检索数据规模进行展示。
3.根据权利要求1所述的基于分区偏移计算的网络安全日志系统大数据检索方法，其特征在于，该方法还包括：当重新确定时间参数的起始时间与所述时间参数内的最后一个子分区之间的检索数据规模时，直接将所述重新确定的检索数据规模进行展示。
4....

【专利技术属性】
技术研发人员：王平，何建锋，郭增晖，刘亚轩，
申请(专利权)人：西安交大捷普网络科技有限公司，
类型：发明
国别省市：陕西;61