一种频次类实时统计模型系统及方法技术方案

本发明专利技术公开了一种频次类实时统计模型系统及方法，其中数据记录方法包括：在每一条数据记录入库时，确定当前数据记录的产生时间；分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。本技术方案解决了现有技术中对用户访问和操作日志的统计方法会有延迟较大，且存在统计遗漏等问题。

Frequency class real-time statistical model system and method

The present invention discloses a kind of real time frequency statistical model system and method, including the data recording method in each data record storage, determine the current data record time; update the number of data records of time with the current data records for reference before and after a period of frequency frequency period. The technical scheme solves the problems that the statistical method for accessing and operating logs in the prior art can be delayed more and has statistical omission and the like.

【技术实现步骤摘要】
一种频次类实时统计模型系统及方法
本专利技术涉及数据统计领域，尤其涉及一种频次类实时统计模型系统及方法。
技术介绍
随着互联网技术的发展和更新，基于网络的应用越来越多。企事业单位内部信息化程度越来越高，很多关键信息都存放在信息系统中，企业内部发生的频繁访问有可能是内部员工在盗取数据；互联网应用和网站越来越多，其中出现的频繁访问有可能是正常的用户使用，也有可能是黑客攻击。例如，根据某个业务系统中的访问日志记录，员工A在5分钟内进行了1000次访问操作，正常情况下，不可有人达到如此高的操作频率，出现这个情况有可能是此员工正在通过第三方的插件或程序对系统进行数据盗取。又例如，根据某网站的用户访问日志记录，某IP在1分钟内进行了100次登录操作，正常情况下不可能有人进行这样的操作，出现这个情况有可能是黑客程序正在暴力破解用户密码。传统的解决方案是使用定时任务，定期对用户访问和操作日志进行统计，统计一分钟或5分钟内的操作数量，超过阀值进行告警。但是这样的解决方案有不少弊端，具体如下：1、延迟较大，当发现超阀值时，实际可能已经过去了一段时间。2、如果访问和操作日志采集来自多个系统，数据来源延迟时，统计数量会存在遗漏的情况。3、如果为减少定时任务延迟性，可能会将定时任务执行周期调短，但是不管如何调短，仍然会存在跨周期超阀值而统计盲点的情况，比如：执行周期1分钟进行1次统计，设定阀值为1分钟100次操作，用户在3：31：59进行了60次操作，在3：32：01进行了60次操作，根据统计来看，每一个分钟片段都没有超阀值，但实际上用户是在3秒内进行了120次操作，类似此种情况，传统的统计任务无法识别。如果设定周期为1秒钟1次，则会存在大量的无用查询，增加数据库压力。
技术实现思路
本专利技术解决的问题是现有的对用户访问和操作日志的统计方法会有延迟较大，且存在统计遗漏等问题。为解决上述问题，本专利技术实施例提供了一种数据记录处理方法，包括如下步骤：在每一条数据记录入库时，确定当前数据记录的产生时间；分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。可选的，数据记录处理方法还包括如下步骤：在查询超阈值的频次计数时，遍历各个以当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数；筛选出大于所述阈值的数据记录数所在的频次周期及其对应的当前数据记录的产生时间，以确定频次计数超阈值的时间段。可选的，所述当前数据记录的产生时间是当前数据记录的入库时间或者是早于当前数据记录的入库时间。可选的，所述分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新包括：将以所述当前数据记录的产生时间为基准的前一频次周期内的数据记录数加1；将以所述当前数据记录的产生时间为基准的后一频次周期内的数据记录数加1。可选的，各个以当前数据记录的产生时间为基准的频次周期的时长相等。与现有技术相比，本专利技术技术方案具有以下有益效果：在每一条数据记录入库时，同步更新以该条数据记录的产生时间为基准的向前频次周期和向后频次周期内的数据记录数，从而可以解决存在跨周期超阀值的统计盲点问题。进一步，针对各条数据记录的入库时间和产生时间可能不一致(因延误导致)的问题，由于是以数据记录的产生时间为基准对前后两个频次周期内的数据记录数进行更新，因此对于延迟入库的数据记录，也不会出现遗漏统计的情况。而在查询超阈值的频次计数时，只需要对各个频次周期内的数据记录数进行筛选就可以得到频次计数超阀值产生的时间段，无需对每个分片时间段再次进行统计。附图说明图1是本专利技术实施例的一种数据记录处理方法的具体实施方式的流程示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施方式做详细的说明。如图1所示的是本专利技术实施例的一种数据记录处理方法的具体实施方式的流程示意图。参考图1，数据记录处理方法包括如下步骤：步骤S1：在每一条数据记录入库时，确定当前数据记录的产生时间；步骤S2：分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。在本实施例中，以数据库作为存储介质以统计用户对业务系统或网站的访问记录数。与现有技术不同，本专利技术实施例提供了一个频次类实时统计模型。在该模型中，对需要统计的频次周期设定一个向前计数字段和一个向后计数字段。其中，所述向前计数字段用于保存当前数据记录入库时，该数据记录的产生时间到向前推一个周期的时间分片内累计的数据记录数。所述向后计数字段用于保存当前数据记录入库时，该数据记录的产生时间到向后推一个周期的时间分片内累计的数据记录数。如步骤S1所述，在每一条数据记录入库时，首先确定当前数据记录的产生时间。需要说明的是，在实际应用中，当前数据记录的产生时间与该当前数据记录的入库时间可能不同。如果数据记录入库存在延迟(例如数据记录来源于第三方系统等)，则当前数据记录的产生时间是要早于该当前数据记录的入库时间。如果数据记录在产生的同时入库，则当前数据记录的产生时间是该当前数据记录的入库时间。如步骤S2所述，针对当前入库的该条数据记录，分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。具体来说，频次周期可以根据不同的应用场景设定不同的周期时长，例如1分钟、1个小时等。在本实施例中，针对各个时间基准的前后两个频次周期的时长都相等。例如，当前数据记录的产生时间为12:10:02，频次周期为1分钟，则该当前数据记录的前一频次周期为12:09:02-12:10:02，该当前数据记录的后一频次周期为12:10:02-12:11:02。在当前数据记录入库时，将以所述当前数据记录的产生时间为基准的前一频次周期内的数据记录数加1，即在频次类实时统计模型中的当前数据记录的产生时间为基准的向前计数字段内的数据记录数加1。其中，该向前计数字段的初始值为前一个周期内的记录数。同时，将以所述当前数据记录的产生时间为基准的后一频次周期内的数据记录数加1，即在频次类实时统计模型中的当前数据记录的产生时间为基准的向后计数字段内的数据记录数加1。其中，该向后计数字段的初始值为后一个周期内的记录数。在本实施例中，由于在每一条数据记录入库时，同步更新以该条数据记录的产生时间为基准的向前频次周期和向后频次周期内的数据记录数，从而可以解决存在跨周期超阀值的统计盲点问题。进一步，由于是以数据记录的产生时间为基准对前后两个频次周期内的数据记录数进行更新，因此对于延迟入库的数据记录，也不会出现遗漏统计的情况。进一步，在本实施例中，数据记录处理方法还包括如下步骤：在查询超阈值的频次计数时，遍历各个以当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数；筛选出大于所述阈值的数据记录数所在的频次周期及其对应的当前数据记录的产生时间，以确定频次计数超阈值的时间段。具体来说，在需要进行超阀值统计时，只需要对频次类实时统计模型中各个频次周期的向前计数字段和向后计数字段进行查询，过滤出超过阀值的数据记录数。在筛选出的这些数据记录数中，若是一个频次周期的向前计数字段超阀值，说明是从该频次周期对应的当前数据记录的产生时间到向前本文档来自技高网...

【技术保护点】
一种数据记录处理方法，其特征在于，包括如下步骤：在每一条数据记录入库时，确定当前数据记录的产生时间；分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。

【技术特征摘要】
1.一种数据记录处理方法，其特征在于，包括如下步骤：在每一条数据记录入库时，确定当前数据记录的产生时间；分别对以所述当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数进行更新。2.如权利要求1所述的数据记录处理方法，其特征在于，还包括如下步骤：在查询超阈值的频次计数时，遍历各个以当前数据记录的产生时间为基准的前一频次周期和后一频次周期内的数据记录数；筛选出大于所述阈值的数据记录数所在的频次周期及其对应的当前数据记录的产生时间，以确定频次计数超阈值的时间段。3.如权利要求1所述的数据记...

【专利技术属性】
技术研发人员：崔宁，李超，王夷，鲁惊雷，文佳，王文博，张伟，汪刚，马建平，
申请(专利权)人：上海熙菱信息技术有限公司，
类型：发明
国别省市：上海,31