一种实时指标计算的方法、系统、电子装置和存储介质制造方法及图纸

本申请涉及一种实时指标计算的方法、系统、电子装置和存储介质，其中，该方法包括：接收新数据，并获取与该新数据同一分组的第一历史累加和，将该新数据与第一历史累加和相加，构建得到新的累加和；接着，获取新数据的事件时间，并用该事件时间减去指标配置的窗口时间范围，得到窗口开始时间；最后根据窗口开始时间，获取该窗口开始时间之前的累加和，并用新的累加和减去该窗口开始时间之前的累加和，得到指标计算结果，解决了在计算实时指标时，存在的响应速度慢或计算精度低的问题，既能保证指标计算结果的精准度，又能满足响应时间的要求，提高计算速度。提高计算速度。提高计算速度。

【技术实现步骤摘要】
一种实时指标计算的方法、系统、电子装置和存储介质


[0001]本申请涉及大数据领域，特别是涉及一种实时指标计算的方法、系统、电子装置和存储介质。

技术介绍

[0002]指标计算是对原始数据进行深层次挖掘和加工的过程，是机器学习领域能够发挥作用的关键步骤。在具体的场景中，如交易反欺诈，风控大脑，信贷审计等，都是根据指标构建规则集或者决策树，对每一次请求给出风险提示。此外，实时指标是指以当前数据的时间点往前进行时间窗口滑动回溯，实时窗口同一主维度分组的所有数据都会分配进入同一个窗口，每接收一条新数据，均会触发窗口进行计算，但计算之前，会以当前数据的时间为参考，把窗口中已过期的时间数据予以剔除，之后，将剩余符合要求的数据取回，由计算函数处理输出计算结果。然而，对于大规模上百亿的数据集进行指标的计算，响应速度会面临着巨大的挑战，往往要以牺牲精准度为代价来加快响应速度。
[0003]在相关技术中，计算实时指标的方法主要有两种：1.全量扫描法，以当前数据的事件时间作为结束时间，减去指标配置的时间窗口得到开始时间，然后把处于该时间范围的并且同一分组的数据全部捞出来，然后在该数据集上计算指标。2.分片增量计算法，这种方法就是首先确定一个时间分片，比如说天，小时或者分钟，然后把同一分组并且同一时间片的数据进行预聚合，之后在计算指标时只需要把时间范围内的分片的聚合结果累加。然而，对于全量扫描法，它的实现简单，但是如果数据集的规模比较大，每次都要捞取大量的数据，这样会耗费大量的时间，设置有可能造成宕机等，因此，只适合在小规模数据集上使用。对于分片增量计算法，它能够有效地降低计算耗时，但是时间分片会牺牲一部分的指标精确度，比如说时间分片是天，指标配置的时间范围是7天，当前数据事件时间是2021
‑
06
‑
02 11:11:11,那么时间窗口应该是2021
‑
05
‑
26 11:11:11至2021
‑
06
‑
02 11:11:11，但是该方法实际计算的窗口是2021
‑
05
‑
26 00:00:00至2021
‑
06
‑
02 11:11:11。如果把分片调小为小时或分钟，那么精度可能为提高，但是带来的性能就会下降。
[0004]目前针对相关技术中在计算实时指标时，存在的响应速度慢或计算精度低的问题，尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种实时指标计算的方法、系统、电子装置和存储介质，以至少解决相关技术中在计算实时指标时，存在的响应速度慢或计算精度低的问题。
[0006]第一方面，本申请实施例提供了一种实时指标计算的方法，所述方法包括：
[0007]接收新数据，并获取与所述新数据同一分组的第一历史累加和，将所述新数据与所述第一历史累加和相加，构建得到新的累加和；
[0008]获取所述新数据的事件时间，并用所述事件时间减去指标配置的窗口时间范围，得到窗口开始时间；
[0009]根据所述窗口开始时间，获取所述窗口开始时间之前的累加和，并用所述新的累加和减去所述窗口开始时间之前的累加和，得到指标计算结果。
[0010]在其中一些实施例中，在得到指标计算结果之后，所述方法包括：
[0011]输出所述指标计算结果，并保存所述新的累加和。
[0012]在其中一些实施例中，所述获取与所述新数据同一分组的第一历史累加和包括：
[0013]计算同一分组的起始点到所述新数据之前的累加和，得到第一历史累加和y：
[0014][0015]其中，x为同一分组下的数据，n为自然数。
[0016]在其中一些实施例中，计算所述指标计算结果T包括：
[0017][0018]其中，y为连续段的累加和，n、m为自然数。
[0019]第二方面，本申请实施例提供了一种实时指标计算的系统，所述系统包括：
[0020]构建模块，用于接收新数据，并获取与所述新数据同一分组的第一历史累加和，将所述新数据与所述第一历史累加和相加，构建得到新的累加和；
[0021]时间计算模块，用于获取所述新数据的事件时间，并用所述事件时间减去指标配置的窗口时间范围，得到窗口开始时间；
[0022]指标计算模块，用于根据所述窗口开始时间，获取所述窗口开始时间之前的累加和，并用所述新的累加和减去所述窗口开始时间之前的累加和，得到指标计算结果。
[0023]在其中一些实施例中，所述系统还包括存储模块，在得到指标计算结果之后，
[0024]所述存储模块用于，输出所述指标计算结果，并保存所述新的累加和。
[0025]在其中一些实施例中，所述构建模块，还用于计算同一分组的起始点到所述新数据之前的累加和，得到第一历史累加和y：
[0026][0027]其中，x为同一分组下的数据，n为自然数。
[0028]在其中一些实施例中，所述指标计算模块还用于计算所述指标计算结果T：
[0029][0030]其中，y为连续段的累加和，n、m为自然数。
[0031]第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的实时指标计算的方法。
[0032]第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的实时指标计算的方法。
[0033]相比于相关技术，本申请实施例提供的实时指标计算的方法，接收新数据，并获取与该新数据同一分组的第一历史累加和，将该新数据与第一历史累加和相加，构建得到新
的累加和；接着，获取新数据的事件时间，并用该事件时间减去指标配置的窗口时间范围，得到窗口开始时间；最后根据窗口开始时间，获取该窗口开始时间之前的累加和，并用新的累加和减去该窗口开始时间之前的累加和，得到指标计算结果，解决了在计算实时指标时，存在的响应速度慢或计算精度低的问题，既能保证指标计算结果的精准度，又能满足响应时间的要求，提高计算速度。
附图说明
[0034]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0035]图1是根据本申请实施例的实时指标计算的方法的应用环境示意图；
[0036]图2是根据本申请实施例的实时指标计算的方法的流程图；
[0037]图3是根据本申请实施例的实时指标计算的系统的结构框图；
[0038]图4是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
[0039]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时指标计算的方法，其特征在于，所述方法包括：接收新数据，并获取与所述新数据同一分组的第一历史累加和，将所述新数据与所述第一历史累加和相加，构建得到新的累加和；获取所述新数据的事件时间，并用所述事件时间减去指标配置的窗口时间范围，得到窗口开始时间；根据所述窗口开始时间，获取所述窗口开始时间之前的累加和，并用所述新的累加和减去所述窗口开始时间之前的累加和，得到指标计算结果。2.根据权利要求1所述的方法，其特征在于，在得到指标计算结果之后，所述方法包括：输出所述指标计算结果，并保存所述新的累加和。3.根据权利要求1所述的方法，其特征在于，所述获取与所述新数据同一分组的第一历史累加和包括：计算同一分组的起始点到所述新数据之前的累加和，得到第一历史累加和y：其中，x为同一分组下的数据，n为自然数。4.根据权利要求1所述的方法，其特征在于，计算所述指标计算结果T包括：其中，y为连续段的累加和，n、m为自然数。5.一种实时指标计算的系统，其特征在于，所述系统包括：构建模块，用于接收新数据，并获取与所述新数据同一分组的第一历史累加和，将所述新数据与所述第一历史累加和相加，构建得到新的累加和；时间计算模块，用于获取所...

【专利技术属性】
技术研发人员：杨光跃，
申请(专利权)人：同盾控股有限公司，
类型：发明
国别省市：