数据统计周期确定方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种数据统计周期确定方法、装置、电子设备及存储介质，方法包括：确定第一系统性能指标；根据第一系统性能指标达到阈值时所对应的平均统计数据量，确定单次统计的数据量；根据统计任务的单位时间待统计数据量以及单次统计的数据量，确定单次统计的统计周期；根据单次统计的统计周期执行统计任务。本发明专利技术实施例提供的数据统计周期确定方法、装置、电子设备及存储介质根据与平均统计数据量相关程度最高的系统性能指标来确定单次统计的数据量，进而得到单次统计的统计周期，实现了对统计周期的合理划分，既能避免单次统计的数据量过大带来的内存溢出、系统崩溃，又能避免单次统计数据量过小导致的执行效率低。

Method, device, electronic equipment and storage medium for determining statistical period of data

【技术实现步骤摘要】
数据统计周期确定方法、装置、电子设备及存储介质
本专利技术涉及数据库
，尤其涉及一种数据统计周期确定方法、装置、电子设备及存储介质。
技术介绍
业务系统通常需要对外输出运营数据，如定期统计系统的用户数据、接口调用量以及其他业务指标等。这些数据一般从业务系统的数据库中获取，因此需要为业务系统做数据统计。现有技术中的数据统计方法为配置定时任务，在夜间系统访问量最少的时候执行数据统计任务，不影响系统正常运行。如果是临时的统计任务，则会直接执行统计任务，当请求量达到一定量级时，每一次统计的数据量就会很大，操作不当甚至会占用系统CPU，影响系统的正常运转。定时任务，是固定在某个时间执行某个固定的统计任务脚本，无法根据本次统计的数据量的大小来调整统计任务的单次统计周期。如要保证统计任务的效率，可能会占用庞大的系统资源，导致统计任务执行时间过长，影响到系统在白天的正常访问。如果统计数据量过大，遇上系统宕机或者内存溢出等意外情况，将会导致统计任务失败，无法输出统计结果。如果业务系统数据量激增，则要提前调整统计脚本，不断尝试，确定合适的统计周期和数据量，以保证定时任务的成功、高效执行。这样做耗时费力，效率太低。若能对数据统计的统计周期做合理的设置，将有助于提高数据统计的效率。
技术实现思路
本专利技术实施例提供一种数据统计周期确定方法、装置、电子设备及存储介质，用以解决现有技术中不能根据统计的数据量大小确定合适的统计周期与单次统计量，进而导致执行效率低、甚至无法完成的缺陷。本专利技术第一方面实施例提供了一种数据统计周期确定方法，包括：根据多个系统性能指标中的每一个系统性能指标与平均统计数据量之间的相关程度确定第一系统性能指标；根据所述第一系统性能指标达到阈值时所对应的平均统计数据量，确定单次统计的数据量；根据统计任务的单位时间待统计数据量以及所述单次统计的数据量，确定单次统计的统计周期；根据所述单次统计的统计周期执行所述统计任务；其中，所述平均统计数据量为系统单位时间内所能统计的数据量；所述单位时间待统计数据量为系统单位时间内所产生的待统计数据量。基于本专利技术任一实施例，还包括：计算多个系统性能指标中的每一个系统性能指标与所述平均统计数据量之间的相关程度。基于本专利技术任一实施例，所述根据多个系统性能指标中的每一个系统性能指标与平均统计数据量之间的相关程度确定第一系统性能指标包括：从多个系统性能指标中确定与平均统计数据量相关程度最高的系统性能指标，将该系统性能指标作为第一系统性能指标。基于本专利技术任一实施例，所述根据所述单次统计的统计周期执行所述统计任务包括：根据所述单次统计的统计周期，将所述统计任务拆分成多个子统计任务，按照所述单次统计的统计周期执行所述多个子统计任务。基于本专利技术任一实施例，所述计算多个系统性能指标中的每一个系统性能指标与所述平均统计数据量之间的相关程度包括：获得所述多个系统性能指标与所述平均统计数据量的数值；根据所述多个系统性能指标与所述平均统计数据量的数值，计算所述多个系统性能指标中的每一个系统性能指标与所述平均统计数据量之间的相关系数，所述相关系数反映了相关程度的大小。基于本专利技术任一实施例，所述平均统计数据量根据一次统计的数据量、一次统计所消耗的时间以及系统在单位时间内有任务执行的总时间确定。基于本专利技术任一实施例，所述平均统计数据量的计算公式为：C＝n*L/T；其中，C表示平均统计数据量；n表示一次统计的数据量；L表示一次统计所消耗的时间；T表示系统在单位时间内有任务执行的总时间。本专利技术第二方面实施例提供了一种数据统计周期确定装置，包括：第一系统性能指标确定模块，用于根据多个系统性能指标中的每一个系统性能指标与平均统计数据量之间的相关程度确定第一系统性能指标；单次统计的数据量确定模块，用于根据所述第一系统性能指标达到阈值时所对应的平均统计数据量，确定单次统计的数据量；单次统计的统计周期确定模块，用于根据单位时间待统计数据量以及所述单次统计的数据量，确定单次统计的统计周期；统计任务执行模块，用于根据所述单次统计的统计周期执行所述统计任务；其中，所述平均统计数据量为系统单位时间内所能统计的数据量；所述单位时间待统计数据量为系统单位时间内所产生的待统计数据量。本专利技术第三方面实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术第一方面实施例所述数据统计周期确定方法的步骤。本专利技术第四方面实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本专利技术第一方面实施例所述数据统计周期确定方法的步骤。本专利技术实施例提供的数据统计周期确定方法、装置、电子设备及存储介质，根据与平均统计数据量相关程度最高的系统性能指标来确定单次统计的数据量，进而得到单次统计的统计周期，实现了对统计周期的合理划分，既能避免单次统计的数据量过大带来的内存溢出、系统崩溃等情况，又能避免单次统计的数据量过小导致的执行效率低的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的数据统计周期确定方法的流程图；图2为本专利技术另一实施例提供的数据统计周期确定方法的流程图；图3为本专利技术实施例提供的数据统计周期确定装置的示意图；图4示例了一种电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在对本专利技术实施例提供的数据统计周期确定方法做详细说明之前，首先介绍本专利技术实施例中所涉及到的相关概念。数据量：本专利技术实施例中所涉及的数据量以数据的条数为计量单位，如数据量为1000万，代表有1000万条数据。统计数据量：一次统计所涉及的数据量。CPU使用率：CPU使用率是衡量系统性能的一项重要指标，它是指用户进程与系统进程消耗的CPU时间百分比。通过对系统运行情况的实时监控可以得到系统的实时CPU使用率。将系统在一段时间内的实时CPU使用率做平均，可以得到这一时间段内的平均CPU使用率。CPU使用率一般会有一个上限值，如果超出上限值，系统会被认为处于不健康状态，需要优化，不适合再新增统计任务。内存利用率本文档来自技高网...

【技术保护点】
1.一种数据统计周期确定方法，其特征在于，包括：/n根据多个系统性能指标中的每一个系统性能指标与平均统计数据量之间的相关程度确定第一系统性能指标；/n根据所述第一系统性能指标达到阈值时所对应的平均统计数据量，确定单次统计的数据量；/n根据统计任务的单位时间待统计数据量以及所述单次统计的数据量，确定单次统计的统计周期；/n根据所述单次统计的统计周期执行所述统计任务；其中，/n所述平均统计数据量为系统单位时间内所能统计的数据量；所述单位时间待统计数据量为系统单位时间内所产生的待统计数据量。/n

【技术特征摘要】
1.一种数据统计周期确定方法，其特征在于，包括：
根据多个系统性能指标中的每一个系统性能指标与平均统计数据量之间的相关程度确定第一系统性能指标；
根据所述第一系统性能指标达到阈值时所对应的平均统计数据量，确定单次统计的数据量；
根据统计任务的单位时间待统计数据量以及所述单次统计的数据量，确定单次统计的统计周期；
根据所述单次统计的统计周期执行所述统计任务；其中，
所述平均统计数据量为系统单位时间内所能统计的数据量；所述单位时间待统计数据量为系统单位时间内所产生的待统计数据量。


2.根据权利要求1所述的数据统计周期确定方法，其特征在于，还包括：
计算多个系统性能指标中的每一个系统性能指标与所述平均统计数据量之间的相关程度。


3.根据权利要求1所述的数据统计周期确定方法，其特征在于，所述根据多个系统性能指标中的每一个系统性能指标与平均统计数据量之间的相关程度确定第一系统性能指标包括：
从多个系统性能指标中确定与平均统计数据量相关程度最高的系统性能指标，将该系统性能指标作为第一系统性能指标。


4.根据权利要求1所述的数据统计周期确定方法，其特征在于，所述根据所述单次统计的统计周期执行所述统计任务包括：
根据所述单次统计的统计周期，将所述统计任务拆分成多个子统计任务，按照所述单次统计的统计周期执行所述多个子统计任务。


5.根据权利要求2所述的数据统计周期确定方法，其特征在于，所述计算多个系统性能指标中的每一个系统性能指标与所述平均统计数据量之间的相关程度包括：
获得所述多个系统性能指标与所述平均统计数据量的数值；
根据所述多个系统性能指标与所述平均统计数据量的数值，计算所述多个系统性能指标中的每...

【专利技术属性】
技术研发人员：吴庆双，
申请(专利权)人：咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11