本发明专利技术提供一种日志存储分区的动态分配方法及装置，涉及数据存储领域和金融领域。所述方法包括：分别获取各应用在多个历史周期的任一时段内日志数据的第一写入流量以及各应用在每一所述历史周期内日志数据的总写入流量；根据所述第一写入流量以及所述总写入流量预测各应用在下一周期的所述时段内日志数据的第二写入流量；根据所述第二写入流量将各应用分为M组，根据各组内的应用的第二写入流量确定每组应用在下一周期的所述时段内分配到的日志存储分区的大小。本申请的日志存储分区的动态分配方法及装置可根据写入流量的大小灵活分配应用的日志存储分区，提升了日志写入存储时的性能，缓解了存储端在高峰期时部分数据节点的并发压力。据节点的并发压力。据节点的并发压力。
【技术实现步骤摘要】
日志存储分区的动态分配方法及装置
[0001]本申请涉及数据存储领域和金融领域，特别涉及一种日志存储分区的动态分配方法及装置。
技术介绍
[0002]将各应用每天产生的日志数据写入集群的磁盘的过程称为日志存储。常见的集群包含管理节点、客户端节点以及数据节点三种节点，应用的日志数据会经过客户端节点按照管理节点的指示分配至对应的数据节点上。现有技术中通常根据数据节点的个数设置分配给各应用存储日志数据的分片的大小。通常而言，各应用的日志数据对应的日志存储分区都是固定的，这导致了以下问题：
[0003]1)各应用的数据存储分区及分片单一固定，当日志数据的数据量较大时，其写入存储性能较低；
[0004]2)日志存储高峰期写入日志数据的并发压力大；
[0005]3)对各应用存储的日志数据的搜索效率较低。
技术实现思路
[0006]本申请提供一种日志存储分区的动态分配方法，涉及数据存储领域和金融领域。该方法包括：
[0007]分别获取各应用在多个历史周期的任一时段内日志数据的第一写入流量以及各应用在每一所述历史周期内日志数据的总写入流量；
[0008]根据所述第一写入流量以及所述总写入流量预测各应用在下一周期的所述时段内日志数据的第二写入流量；
[0009]根据所述第二写入流量将各应用分为M组，根据各组内的应用的第二写入流量确定每组应用在下一周期的所述时段内分配到的日志存储分区的大小。
[0010]在一实施例中，所述根据所述第一写入流量以及所述总写入流量预测各应用在下一周期的所述时段内日志数据的第二写入流量，包括：
[0011]分别确定各应用在多个历史周期内日志数据的总写入流量周期代表值；
[0012]分别确定各应用在各历史周期的所述时段内日志数据的第一写入流量占对应历史周期的总写入流量的第一时段比例；
[0013]根据所述第一时段比例确定各应用在下一周期的所述时段的写入流量的第二时段比例；
[0014]分别根据各应用的所述第二时段比例以及所述总写入流量周期代表值确定各应用在下一周期的所述时段内日志数据的第二写入流量。
[0015]在一实施例中，所述根据所述第二写入流量将各应用分为M组，包括：
[0016]根据所述第二写入流量对各应用进行排序；
[0017]按照预设的分组比例对排序后的各应用进行分组，得到M个分组。
[0018]在一实施例中，所述根据各组内的应用的第二写入流量确定每组中的应用在下一周期的所述时段内分配到的日志存储分区的大小，包括：
[0019]分别根据各组内的应用的第二写入流量确定对应组的写入流量代表值；
[0020]根据每一组的写入流量代表值占M个组的写入流量代表值的总和的比例，确定对应组中的应用在下一周期的第一时段分配到的日志存储分区的大小。
[0021]在一实施例中，所述分别根据各组内的应用的第二写入流量确定对应组的写入流量代表值，包括：
[0022]分别对每一组中包含的应用的第二写入流量进行排序；
[0023]将排序后的第二写入流量的中位数作为对应组的写入流量代表值。
[0024]在一实施例中，所述分别根据各组内的应用的第二写入流量确定对应组的写入流量代表值，包括：
[0025]分别计算每一组中包含的应用的第二写入流量的平均值；
[0026]将每一组的第二写入流量的平均值作为对应组的写入流量代表值。
[0027]在一实施例中，同一组的各应用在写入日志数据时，自动占用对应组的日志存储分区的可用存储空间。
[0028]本申请还提供一种日志存储分区的动态分配装置，该装置包括：
[0029]历史写入流量获取模块，用于分别获取各应用在多个历史周期的任一时段内日志数据的第一写入流量以及各应用在每一所述历史周期内日志数据的总写入流量；
[0030]写入流量预测模块，用于根据所述第一写入流量以及所述总写入流量预测各应用在下一周期的所述时段内日志数据的第二写入流量；
[0031]日志存储分区分配模块，用于根据所述第二写入流量将各应用分为M组，根据各组内的应用的第二写入流量确定每组应用在下一周期的所述时段内分配到的日志存储分区的大小。
[0032]在一实施例中，所述写入流量预测模块包括：
[0033]周期写入流量预测单元，用于分别确定各应用在多个历史周期内日志数据的总写入流量周期代表值；
[0034]时段写入流量比例确定单元，用于分别确定各应用在各历史周期的所述时段内日志数据的第一写入流量占对应历史周期的总写入流量的第一时段比例；以及根据所述第一时段比例确定各应用在下一周期的所述时段的写入流量的第二时段比例；
[0035]时段写入流量预测单元，用于分别根据各应用的所述第二时段比例以及所述总写入流量周期代表值确定各应用在下一周期的所述时段内日志数据的第二写入流量。
[0036]在一实施例中，所述日志存储分区分配模块包括应用分组单元，用于：
[0037]根据所述第二写入流量对各应用进行排序；
[0038]按照预设的分组比例对排序后的各应用进行分组，得到M个分组。
[0039]在一实施例中，所述日志存储分区分配模块还包括：
[0040]写入流量代表值确定单元，用于分别根据各组内的应用的第二写入流量确定对应组的写入流量代表值；
[0041]日志存储分区分配单元，用于根据每一组的写入流量代表值占M个组的写入流量代表值的总和的比例，确定对应组中的应用在下一周期的第一时段分配到的日志存储分区
的大小。
[0042]本申请的日志存储分区的动态分配方法及装置可根据写入流量的大小灵活分配应用的日志存储分区，提升了日志写入存储时的性能，缓解了存储端在高峰期时部分数据节点的并发压力，同时提高了根据搜索存储的数据的效率。
附图说明
[0043]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]图1为本申请的日志存储分区的动态分配方法的示意图。
[0045]图2为日志存储分区的动态分配方法的另一种示意图。
[0046]图3为日志存储分区的动态分配方法的另一种示意图。
[0047]图4为日志存储分区的动态分配装置的示意图。
[0048]图5为日志存储分区的动态分配装置的另一种示意图。
[0049]图6为日志存储分区的动态分配装置的另一种示意图。
[0050]图7为一种电子设备的示意图。
具体实施方式
[0051]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种日志存储分区的动态分配方法，其特征在于，包括：分别获取各应用在多个历史周期的任一时段内日志数据的第一写入流量以及各应用在每一所述历史周期内日志数据的总写入流量；根据所述第一写入流量以及所述总写入流量预测各应用在下一周期的所述时段内日志数据的第二写入流量；根据所述第二写入流量将各应用分为M组，根据各组内的应用的第二写入流量确定每组应用在下一周期的所述时段内分配到的日志存储分区的大小。2.根据权利要求1所述的日志存储分区的动态分配方法，其特征在于，所述根据所述第一写入流量以及所述总写入流量预测各应用在下一周期的所述时段内日志数据的第二写入流量，包括：分别确定各应用在多个历史周期内日志数据的总写入流量周期代表值；分别确定各应用在各历史周期的所述时段内日志数据的第一写入流量占对应历史周期的总写入流量的第一时段比例；根据所述第一时段比例确定各应用在下一周期的所述时段的写入流量的第二时段比例；分别根据各应用的所述第二时段比例以及所述总写入流量周期代表值确定各应用在下一周期的所述时段内日志数据的第二写入流量。3.根据权利要求2所述的日志存储分区的动态分配方法，其特征在于，所述根据所述第二写入流量将各应用分为M组，包括：根据所述第二写入流量对各应用进行排序；按照预设的分组比例对排序后的各应用进行分组，得到M个分组。4.根据权利要求3所述的日志存储分区的动态分配方法，其特征在于，所述根据各组内的应用的第二写入流量确定每组中的应用在下一周期的所述时段内分配到的日志存储分区的大小，包括：分别根据各组内的应用的第二写入流量确定对应组的写入流量代表值；根据每一组的写入流量代表值占M个组的写入流量代表值的总和的比例，确定对应组中的应用在下一周期的第一时段分配到的日志存储分区的大小。5.根据权利要求4所述的日志存储分区的动态分配方法，其特征在于，所述分别根据各组内的应用的第二写入流量确定对应组的写入流量代表值，包括：分别对每一组中包含的应用的第二写入流量进行排序；将排序后的第二写入流量的中位数作为对应组的写入流量代表值。6.根据权利要求4所述的日志存储分区的动态分配方法，其特征在于，所述分别根据各组内的应用的第二写入流量确定对应组的写入流量代表值，包括：分别计算每一组中包含的应用的第二写入流量的平均值；将每一组的第二写入流量的平均值作为对应组的写入流量代表值。7.根据权利要求5或6所述的日志存储分区的动态分配方法，其特征在于...
【专利技术属性】
技术研发人员：齐颀，武文轩，郑杰，任政，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。