流式计算资源控制方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提出一种流式计算资源控制方法、装置、电子设备及可读存储介质。首先获得目标流式任务在预设时间段内的各目标时刻的数据总接收量和数据总处理量，并根据各目标时刻的数据总接收量和数据总处理量计算得到各目标时刻的待处理数据总量，其中，相邻目标时刻之间的时间差为预设时长。然后根据预设时间段的各目标时刻的数据总接收量及待处理数据总量，对目标流式任务的资源进行调整。由此，可根据目标流式任务所对应实际的数据量，对目标流式任务的资源进行增加或减少，从而避免浪费资源或缺少资源，实现资源的合理利用。

Flow computing resource control methods, devices, electronic devices and readable storage media

【技术实现步骤摘要】
流式计算资源控制方法、装置、电子设备及可读存储介质
本申请涉及计算机
，具体而言，涉及一种流式计算资源控制方法、装置、电子设备及可读存储介质。
技术介绍
随着互联网技术的发展，数据量呈爆炸式增长。大数据的计算模式主要分为批量计算、流式计算、交互计算等。其中，流式计算是一种主要的大数据计算模式，流式计算是一个常在服务，用于对数据流进行实时处理。数据流是指在时间分布和数量上无限的一系列动态数据集合体。比如，利用流式计算对Kafka系统中的日志数据进行处理。目前，一个流式任务的资源一般都是固定不变的，在此情况下，一般会导致资源浪费或流式任务由于资源不足而不能及时处理数据。
技术实现思路
有鉴于此，本申请的目的在于提供一种流式计算资源控制方法、装置、电子设备及可读存储介质。为了实现上述目的，本申请实施例采用的技术方案如下：第一方面，本申请实施例提供一种流式计算资源控制方法，所述方法包括：获得目标流式任务在预设时间段内的各目标时刻的数据总接收量和数据总处理量，并根据各目标时刻的数据总接收量和数据总处理量计算得到各目标时刻的待处理数据总量，其中，相邻目标时刻之间的时间差为预设时长；根据所述预设时间段内的各目标时刻的数据总接收量及待处理数据总量，对所述目标流式任务的资源进行调整。在可选的实施方式中，所述根据所述预设时间段内的各目标时刻的数据总接收量及待处理数据总量，对所述目标流式任务的资源进行调整，包括：根据所述预设时间段内的各目标时刻的待处理数据总量，计算得到第一平均值；根据所述预设时间段内的各目标时刻的数据总接收量，计算得到第二平均值，其中，所述第二平均值为相邻目标时刻的数据总接收量的差值的平均值；根据所述第一平均值、第二平均值确定所述目标流式任务的资源的调整方式；根据确定的所述调整方式对所述目标流式任务的资源进行调整。在可选的实施方式中，所述根据所述第一平均值、第二平均值确定所述目标流式任务的资源的调整方式，包括：判断所述第一平均值是否大于第一预设值；若所述第一平均值大于所述第一预设值，则确定所述调整方式为增加所述目标流式任务的资源。在可选的实施方式中，所述根据所述第一平均值、第二平均值确定所述目标流式任务的资源的调整方式，还包括：若所述第一平均值不大于所述第一预设值，判断所述第一平均值是否小于第二预设值，并判断所述第二平均值是否小于第三预设值，其中，所述第一预设值大于所述第二预设值；若所述第一平均值小于所述第二预设值、且所述第二平均值小于所述第三预设值，则确定所述调整方式为减少所述目标流式任务的资源；若所述第一平均值不小于所述第二预设值，和/或，所述第二平均值不小于所述第三预设值，确定不调整所述目标流式任务的资源。在可选的实施方式中，所述根据确定的所述调整方式对所述目标流式任务的资源进行调整，包括：在所述调整方式为减少所述目标流式任务的资源时，判断所述目标流式任务的当前资源档位是否是最低资源档位；在是时，不减少所述目标流式任务的资源；在否时，根据所述目标流式任务的当前资源档位的资源量及所述当前资源档位的下一资源档位的资源量确定资源减少量，并根据所述资源减少量减少所述目标流式任务的资源，其中，所述当前资源档位的资源量大于所述当前资源档位的下一资源档位的资源量；在所述调整方式为增加所述目标流式任务的资源时，判断所述目标流式任务的当前资源档位是否是最高资源档位；在是时，不增加所述目标流式任务的资源；在否时，根据所述目标流式任务的当前资源档位的资源量及所述当前资源档位的上一资源档位的资源量确定资源增加量，并根据所述资源增加量增加所述目标流式任务的资源，其中，所述当前资源档位的资源量小于所述当前资源档位的上一资源档位的资源量。第二方面，本申请实施例提供一种流式计算资源控制装置，所述装置包括：数据量监控模块，用于获得目标流式任务在预设时间段内的各目标时刻的数据总接收量和数据总处理量，并根据各目标时刻的数据总接收量和数据总处理量计算得到各目标时刻的待处理数据总量，其中，相邻目标时刻之间的时间差为预设时长；调整模块，用于根据所述预设时间段内的各目标时刻的数据总接收量及待处理数据总量，对所述目标流式任务的资源进行调整。在可选的实施方式中，所述调整模块具体用于：根据所述预设时间段内的各目标时刻的待处理数据总量，计算得到第一平均值；根据所述预设时间段内的各目标时刻的数据总接收量，计算得到第二平均值，其中，所述第二平均值为相邻目标时刻的数据总接收量的差值的平均值；根据所述第一平均值、第二平均值确定所述目标流式任务的资源的调整方式；根据确定的所述调整方式对所述目标流式任务的资源进行调整。在可选的实施方式中，所述调整模块具体用于：判断所述第一平均值是否大于第一预设值；若所述第一平均值大于所述第一预设值，则确定所述调整方式为增加所述目标流式任务的资源。第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中任一项所述的流式计算资源控制方法。第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的流式计算资源控制方法。本申请实施例提供的流式计算资源控制方法、装置、电子设备及可读存储介质，首先获得目标流式任务在预设时间段内的各目标时刻的数据总接收量和数据总处理量，并根据各目标时刻的数据总接收量和数据总处理量计算得到各目标时刻的待处理数据总量，其中，相邻目标时刻之间的时间差为预设时长。然后根据预设时间段的各目标时刻的数据总接收量及待处理数据总量，对目标流式任务的资源进行调整。由此，可根据目标流式任务所对应实际的数据量，对目标流式任务的资源进行增加或减少，从而避免浪费资源或缺少资源，实现资源的合理利用。为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1是本申请实施例提供的电子设备的方框示意图；图2是本申请实施例提供的流式计算资源控制方法的流程示意图；图3是本申请实施例提供的包括最新生产的offset的表格格式示意图；图4是本申请实施例提供的包括最新处理的offset的表格格式示意图；图5是本申请实施例提供的包括数据总接收量的表格格式示意图；图6是本申请实施例提供的包括数据总处理量的表格格式示意图；图7是本申请实施例提供的包括待处理数本文档来自技高网...

【技术保护点】
1.一种流式计算资源控制方法，其特征在于，所述方法包括：/n获得目标流式任务在预设时间段内的各目标时刻的数据总接收量和数据总处理量，并根据各目标时刻的数据总接收量和数据总处理量计算得到各目标时刻的待处理数据总量，其中，相邻目标时刻之间的时间差为预设时长；/n根据所述预设时间段内的各目标时刻的数据总接收量及待处理数据总量，对所述目标流式任务的资源进行调整。/n

【技术特征摘要】
1.一种流式计算资源控制方法，其特征在于，所述方法包括：
获得目标流式任务在预设时间段内的各目标时刻的数据总接收量和数据总处理量，并根据各目标时刻的数据总接收量和数据总处理量计算得到各目标时刻的待处理数据总量，其中，相邻目标时刻之间的时间差为预设时长；
根据所述预设时间段内的各目标时刻的数据总接收量及待处理数据总量，对所述目标流式任务的资源进行调整。


2.根据权利要求1所述的方法，其特征在于，所述根据所述预设时间段内的各目标时刻的数据总接收量及待处理数据总量，对所述目标流式任务的资源进行调整，包括：
根据所述预设时间段内的各目标时刻的待处理数据总量，计算得到第一平均值；
根据所述预设时间段内的各目标时刻的数据总接收量，计算得到第二平均值，其中，所述第二平均值为相邻目标时刻的数据总接收量的差值的平均值；
根据所述第一平均值、第二平均值确定所述目标流式任务的资源的调整方式；
根据确定的所述调整方式对所述目标流式任务的资源进行调整。


3.根据权利要求2所述的方法，其特征在于，所述根据所述第一平均值、第二平均值确定所述目标流式任务的资源的调整方式，包括：
判断所述第一平均值是否大于第一预设值；
若所述第一平均值大于所述第一预设值，则确定所述调整方式为增加所述目标流式任务的资源。


4.根据权利要求3所述的方法，其特征在于，所述根据所述第一平均值、第二平均值确定所述目标流式任务的资源的调整方式，还包括：
若所述第一平均值不大于所述第一预设值，判断所述第一平均值是否小于第二预设值，并判断所述第二平均值是否小于第三预设值，其中，所述第一预设值大于所述第二预设值；
若所述第一平均值小于所述第二预设值、且所述第二平均值小于所述第三预设值，则确定所述调整方式为减少所述目标流式任务的资源；
若所述第一平均值不小于所述第二预设值，和/或，所述第二平均值不小于所述第三预设值，确定不调整所述目标流式任务的资源。


5.根据权利要求2-4中任意一项所述的方法，其特征在于，所述根据确定的所述调整方式对所述目标流式任务的资源进行调整，包括：
在所述调整方式为减少所述目标流式任务的资源时，判断所述目标流式任务的当前资源档位是否是最低资源档位；在是时，不减少所述目标流式任务的资源；在否时，根据所述目标流式...

【专利技术属性】
技术研发人员：林奇亮，梁新敏，陈羲，
申请(专利权)人：上海风秩科技有限公司，
类型：发明
国别省市：上海;31