大数据管控方法、装置、管控系统及可读存储介质制造方法及图纸

本发明专利技术公开了一种大数据管控方法、装置、管控系统及可读存储介质，所述方法包括：确定大数据集群中各节点的业务运行进程；获取预设时间范围内各业务运行进程对应的运行数据；根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本；根据各业务运行进程对应的运行成本生成进程资源调配策略，以根据所述进程资源调配策略对业务运行进程进行调配，由此，通过获取各业务运行进程对应的运行成本，进而根据运行成本生成进程资源调配策略，避免出现数据高峰期后逐一调控，有利于大数据集群的有效运行及运行成本的管控。数据集群的有效运行及运行成本的管控。数据集群的有效运行及运行成本的管控。

【技术实现步骤摘要】
大数据管控方法、装置、管控系统及可读存储介质


[0001]本专利技术涉及大数据
，尤其涉及一种大数据管控方法、装置、管控系统及可读存储介质。

技术介绍

[0002]随着大数据技术的发展，大数据集群为越来越多的行业、领域所应用。大数据集群中所接入的节点设备众多，且各节点的业务运行进程也众多，若当节点的业务运行进程均集中在同一时间段运行或运行数据过大时，则会由于数据高峰期造成业务运行进程的运行时间变长，进而会造成业务运行进程对应的运行成本变高，严重时还会导致整个大数据集群的业务运行进程崩溃。

技术实现思路

[0003]本专利技术的主要目的在于提供一种大数据管控方法、装置、管控系统及可读存储介质，旨在实现一种基于业务运行进程对应的运行成本对大数据集群进行进程管控的技术问题。
[0004]为实现上述目的，本专利技术提供一种大数据管控方法，所述大数据管控方法包括以下步骤：
[0005]确定大数据集群中各节点的业务运行进程；
[0006]获取预设时间范围内各业务运行进程对应的运行数据；
[0007]根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本；
[0008]根据各业务运行进程对应的运行成本生成进程资源调配策略，以根据所述进程资源调配策略对业务运行进程进行调配。
[0009]可选地，所述运行数据包括内存消耗量、CPU核数及运行时间节点，所述根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本的步骤包括：
[0010]根据各业务运行进程的运行时间节点、内存消耗量及CPU核数确定各业务运行进程匹配的计费单价及折扣系数；
[0011]根据所述计费单价及折扣系数计算所述预设时间范围内各个业务运行进程对应的运行成本。
[0012]可选地，所述根据各业务运行进程的运行时间节点、内存消耗量及CPU核数确定各业务运行进程匹配的计费单价及折扣系数的步骤包括：
[0013]若业务运行进程的运行时间节点处于高峰运行时间段内，则根据高峰运行时间段的高峰时间节点及业务运行进程的运行时间节点将业务运行进程划分成至少一个高峰计费时间段和/或至少一个非高峰计费时间；
[0014]确定各计费时间段的目标内存消耗量及目标运行时长，以根据CPU核数、目标内存消耗量及目标运行时长确定各计费时间段的计费单价及折扣系数。
[0015]可选地，所述根据CPU核数、目标内存消耗量及目标运行时间确定各计费时间段的
计费单价的步骤包括：
[0016]确定各计费时间段匹配的折扣系数；
[0017]根据各计费时间段的目标运行时长、CPU核数及目标内存消耗量，确定各计费时间段的进程算力；
[0018]基于所述进程算力确定各计费时间段的计费单价。
[0019]可选地，所述确定各计费时间段匹配的折扣系数的步骤包括：
[0020]若计费时间段为高峰计费时间段，则确定所述高峰计费时间段的折扣系数为第一预设折扣系数；以及
[0021]若计费时间段为非高峰计费时间段，则确定所述非高峰计费时间段的折扣系数为第二预设折扣系数，其中，所述第二预设折扣系数小于第一预设折扣系数。
[0022]可选地，所述基于所述进程算力确定各计费时间段的计费单价的步骤包括：
[0023]按照预设阶梯划分规则，分别将各计费时间段的进程算力划分为至少一阶进程算力；
[0024]确定各阶进程算力匹配的计费单价。
[0025]可选地，所述根据各业务运行进程的运行时间节点、内存消耗量及CPU核数确定各业务运行进程匹配的计费单价及折扣系数的步骤还包括：
[0026]根据各业务运行进程的运行时间节点，确定各业务运行进程的折扣系数；
[0027]根据各业务运行进程的运行时间节点、CPU核数及内存消耗量，确定各业务运行进程的进程算力；
[0028]基于所述进程算力确定各业务运行进程的计费单价。
[0029]可选地，所述根据各业务运行进程的运行时间节点，确定各业务运行进程的折扣系数的步骤包括：
[0030]若业务运行进程的运行时间节点处于高峰高峰运行时间段内，则确定所述业务运行进程的折扣系数为第三预设折扣系数；以及
[0031]若业务运行进程的运行时间节点处于非高峰高峰运行时间段内，则确定所述业务运行进程的折扣系数的折扣系数为第四预设折扣系数，其中，所述第四预设折扣系数小于第三预设折扣系数。
[0032]可选地，所述基于所述进程算力确定各业务运行进程的计费单价的步骤包括：
[0033]按照预设阶梯划分规则，分别将各业务运行进程的进程算力划分为至少一阶进程算力；
[0034]确定各阶进程算力匹配的计费单价。
[0035]可选地，所述根据各业务运行进程对应的运行成本生成进程资源调配策略的步骤包括：
[0036]根据各业务运行进程对应的运行成本，确定异常业务运行进程；
[0037]生成所述异常业务运行进程对应的进程资源调配策略，其中，所述进程资源调配策略包括运行时间调配策略、运行容量调配策略和/或运行速度调配策略。
[0038]可选地，所述根据各业务运行进程对应的运行成本，确定异常业务运行进程的步骤之后，还包括：
[0039]确定所述异常业务运行进程对应的管控终端；
[0040]发送预警消息至所述管控终端，以通知所述管控终端对所述异常业务运行进程进行管控。
[0041]可选地，所述根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本的步骤之后，还包括：
[0042]将各业务运行进程对应的运行成本进行可视化输出。
[0043]进一步地，为实现上述目的，本专利技术还提供一种大数据管控装置，所述大数据管控装置包括：
[0044]确定模块，用于确定大数据集群中各节点的业务运行进程；
[0045]获取模块，用于获取预设时间范围内各业务运行进程对应的运行数据；
[0046]计算模块，用于根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本；
[0047]策略模块，用于根据各业务运行进程对应的运行成本生成进程资源调配策略，以根据所述进程资源调配策略对业务运行进程进行调配。
[0048]可选地，所述计算模块包括：
[0049]第一确定单元，用于根据各业务运行进程的运行时间节点、内存消耗量及CPU核数确定各业务运行进程匹配的计费单价及折扣系数；
[0050]计算单元，用于根据所述计费单价及折扣系数计算所述预设时间范围内各个业务运行进程对应的运行成本。
[0051]可选地，，所述第一确定单元包括：
[0052]划分子单元模块，用于若业务运行进程的运行时间节点处于高峰运行时间段内，则根据高峰运行时间段的高峰时间节点及业务运行进程的运行时间节点将业务运行进程划分成至少一个高峰计费时间段和/或至少一个非高峰计费时间；
[0053]确定子单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据管控方法，其特征在于，所述大数据管控方法包括以下步骤：确定大数据集群中各节点的业务运行进程；获取预设时间范围内各业务运行进程对应的运行数据；根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本；根据各业务运行进程对应的运行成本生成进程资源调配策略，以根据所述进程资源调配策略对业务运行进程进行调配。2.如权利要求1所述的大数据管控方法，其特征在于，所述运行数据包括内存消耗量、CPU核数及运行时间节点，所述根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本的步骤包括：根据各业务运行进程的运行时间节点、内存消耗量及CPU核数确定各业务运行进程匹配的计费单价及折扣系数；根据所述计费单价及折扣系数计算所述预设时间范围内各个业务运行进程对应的运行成本。3.如权利要求2所述的大数据管控方法，其特征在于，所述根据各业务运行进程的运行时间节点、内存消耗量及CPU核数确定各业务运行进程匹配的计费单价及折扣系数的步骤包括：若业务运行进程的运行时间节点处于高峰运行时间段内，则根据高峰运行时间段的高峰时间节点及业务运行进程的运行时间节点将业务运行进程划分成至少一个高峰计费时间段和/或至少一个非高峰计费时间；确定各计费时间段的目标内存消耗量及目标运行时长，以根据CPU核数、目标内存消耗量及目标运行时长确定各计费时间段的计费单价及折扣系数。4.如权利要求2所述的大数据管控方法，其特征在于，所述根据各业务运行进程的运行时间节点、内存消耗量及CPU核数确定各业务运行进程匹配的计费单价及折扣系数的步骤还包括：根据各业务运行进程的运行时间节点，确定各业务运行进程的折扣系数；根据各业务运行进程的运行时间节点、CPU核数及内存消耗量，确定各业务运行进程的进程算力；基于所述进程算力确定各业务运行进程的计费单价。5.如权利要求4所述的大数据管控方法，其特征在于，所述根据各业务运行进程的运行时间节点，确定各业务运行...

【专利技术属性】
技术研发人员：常兴亮，李宏伟，
申请(专利权)人：北京鸿享技术服务有限公司，
类型：发明
国别省市：