一种基于大数据流式计算的可靠性资源调度方法及装置制造方法及图纸

本发明专利技术涉及流式计算技术领域，揭露了一种基于大数据流式计算的可靠性资源调度方法及装置，包括：提取流式数据中的子任务，根据子任务构建流式数据对应的数据流图；提取数据流图中每个资源节点的动态性能特征，根据动态性能特征确定每个资源节点的初始资源活动向量；获取每个资源节点的资源利用率变化值，根据资源利用率变化值对初始资源活动向量进行动态更新，得到动态资源活动向量；根据动态资源活动向量计算每个资源节点的资源熵，根据资源利用率变化值及资源熵计算每个资源节点的节点可靠性值；根据节点可靠性值确定数据流图中每个资源组的资源组可靠性值，根据资源组可靠性值进行资源调度。本发明专利技术可以提高资源调度可靠性。性。性。

【技术实现步骤摘要】
一种基于大数据流式计算的可靠性资源调度方法及装置


[0001]本专利技术涉及流式计算
，尤其涉及一种基于大数据流式计算的可靠性资源调度方法及装置。

技术介绍

[0002]随着各行各业新技术的不断发展，人类已经全面进入了大数据和人工智能时代。每天由各行各业、各个领域产生的大规模数据呈几何式和爆炸式的增长趋势。但为了在大数据处理过程中，保证流数据处理的可靠性及实时性，需要对大规模数据的分析和处理进行资源计算，以进行资源调度。
[0003]现有的资源调度技术为基于并行执行循环数据流程序的模型，进而对流式数据进行批处理和低时延的资源调度。实际应用中，在进行资源调度的过程中，未考虑资源的动态变化对资源可靠性调度的影响，从而对进行资源调度时的可靠性较低。

技术实现思路

[0004]本专利技术提供一种基于大数据流式计算的可靠性资源调度方法及装置，其主要目的在于解决进行资源调度时的可靠性较低的问题。
[0005]为实现上述目的，本专利技术提供的一种基于大数据流式计算的可靠性资源调度方法，包括：
[0006]S1、获取预设的流式数据，提取所述流式数据中的子任务，根据所述子任务构建所述流式数据对应的数据流图；
[0007]S2、提取所述数据流图中每个资源节点的动态性能特征，根据所述动态性能特征确定所述每个资源节点的初始资源活动向量，其中所述提取所述数据流图中每个资源节点的动态性能特征，包括：
[0008]S21、获取所述每个资源节点的节点度和节点介数；
[0009]S22、根据所述节点度及所述节点介数计算所述每个资源节点的初始负载；
[0010]S23、利用如下的负载计算公式根据所述初始负载计算所述每个资源节点的临界负载：
[0011][0012]其中，L
i
为第i个资源节点的临界负载，k为临界负载系数，a为容忍负载系数，f
i
为第i个资源节点的初始负载，b为负载调节参数，w
i
为第i个资源节点的权重系数，n为资源节点的数量；
[0013]S24、将所述临界负载作为所述每个资源节点的动态性能特征；
[0014]S3、获取所述每个资源节点的资源利用率变化值，按照预设的时间间隔根据所述资源利用率变化值对所述初始资源活动向量进行动态更新，得到动态资源活动向量；
[0015]S4、利用预设的资源熵算法根据所述动态资源活动向量计算所述每个资源节点的
资源熵，通过预设的心跳间隔根据所述资源利用率变化值及所述资源熵计算所述每个资源节点的节点可靠性值；
[0016]S5、根据所述节点可靠性值确定所述数据流图中每个资源组的资源组可靠性值，利用预设的动态资源调度算法根据所述资源组可靠性值进行资源调度。
[0017]可选地，所述根据所述子任务构建所述流式数据对应的数据流图，包括：
[0018]根据所述子任务确定所述流式数据的有限变迁集合；
[0019]通过所述有限变迁集合确定所述流式数据的流关系；
[0020]根据所述流关系及预设的流图参数确定所述流式数据的边流量值；
[0021]根据所述边流量值及所述流关系生成所述流式数据的数据流图。
[0022]可选地，所述根据所述流关系及预设的流图参数确定所述流式数据的边流量值，包括：
[0023]获取所述流图参数中的数据传输速率；
[0024]通过如下的容量值计算公式根据所述数据传输速率及所述流关系计算所述流式数据的边容量值：
[0025][0026]其中，G为所述边容量值，v
i
为所述流关系中第i个资源节点，t为所述流关系中的汇点，V为所述流关系中所有资源节点的集合，g(v
i
,t)为第i个资源节点到汇点t的数据传输速率；
[0027]利用预设的流量算法根据所述边容量值计算所述流式数据的边流量值，其中，所述流量算法为：
[0028][0029]其中，D为所述边流量值，G(v
i
,v
j
)为所述流关系中边(v
i
,v
j
)的边容量值，G
p
为所述流关系中优化路径对应的边容量增量，P所述流关系中的优化路径，(v
i
,v
j
)为所述流关系中资源节点v
i
到资源节点v
j
的边。
[0030]可选地，所述根据所述动态性能特征确定所述每个资源节点的初始资源活动向量，包括：
[0031]根据所述动态性能特征确定所述每个资源节点的资源占用时间；
[0032]利用预设的时间滑动窗口对所述资源占用时间进行更新，得到所述每个资源节点的初始资源占用时间；
[0033]根据所述资源占用时间计算所有资源节点的资源总占用时间；
[0034]根据所述初始资源占用时间及所述资源总占用时间确定所述每个资源节点的初始资源活动向量。
[0035]可选地，所述按照预设的时间间隔根据所述资源利用率变化值对所述初始资源活动向量进行动态更新，得到动态资源活动向量，包括：
[0036]根据所述时间间隔及所述资源利用率变化值生成所述每个资源节点的资源向量矩阵；
[0037]根据所述资源向量矩阵确定所述每个资源节点的资源变化均值；
[0038]根据所述资源变化均值对所述初始资源活动向量进行动态更新，得到所述动态资源活动向量。
[0039]可选地，所述利用预设的资源熵算法根据所述动态资源活动向量计算所述每个资源节点的资源熵，包括：
[0040]统计所述动态资源活动向量大于预设的向量阈值的第一数量；
[0041]统计所述动态资源活动向量小于预设的向量阈值的第二数量；
[0042]利用如下所述预设的资源熵算法根据所述第一数量及所述第二数量计算所述每个资源节点的资源熵：
[0043][0044]其中，R
i
为第i个资源节点的资源熵，C1为所述第一数量，C2为所述第二数量，S
i
为第i个资源节点的节点占比值。
[0045]可选地，所述通过预设的心跳间隔根据所述资源利用率变化值及所述资源熵计算所述每个资源节点的节点可靠性值，包括：
[0046]通过所述心跳间隔对所述资源利用率变化值进行更新，得到更新资源利用率变化值；
[0047]按照所述心跳间隔计算所述更新资源利用率变化值的资源平均变化率；
[0048]利用如下的可靠性计算公式根据所述资源平均变换率及所述资源熵计算所述每个资源节点的节点可靠性值：
[0049]K
i
＝N
·
V
i
·
(1
‑
A
i
)
·
(1
‑
R
i
)
[0050]其中，K
i
为第i个资源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据流式计算的可靠性资源调度方法，其特征在于，所述方法包括：S1、获取预设的流式数据，提取所述流式数据中的子任务，根据所述子任务构建所述流式数据对应的数据流图；S2、提取所述数据流图中每个资源节点的动态性能特征，根据所述动态性能特征确定所述每个资源节点的初始资源活动向量，其中所述提取所述数据流图中每个资源节点的动态性能特征，包括：S21、获取所述每个资源节点的节点度和节点介数；S22、根据所述节点度及所述节点介数计算所述每个资源节点的初始负载；S23、利用如下的负载计算公式根据所述初始负载计算所述每个资源节点的临界负载：其中，L
i
为第i个资源节点的临界负载，k为临界负载系数，a为容忍负载系数，f
i
为第i个资源节点的初始负载，b为负载调节参数，w
i
为第i个资源节点的权重系数，n为资源节点的数量；S24、将所述临界负载作为所述每个资源节点的动态性能特征；S3、获取所述每个资源节点的资源利用率变化值，按照预设的时间间隔根据所述资源利用率变化值对所述初始资源活动向量进行动态更新，得到动态资源活动向量；S4、利用预设的资源熵算法根据所述动态资源活动向量计算所述每个资源节点的资源熵，通过预设的心跳间隔根据所述资源利用率变化值及所述资源熵计算所述每个资源节点的节点可靠性值；S5、根据所述节点可靠性值确定所述数据流图中每个资源组的资源组可靠性值，利用预设的动态资源调度算法根据所述资源组可靠性值进行资源调度。2.如权利要求1所述的基于大数据流式计算的可靠性资源调度方法，其特征在于，所述根据所述子任务构建所述流式数据对应的数据流图，包括：根据所述子任务确定所述流式数据的有限变迁集合；通过所述有限变迁集合确定所述流式数据的流关系；根据所述流关系及预设的流图参数确定所述流式数据的边流量值；根据所述边流量值及所述流关系生成所述流式数据的数据流图。3.如权利要求2所述的基于大数据流式计算的可靠性资源调度方法，其特征在于，所述根据所述流关系及预设的流图参数确定所述流式数据的边流量值，包括：获取所述流图参数中的数据传输速率；通过如下的容量值计算公式根据所述数据传输速率及所述流关系计算所述流式数据的边容量值：其中，G为所述边容量值，v
i
为所述流关系中第i个资源节点，t为所述流关系中的汇点，V为所述流关系中所有资源节点的集合，g(v
i
,t)为第i个资源节点到汇点t的数据传输速率；利用预设的流量算法根据所述边容量值计算所述流式数据的边流量值，其中，所述流
量算法为：其中，D为所述边流量值，G(v
i
,v
j
)为所述流关系中边(v
i
,v
j
)的边容量值，G
p
为所述流关系中优化路径对应的边容量增量，P所述流关系中的优化路径，(v
i
,v
j
)为所述流关系中资源节点v
i
到资源节点v
j
的边。4.如权利要求1所述的基于大数据流式计算的可靠性资源调度方法，其特征在于，所述根据所述动态性能特征确定所述每个资源节点的初始资源活动向量，包括：根据所述动态性能特征确定所述每个资源节点的资源占用时间；利用预设的时间滑动窗口对所述资源占用时间进行更新，得到所述每个资源节点的初始资源占用时间；根据所述资源占用时间计算所有资源节点的资源总占用时间；根据所述初始资源占用时间及所述资源总占用时间确定所述每个资源节点的初始资源活动向量。5.如权利要求1所述的基于大数据流式计算的可靠性资源调度方法，其特征在于，所述按照预设的时间间隔根据所述资源利用率变化值对所述初始资源活动向量进行动态更新，得到动态资...

【专利技术属性】
技术研发人员：李佳，刘晓蕾，
申请(专利权)人：遥相科技发展北京有限公司，
类型：发明
国别省市：