一种基于大数据集群的应用调度部署方法及存储介质技术

本发明专利技术公开了一种基于大数据集群的应用调度部署方法及存储介质；采用双轨制并列同步实施，结合排队论、元胞自动机和DS理论，旨在优化任务调度和资源分配，提高系统性能和资源利用率。通过综合考虑多个指标，并利用信息融合技术，该方法能够在动态环境下做出可靠、高效的任务调度决策；一、从整体上优化任务调度策略，而不仅仅局限于某个特定性能指标。此外，元胞自动机模型用于模拟任务调度的动态变化，能够综合考虑任务的实际执行情况，以及集群资源的动态变化。二、提供多视角分析：通过将两个视角的信息进行融合，得到综合的任务调度策略，从而提供了多视角分析的能力，使得决策更加全面和准确。面和准确。面和准确。

【技术实现步骤摘要】
一种基于大数据集群的应用调度部署方法及存储介质


[0001]本专利技术涉及分布式计算
，特别涉及一种基于大数据集群的应用调度部署方法及存储介质。

技术介绍

[0002]在现代计算环境中，大数据处理已经成为许多组织和企业面临的主要挑战之一。这些组织通常需要处理海量的数据，例如用户行为数据、日志文件、传感器数据等，这些数据通常比传统的数据处理技术能够处理的数据规模大得多。因此，需要利用分布式计算和大数据技术来高效地处理这些数据，并从中获取有价值的信息。
[0003]这时候，大数据高可用集群的应用调度部署控制管理方法就发挥了重要作用。它可以确保大数据集群的高可用性，让应用程序在面对故障或错误时保持运行。此外，这项技术还能优化资源调度和管理，实现自动化部署和伸缩，提高系统的效率和可靠性。同时，它还涉及到调度算法、数据一致性、性能优化等方面的内容，从而让大数据处理在分布式环境中更加高效和可靠。
[0004]大数据高可用集群的应用调度部署控制管理方法在互联网企业、金融领域、医疗健康等众多领域都得到了广泛应用。这些领域通常需要处理大量的数据，并依赖于高效的大数据处理和分析来做出战略性决策、优化业务流程、提供个性化的服务等。因此，对于这些领域的组织来说，大数据高可用集群的应用调度部署控制管理方法是至关重要的技术。
[0005]但是经专利技术人长期工作与研究发现，在传统基于大数据高可用集群的应用调度部署控制管理方法中，仅采用优化算法来最大化系统的吞吐量、资源利用率或者最小化任务的执行时间存在一些缺陷：（1）局部优化问题：传统优化算法通常只考虑局部性能指标，如系统吞吐量、资源利用率或任务的执行时间，而忽略了整体系统的综合性能。这可能导致在优化一个性能指标的同时，牺牲了其他性能指标，最终导致系统整体性能并不理想。
[0006]（2）单一视角限制：传统优化算法可能只关注特定任务调度和资源分配问题，而无法从整体上考虑大数据高可用集群中的复杂交互和动态变化。这种单一视角可能导致在特定场景下效果不佳，且不具备适应性。
[0007]（3）缺乏决策支持：传统优化算法通常只提供一个优化的结果，而没有提供决策支持的解释和合理性评估。这使得在复杂的大数据集群环境中，难以理解和解释算法的决策，也无法为决策提供更多可靠的依据。
[0008]（4）对不确定性缺乏处理：大数据集群中的任务调度和资源分配问题常常伴随着不确定性，如任务到达率的波动、资源故障等。传统优化算法往往缺乏对不确定性的处理能力，无法灵活适应动态环境。
[0009]为此，提出一种基于大数据集群的应用调度部署方法及存储介质。

技术实现思路

[0010]有鉴于此，本专利技术实施例希望提供一种基于大数据集群的应用调度部署方法及存储介质，以解决或缓解现有技术中存在的技术问题，即局部优化、单一视角限制、缺乏决策支持和对不确定性缺乏处理，并对此至少提供一种有益的选择；本专利技术实施例的技术方案是这样实现的：第一方面一种基于大数据集群的应用调度部署方法：（一）概论：采用双轨制并列同步实施，结合排队论、元胞自动机和DS理论，旨在优化任务调度和资源分配，提高系统性能和资源利用率。通过综合考虑多个指标，并利用信息融合技术，该方法能够在动态环境下做出可靠、高效的任务调度决策。
[0011]（二）原理和逻辑：（2.1）Track
‑
1：排队论轨道：排队论模型用于建模大数据集群中的任务排队和等待过程，通过排队论公式计算任务的平均等待时间和系统平均响应时间：S1、输入：将任务调度策略参数作为输入，包含任务的优先级、任务执行顺序等信息。
[0012]S2、建模：利用排队论公式和参数，计算系统的性能指标，如平均等待时间W_q和系统平均响应时间W。
[0013]S3、输出：将任务调度策略参数转换为任务调度结果，表示为函数G，得到任务调度结果的信任度δ1。
[0014]（2.2）Track
‑
2：元胞自动机轨道：元胞自动机模型用于模拟大数据集群中的任务执行和资源分配过程，通过状态转移函数S^T来更新下一个时间步T的状态空间：S1、输入：将上一个时间步T
‑
1的状态空间作为输入，表示为当前时间步T的状态。
[0015]S2、模拟：使用状态转移函数来模拟任务调度过程，更新任务的状态和资源分配情况。
[0016]S3、输出：得到当前时间步T下的状态空间S^T，表示任务调度的状态信息，通过信任度δ2来表示元胞自动机模型的可信程度。
[0017]（2.3）Track
‑
3：DS理论：用于融合排队论轨道和元胞自动机轨道的信息，综合考虑两者的信任度，得到最终的任务调度结果的信任度。
[0018]S1、输入：将排队论轨道的信任度δ1和元胞自动机轨道的信任度δ2作为输入，通过融合函数H(δ1, δ2)来得到任务调度结果的信任度δDS。
[0019]S2、融合：融合函数H可以定义为加权平均，即，其中α和β是用于平衡两者权重的参数。
[0020]判定：判断δDS是否满足信息一致性阈值θ，若满足，则直接输出任务调度结果R；若
不满足，则进入优化阶段。
[0021]（2.4）任务调度与策略优化：在信息不一致的情况下，需要优化任务调度策略，通过排队论和元胞自动机的信息结合，进一步优化任务调度决策。
[0022]融合函数H定义为加权平均，其中权重参数为α和β，表示对两个轨道的信任度进行平衡；最终的任务调度结果的信任度δDS为加权平均后的值；融合函数H通过加权平均将两个轨道的信任度合并，得到最终的任务调度结果的信任度δDS，表示该任务调度策略的可信程度。
[0023]（2.5）任务调度输出：将最优的任务调度策略作为当前时间步T下所需的任务调度策略输出，传递给任务调度系统，实现动态任务调度和资源分配。
[0024]（三）总结：双轨制基于大数据高可用集群的应用调度部署控制管理方法，通过排队论、元胞自动机和DS理论的融合，实现了多指标综合优化、多视角分析、决策支持和处理不确定性等功能。该方法能够适应大数据环境下的复杂和动态特点，提高系统性能和资源利用率，是一种高效可靠的任务调度管理方法。
[0025]第二方面一种存储介质：所述存储介质内存储有用于执行如上述所述部署方法的程序指令。为了执行基于大数据高可用集群的应用调度部署控制管理方法，需要将该方法实现为一组程序指令，并存储在特定的存储介质中，以便在计算设备上运行。该存储介质可以是计算机硬盘、固态硬盘、闪存驱动器等。
[0026]在存储介质中，存储有用于执行如上述所述部署方法的程序指令。这些程序指令包括排队论模型、元胞自动机模型和DS理论融合函数等相关算法和逻辑。以下是存储介质内存储的内容：（1）排队论模型程序指令： 这部分程序指令实现了排队论模型，包括任务到达过程、任务等待过程和任务执行过程的建模。其中，包含排队论的数学公式、计算任务的平均等待时间和系统平均响应时间的算法逻辑等。
...

【技术保护点】

【技术特征摘要】
1.一种基于大数据集群的应用调度部署方法，包括大数据集群分发的数据流，其特征在于，包括：并列同步实施的Track
‑
1和Track
‑
2：Track
‑
1：接收所述数据流，通过排队论模型解算系统的响应时间、队列长度、资源利用率输出任务调度策略a至Track
‑
3；Track
‑
2：接收所述数据流，通过元胞自动机模拟下一个时间步的任务调度策略；同时将上一个时间步中存储并预测任务调度策略b输出至Track
‑
3；还包括Track
‑
3：将Track
‑
1和Track
‑
2任务调度策略a、b导入到DS理论中进行分析和比对；如果当前时间步下所需的任务调度策略与元胞自动机预测的策略相匹配，直接输出元胞自动机的任务调度策略；如果不匹配，则通过DS理论优化任务调度策略a，输出当前所需的任务调度系统。2.根据权利要求1所述的部署方法，其特征在于：在Track
‑
1中，包括：使用M/M/n/c排队论模型，有n个服务器和任务到达率λ的系统，任务处理率为μ，并且最大任务队列长度为c；任务到达遵循泊松分布，任务处理时间遵循指数分布：平均排队长度Lq：平均等待时间Wq：系统平均响应时间W：λ: 任务到达率（任务数/时间单位）；μ: 任务处理率（任务数/时间单位）；n: 系统中的服务器数量；c: 系统中的最大任务队列长度，为无限大。3.根据权利要求2所述的部署方法，其特征在于：任务调度策略为最小化任务平均等待时间Wq和系统平均响应时间W，并同时适配任务平均排队长度Lq，设定综合性能指标函数F：α、β和γ是权重系数；将任务调度策略输出至任务调度系统，任务调度参数为：其中pi表示第i个任务的调度参数，任务调度策略表示为函数G，将任务参数P映射为最终的调度结果；其中ri表示第i个任务的执行顺序、分配节点的调度信息；
将任务调度策略输出至DS理论的过程表示为对函数G(P)的调用，将任务参数P作为输入，得到最终的任务调度结果R作为输出的任务调度策略a，然后将任务调度策略a应用于DS理论中。4.根据权利要求2所述的部署方法，其特征在于：所述泊松分布包括：设X为单位时间内事件发生的次数或任务到达次数，λ为单位时间内事件的平均发生率或任务到达率，X服从泊松分布的概率质量函数为：排队论模型为任务到达率和任务处理率满足：最大队列长度c为有限值。5.根据权利要求4所述的部署方法，其特征在于：在Track
‑
2中：在每个...

【专利技术属性】
技术研发人员：向帅，鲁靖，杨蜜，周前峰，刘剑喜，
申请(专利权)人：湖南博信创远信息科技有限公司，
类型：发明
国别省市：