一种分区数据中心的数据集中调度方法及其相关设备技术

本申请提供了一种分区数据中心的数据集中调度方法及其相关设备，对任务预测数据中的任务进行等间隔采样，得到多个中心样本，进而将该任务划分到该任务的最小节点判定值对应的任务过渡节点中，重复上述步骤，确定每个任务过渡节点的中心任务，若存在有任务过渡节点的中心任务与该任务过渡节点的中心样本的数据匹配度超过预设的匹配阈值，则将该任务过渡节点作为任务节点，根据各任务节点对分区数据中心的数据进行集中调度，确定各个任务节点在不同时间点的任务处理特征值，当所述任务处理特征值低于预设的任务处理阈值区间时，将该任务处理特征值对应的任务节点潮汐性解散，将该任务对应的数据调度到其它任务节点，可提高任务节点的数据处理能力

【技术实现步骤摘要】
一种分区数据中心的数据集中调度方法及其相关设备


[0001]本申请涉及分区数据中心
，特别是本申请涉及一种分区数据中心的数据集中调度方法及其相关设备
。

技术介绍

[0002]分区数据中心是一种在大规模数据处理和存储中使用的分布式计算和存储架构，分区数据中心的核心思想是将数据和计算任务分割成多个分区，这些分区可以在不同的物理位置或服务器上进行存储和处理，分区数据中心技术的要点包括：数据分区
、
分布式存储
、
任务调度和并行处理等，分区数据中心技术被广泛应用于大数据分析
、
云计算
、
科学计算等领域
。
[0003]数据集中调度指的是在数据集中心化的基础上，对数据的访问
、
处理和分发进行管理和调度的过程，该过程包括：数据的批量处理和实时处理
、
任务的分化和数据调度等，确保数据在集中后能够高效有序的运行，分区数据中心的数据集中调度涉及分布式数据存储系统中管理和调度数据的过程，数据集中调度在这种情况下起到了协调
、
管理和优化数据访问
、
处理和分发的作用，当分区数据中心中的数据量达到一定程度时，分区数据中心会面临数据管理变复杂的问题，导致分区数据中心的数据处理能力降低
。

技术实现思路

[0004]基于此，有必要针对上述技术问题，本申请提供一种用以提高分区数据中心的数据处理能力的分区数据中心的数据集中调度方法及其相关设备
。<br/>[0005]为解决上述技术问题，本申请采用如下技术方案：第一方面，本申请提供一种分区数据中心的数据集中调度方法，包括如下步骤：获取分区数据中心的历史任务数据，将所述历史任务数据转换为任务预测数据，对所述任务预测数据中的任务进行等间隔采样，得到多个中心样本，每个中心样本对应一个任务过渡节点；将所述任务预测数据中的任务分别与各中心样本进行节点判定值计算，得到该任务的多个节点判定值，将该任务划分到该任务的最小节点判定值对应的任务过渡节点中，重复上述步骤，将所述任务预测数据中的所有任务划分到对应的任务过渡节点中；确定每个任务过渡节点的中心任务，若存在有任务过渡节点的中心任务与该任务过渡节点的中心样本的数据匹配度超过预设的匹配阈值，则将该任务过渡节点作为任务节点，否则，根据各个中心任务对所述任务预测数据中的任务重新进行划分，直至所述数据匹配度超过预设的匹配阈值，根据各任务节点对分区数据中心的数据进行集中调度；选取一个任务节点，确定该个任务节点的任务处理疲劳因子，根据所述任务处理疲劳因子确定该个任务节点在不同时间点的任务处理特征值，对于剩余的任务节点，重复上述步骤，继续得到剩余各个任务节点在不同时间点的任务处理特征值；当所述任务处理特征值低于预设的任务处理阈值区间时，将该任务处理特征值对
应的任务节点潮汐性解散，并将该任务节点当前的任务及该任务对应的数据调度到其它任务节点进行处理
。
[0006]在一些实施例中，将所述历史任务数据转换为任务预测数据具体包括：将所述历史任务数据按照同一时间段进行数据划分，得到多个时间数据组；对每个时间数据组进行平均计算，得到任务预测数据
。
[0007]在一些实施例中，将所述任务预测数据中的任务分别与各中心样本进行节点判定值计算，得到该任务的多个节点判定值具体步骤如下：确定第个中心样本的数据；确定任务预测数据中第个任务的数据；确定第个中心样本的处理时间段；确定任务预测数据中第个任务的处理时间段；根据所述第个中心样本的数据
、
所述任务预测数据中第个任务的数据
、
所述第个中心样本的处理时间段和所述第个中心样本的处理时间段确定任务预测数据中的每个任务对应各个中心样本的节点判定值，其中所述节点判定值可采用下述公式确定：其中，表示任务预测数据中第个任务对应第个中心样本的节点判定值，和表示调节系数，
。
[0008]在一些实施例中，确定每个任务过渡节点的中心任务具体包括：确定每个任务过渡节点中使用次数最多的数据和任务处理最多的时间段；根据所述使用次数最多的数据和所述任务处理最多的时间段确定每个任务过渡节点的中心任务判定值，进而确定每个任务过渡节点的中心任务
。
[0009]在一些实施例中，确定该个任务节点的任务处理疲劳因子具体包括：确定该个任务节点的任务量；根据所述任务量的数目确定该个任务节点的任务处理疲劳等级，进而确定该个任务节点的任务处理疲劳因子
。
[0010]在一些实施例中，还包括：当所述任务处理特征值超过预设的任务处理阈值区间时，将该任务处理特征值对应的任务节点永久性解散，同时将该任务节点中的所有任务及该任务对应的数据调度到其它任务节点进行处理；当所述任务处理特征值处于预设的任务处理阈值区间时，发出维持正常信号
。
[0011]在一些实施例中，对于潮汐性解散的任务节点，在下一个工作日重新启动该任务节点
。
[0012]第二方面，本申请提供一种分区数据中心的数据集中调度系统，包括：中心样本获取模块，用于获取分区数据中心的历史任务数据，将所述历史任务数据转换为任务预测数据，对所述任务预测数据中的任务进行等间隔采样，得到多个中心样本，每个中心样本对应一个任务过渡节点；
任务划分模块，用于将所述任务预测数据中的任务分别与各中心样本进行节点判定值计算，得到该任务的多个节点判定值，将该任务划分到该任务的最小节点判定值对应的任务过渡节点中，重复上述步骤，将所述任务预测数据中的所有任务划分到对应的任务过渡节点中；任务节点确定模块，用于确定每个任务过渡节点的中心任务，若存在有任务过渡节点的中心任务与该任务过渡节点的中心样本的数据匹配度超过预设的匹配阈值，则将该任务过渡节点作为任务节点，否则，根据各个中心任务对所述任务预测数据中的任务重新进行划分，直至所述数据匹配度超过预设的匹配阈值，根据各任务节点对分区数据中心的数据进行集中调度；任务处理特征值确定模块，用于选取一个任务节点，确定该个任务节点的任务处理疲劳因子，根据所述任务处理疲劳因子确定该个任务节点在不同时间点的任务处理特征值，对于剩余的任务节点，重复上述步骤，继续得到剩余各个任务节点在不同时间点的任务处理特征值；任务节点控制模块，用于当所述任务处理特征值低于预设的任务处理阈值区间时，将该任务处理特征值对应的任务节点潮汐性解散，并将该任务节点当前的任务及该任务对应的数据调度到其它任务节点进行处理
。
[0013]第三方面，本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述分区数据中心的数据集中调度方法的步骤
。
[0014]第四方面，本申请提供一种计算机可读存储介质，所存储有计算机程序，所述计算机程序被处理器执行时实现上述分区数据中心的数据集中调度方法的步骤
。
[0015]本申请公开的实施例提供的技术方案具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种分区数据中心的数据集中调度方法，其特征在于，包括如下步骤：获取分区数据中心的历史任务数据，将所述历史任务数据转换为任务预测数据，对所述任务预测数据中的任务进行等间隔采样，得到多个中心样本，每个中心样本对应一个任务过渡节点；将所述任务预测数据中的任务分别与各中心样本进行节点判定值计算，得到该任务的多个节点判定值，将该任务划分到该任务的最小节点判定值对应的任务过渡节点中，重复上述步骤，将所述任务预测数据中的所有任务划分到对应的任务过渡节点中；确定每个任务过渡节点的中心任务，若存在有任务过渡节点的中心任务与该任务过渡节点的中心样本的数据匹配度超过预设的匹配阈值，则将该任务过渡节点作为任务节点，否则，根据各个中心任务对所述任务预测数据中的任务重新进行划分，直至所述数据匹配度超过预设的匹配阈值，根据各任务节点对分区数据中心的数据进行集中调度；选取一个任务节点，确定该个任务节点的任务处理疲劳因子，根据所述任务处理疲劳因子确定该个任务节点在不同时间点的任务处理特征值，对于剩余的任务节点，重复上述步骤，继续得到剩余各个任务节点在不同时间点的任务处理特征值；当所述任务处理特征值低于预设的任务处理阈值区间时，将该任务处理特征值对应的任务节点潮汐性解散，并将该任务节点当前的任务及该任务对应的数据调度到其它任务节点进行处理
。2.
如权利要求1所述的方法，其特征在于，将所述历史任务数据转换为任务预测数据具体包括：将所述历史任务数据按照同一时间段进行数据划分，得到多个时间数据组；对每个时间数据组进行平均计算，得到任务预测数据
。3.
如权利要求1所述的方法，其特征在于，将所述任务预测数据中的任务分别与各中心样本进行节点判定值计算，得到该任务的多个节点判定值具体步骤如下：确定第个中心样本的数据；确定任务预测数据中第个任务的数据；确定第个中心样本的处理时间段；确定任务预测数据中第个任务的处理时间段；根据所述第个中心样本的数据
、
所述任务预测数据中第个任务的数据
、
所述第个中心样本的处理时间段和所述第个中心样本的处理时间段确定任务预测数据中的每个任务对应各个中心样本的节点判定值，其中所述节点判定值可采用下述公式确定：其中，表示任务预测数据中第个任务对应第个中心样本的节点判定值，和表示调节系数，
。4.
如权利要求1所述的方法，其特征在于，确定每个任务过渡节点的中心任务具体包括：
确定每个任务过渡节点中使用次数最多的数据和任务处理最多的时间段；根据所述使用次数最多的数据和所述任务处理最多的时间段确定每个任务过渡节点的中心任务判定值，进而确定每个任务过渡节点的中心任务
。5.

【专利技术属性】
技术研发人员：谭长华，车科谋，彭韧辉，赵振东，
申请(专利权)人：广东云下汇金科技有限公司，
类型：发明
国别省市：