基于异构集群的数据分布方法技术

本发明专利技术提供一种基于异构集群的数据分布方法，应用于多个相互通信的设备节点，该方法包括：读取各设备节点的数据块读取信息并确定所需的任务数据；其中，数据块读取信息包括执行本地任务时本地计算的数据块、被其他设备节点读取的数据块和从其他设备节点读入的数据块；根据读取的数据块读取信息预测各设备节点的计算能力；根据预测的结果将确定的任务数据分布为各设备节点的本地任务。本发明专利技术通过利用底层任务数据的分布指导上层任务的调度，合理分布数据，使设备节点的计算能力与分布数据匹配，并且本发明专利技术还将确定的任务数据分布为各设备节点的本地任务，解决了由于远程任务以及数据移动引起的网络开销、恶化网络资源争抢的问题。

【技术实现步骤摘要】
基于异构集群的数据分布方法
本专利技术涉及分布式计算
，尤其是一种基于异构集群的数据分布方法。
技术介绍
近来的一些研究报告显示，下一代的数据中心由于节能、单位价格性能提供、不同性能价格等原因，将具有很大的异构性，在数据中心中，除了这些原因，还有一个很重要的原因引起异构性：一个数据中心通常会每隔一段时间会添加一些新的服务器以扩充其计算能力，通常来说相隔一两年添加的服务器就会有好几代的硬件差异。同时，数据中心通常是多任务共享的，同时运行的不同任务之间的互相影响也会导致各节点的性能差异性。在异构集群的现有技术中，为了能高速地处理异构集群中的数据、有效的利用所有节点的计算资源，自由的资源均衡器会在快速节点执行完本地的任何时如果慢速节点还有未执行的任务，则会将这些任务从慢速节点调度到快速节点，同时这些任务对应的数据也会从慢速节点移动到快速节点，但由于移动数据比移动计算的开销大，所以这些数据移动会占用很大的网络资源。在异构集群的现有技术中，通常都是先执行完本地的任务后，如果还有空闲才会执行远程任务，这样导致所有的远程任务都集中在数据处理的末尾阶段，而这一阶段恰好和另一个网络资源密集型的s本文档来自技高网...

【技术保护点】
一种基于异构集群的数据分布方法，应用于多个相互通信的设备节点，其特征在于，包括：读取各设备节点的数据块读取信息并确定所需的任务数据；其中，所述数据块读取信息包括执行本地任务时本地计算的数据块、被其他设备节点读取的数据块和从其他设备节点读入的数据块；根据读取的数据块读取信息预测各设备节点的计算能力信息；根据预测的结果将确定的任务数据分布为各设备节点的本地任务。

【技术特征摘要】
1.一种基于异构集群的数据分布方法，应用于多个相互通信的设备节点，其特征在于，包括：读取各设备节点的数据块读取信息并确定所需的任务数据；其中，所述数据块读取信息包括执行本地任务时本地计算的数据块、被其他设备节点读取的数据块和从其他设备节点读入的数据块；根据读取的数据块读取信息预测各设备节点的计算能力信息；根据预测的结果将确定的任务数据分布为各设备节点的本地任务；所述根据读取的数据块读取信息预测各设备节点的计算能力包括：根据读取的数据块读取信息和相应的设备节点构建Markov模型；根据得到的Markov模型预测过负荷节点数目α(t)和各设备节点的计算能力；所述过负荷节点数目α(t)通过以下公式预测：其中，β(t)表示从ON切换到OFF状态的设备节点数目，γ(t)表示从OFF切到ON状态的设备节点数目，Pr{β(t)＝x}、Pr{γ(t)＝x}分别表示从在t时刻ON切换到OFF和从OFF切换到ON状态节点数为x个时的概率值；α(t+1)＝α(t)－β(t)+γ(t)。2.根据权利要求1所述的基于异构集群的数据分布方法，其特征在于，所述各设备节点的计算能力通过以下公式预测：εi(t)＝map_to_rank(φi(t))其中，κ(t)表示设备节点本地执行任务时本地计算的数据块，λ(t)表示被其他设备节点读取的数据块，μ(t)表示从其他设备节点读入的数据块，a、b、c分别表示不同类型数据块的权重，i、t表示时刻，φi(t)、τ(t)均为中间变量；a为本地执行任务时本地计算的数据块的权重，b为被其他设备节点读取的数据块的权重，c为从其他设备节点读入的数据块的权重。3.根据权利要求1-2任一项所述的基于异构集群的数据分布方法，其特征在于，所述根据预测的结果将确定的任务数据分布为各设备节点...

【专利技术属性】
技术研发人员：杨广文，王博，姜进磊，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11