The present invention discloses a method of data allocation scheduling, which includes: determining a set of data jet node (spout) and data processing node (bolt) of a priority assignment task, and determining the data transmission between each spout and each bolt in the set of the determined spout and bolt in the set of the spout and bolt. The transmission cost and transmission task properties, and the various network processors (NP) corresponding to each spout and each bolt in the set of the spout and bolt; data transmission in the collection of spout and bolt according to the data transmission cost and the transmission task nature between each spout and each bolt in the set of the spout and bolt. The first spout and the first bolt with the largest cost and the different nature of the transmission task; assign the first spout and the first bolt to the first NP in the respective NP. The invention also discloses a data distribution and scheduling system at the same time.
【技术实现步骤摘要】
一种数据分配调度的方法及系统
本专利技术涉及数据分配调度技术，具体涉及一种数据分配调度的方法及系统。
技术介绍
Storm系统是一个开源、免费的分布式实时计算系统，以其简单、可靠、高效地处理数据的特性而被广泛应用；Storm系统可以方便地在一个计算机集群中编写和扩展复杂的实时计算，同时保证每个消息都会得到实时可靠的处理。图1是现有技术中Storm系统的结构示意图；如图1所示，Storm系统主要是由一个主节点(Masternode)和工作节点(Workernode)组成，通过Zookeeper进行协调；其中，主节点运行一个后台程序Nimbus，用于在Storm系统中的资源分配和任务调度，并且监控系统状态；工作节点也运行一个后台程序Supervisor，用于接收分配的任务，根据需要管理(启动或关闭)Worker进程；主节点和多个工作节点由服务器的集群即Storm集群实现；Zookeeper，用于存放公有数据(如心跳信息、Storm系统的状态和配置信息)；Nimbus、Supervisor和Worker都把心跳信息保存在Zookeeper；以使Nimbus根据Zooke...
【技术保护点】
1.一种数据分配调度的方法，其特征在于，所述方法包括：确定优先分配任务的数据喷发节点spout和数据处理节点bolt的集合，并根据所确定的spout和bolt的集合，在所述spout和bolt的集合中分别确定每个spout和每个bolt之间的数据传输代价和传输任务性质，以及与所述spout和bolt的集合中的每个spout和每个bolt对应的各网络处理器NP；根据所述spout和bolt的集合中的每个spout和每个bolt之间的数据传输代价和传输任务性质，在所述spout和bolt的集合中确定数据传输代价最大且传输任务性质不同的第一spout和第一bolt；将所述第一sp...
【技术特征摘要】
1.一种数据分配调度的方法，其特征在于，所述方法包括：确定优先分配任务的数据喷发节点spout和数据处理节点bolt的集合，并根据所确定的spout和bolt的集合，在所述spout和bolt的集合中分别确定每个spout和每个bolt之间的数据传输代价和传输任务性质，以及与所述spout和bolt的集合中的每个spout和每个bolt对应的各网络处理器NP；根据所述spout和bolt的集合中的每个spout和每个bolt之间的数据传输代价和传输任务性质，在所述spout和bolt的集合中确定数据传输代价最大且传输任务性质不同的第一spout和第一bolt；将所述第一spout和第一bolt分配到所述各NP中的第一NP。2.根据权利要求1所述的方法，其特征在于，所述将所述第一spout和第一bolt分配到所述各NP中的第一NP，包括：获取所述各NP的负载值，并基于所述各NP的负载值对所述各NP进行排序，得到排序结果；根据所述排序结果，确定负载值最小的第一NP，并将所述第一spout和第一bolt分配到所述第一NP。3.根据权利要求2所述的方法，其特征在于，在所述将所述第一spout和第一bolt分配到所述第一NP之后，所述方法还包括：根据所述排序结果，确定除所述第一NP之外的负载值最小的第二NP；根据所述spout和bolt的集合中的每个spout和每个bolt之间的数据传输代价和传输任务性质，在所述spout和bolt的集合中确定除所述第一spout和所述第一bolt之外的数据传输代价最大且传输任务性质不同的第二spout和第二bolt；将所述第二spout和第二bolt分配到所述第二NP。4.根据权利要求2或3所述的方法，其特征在于，在所述将所述第一spout和第一bolt分配到所述第一NP或将所述第二spout和第二bolt分配到所述第二NP之后，所述方法还包括：确定所述spout和bolt的集合中存在未分配的spout和bolt时，根据所述排序结果，确定除所述第一NP和/或所述第二NP之外的负载值最小的第三NP；将所述未分配的spout和bolt分配到所述第三NP，直到所述spout和bolt的集合中的spout和bolt分配完毕。5.一种数据分配调度的系统，其特征在于，所述系统...
【专利技术属性】
技术研发人员：徐硕，马众，
申请(专利权)人：中移苏州软件技术有限公司，中国移动通信集团公司，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。