一种实时数据流处理的任务分配方法及系统技术方案

技术编号:12565397 阅读:102 留言:0更新日期:2015-12-23 09:30
本发明专利技术公开了一种实时数据流处理的任务分配方法及系统,所述方法,包括:接收至少一个任务;根据资源平衡原则,将每个任务分配给集群中指定的若干工作机器。本发明专利技术通过将每个任务分配给指定的各工作机器,克服现有技术中实时数据处理中硬件资源分布不均的问题。

【技术实现步骤摘要】

本专利技术设及计算机领域,特别是设及一种实时数据流处理的任务分配方法及系 统。
技术介绍
在任务硬件资源分配中,若采用storm(分布式高容错的实时计算系统)进行实时 数据的处理,其默认是按照硬件资源序号方式排序分配硬件资源。例如,现有3台机器(C1、 C2和C3)的Storm集群,每台机器有3个端口硬件资源(P1、P2和P3)。有2个拓扑灯1和 T2)需要分配硬件资源,拓扑T1需要分配在两台机器的2个端口,拓扑T2需要分配在3台 机器的4个端口,此时,为拓扑T1分配硬件资源的结果如图1所示,为拓扑T2分配硬件资 源的结果如图2所示。 从图中可W清楚的看到,C1的硬件资源全部占用,而C3的硬件资源剩余较多。也 就是说,由于Storm统一按编号分配硬件资源,从而导致了一个集群中,硬件资源的分配不 均,有的机器硬件资源占满,而有的机器硬件资源还剩余很多。 因此,需要一种新的技术,用W解决在多任务的情况下,整个集群中的机器发生硬 件资源倾斜和大量的硬件资源分布不均,W及整个集群硬件资源紧张和硬件资源利用率低 等情况。
技术实现思路
阳〇化]鉴于现有技术的缺陷,本专利技术目的本文档来自技高网...

【技术保护点】
一种实时数据流处理的任务分配方法,其特征在于,包括:接收至少一个任务;根据资源平衡原则,将每个任务分配给集群中指定的若干工作机器。

【技术特征摘要】

【专利技术属性】
技术研发人员:陶长连
申请(专利权)人:青岛海尔智能家电科技有限公司
类型:发明
国别省市:山东;37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1