海量数据大规模并行处理中基于数据流的负载均衡方法技术

技术编号:3546219 阅读:392 留言:0更新日期:2012-04-11 18:40
基于数据流的负载均衡方法,数据流的负载均衡是通过对输出通道的数据流文件量参数检测,文件量现分二种:文件的个数和文件的总大小,通过对各输出通道文件量的参数配置调节各通道的数据流文件。尤其是1)根据配置的输入通道,到输入通道搜索数据流文件;2)检查配置的各输出通道的数据流文件量,当某个通道的数据流文件量较小或者没有时,将输入通道的数据流文件送到该输出通道,直到该通道的文件量达到所配置的阈值;当某个通道的文件量较大时,等待该通道处理;3)不停地循环检查各输出通道的文件量,实时地将文件送到各个文件量较小的通道。

【技术实现步骤摘要】
海量数据大规模并行处理中基于数据流的负载均衡方法                             
本专利技术涉及用于海量数据实时处理的基于数据流的负载均衡方法或一种负载均衡器,尤其是涉及电信运营商大规模并行准确数据处理应用方法。                             
技术介绍
随着通信业务的不断迅速发展,话务量急剧增加,目前的电信计费结算系统通常每个月需要处理十几亿甚至几十亿条记录,在这种情况下,对数据处理的及时性要求越来越高。如何在利用最少的资源的前提下提高系统的处理效率,是每个业务支撑系统考虑的重点之一。由于不同交换机上采集的话单文件的大小不一样,每个通道在每条话单记录处理所需要的时间也不相同,因此系统要考虑每个通道的运行的均衡,保证系统的处理性能,以避免一个或几个通道忙,其他通道闲置的状态,使预处理和其他的功能模块进行合理的、等负荷的运行。CN03812802涉及数据网络中的负载平衡装置,该装置包括:用于对到来数据分组计算哈希函数的哈希逻辑;连接到所述哈希逻辑的阈值检测器,用于响应对下游对象超出预定阈值的使用,引发所述哈希逻辑中哈希函数的参数从第本文档来自技高网...

【技术保护点】
基于数据流的负载均衡方法,其特征是数据流的负载均衡是通过对输出通道的数据流文件量参数检测,文件量现分二种:文件的个数和文件的总大小,通过对各输出通道文件量的参数配置调节各通道的数据流文件。

【技术特征摘要】
1、基于数据流的负载均衡方法,其特征是数据流的负载均衡是通过对输出通道的数据流文件量参数检测,文件量现分二种:文件的个数和文件的总大小,通过对各输出通道文件量的参数配置调节各通道的数据流文件。2、由权利要求1所述的基于数据流的负载均衡方法,其特征是1)根据配置的输入通道,到输入通道搜索数据流文件;2)检查配置的各输出通道的数据流文件量,当某个通道的数据流文件量较小或...

【专利技术属性】
技术研发人员:邵九松黄诚王涛施大伟纪振华周仲华欧小祥周连华
申请(专利权)人:南京联创科技股份有限公司
类型:发明
国别省市:84[中国|南京]

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1
相关领域技术
  • 暂无相关专利