一种任务分发方法及系统技术方案

技术编号:8883048 阅读:265 留言:0更新日期:2013-07-04 01:58
本发明专利技术涉及一种任务分发方法,包括以下步骤:生成任务消息文件,并存储在任务消息目录;对于每一个任务处理装置,如果处于闲置状态,则定时扫描任务消息目录,查询是否存在待处理的且没有被锁定的任务消息文件;如果存在,则获取所述任务消息文件并锁定;任务处理装置处理所述任务消息文件。本发明专利技术还涉及一种任务分发系统,包括任务消息文件生成装置及与任务消息文件生成装置连接的若干任务处理装置;任务消息文件生成装置用于生成任务消息文件,并存储在任务消息目录;任务处理装置用于在闲置状态时获取待处理的且没有被锁定的任务消息文件并处理该获取的任务消息文件。本发明专利技术所述方法及系统能够实现任务处理装置的负载均衡。

【技术实现步骤摘要】

本专利技术涉及一种任务分发方法及系统,主要适用于网站发布任务的分发领域。
技术介绍
随着互联网技术的发展,新闻门户网站的内容数量成指数增长,并且为了延伸网民的阅读,网站设计者还会在其他页面、区域中放置相关内容的索引链接,吸引网民阅读。随着采集渠道的丰富、内容范围越来越广,内容发布所要更新的页面数量急剧膨胀,随之带来的问题是如何保证大量页面更新状况下,页面生成通道将面临巨大压力,从而导致生成任务不能快速响应。目前解决这类问题的方法主要有两种,监控生成通道状态分配任务和平均分配任务,监控生成通道状态分配任务的方法一般有两种方式,即通过硬件监控服务器状态和通过程序监控服务器状态并分发任务。这两种方法都有自己明显的缺点。通过专业硬件设备监控服务器状态的方法,优点是任务分配精准,可以精确的控制生成任务分发到某一个生成通道,保证各个生成通道负载的相对均衡。缺点也非常明显,如果采用硬件设备监控服务器状态,成本高昂(例如,F5负载均衡设备价格约20万元人民币)。而采用程序监控服务器状态,监控/任务分发程序必须频繁获取服务器负载状态,由于页面生成任务的任务量巨大,一般中型以上门户网站生成页面数量约为本文档来自技高网...

【技术保护点】
一种任务分发方法,其特征在于,包括以下步骤:生成任务消息文件,并存储在任务消息目录;对于每一个任务处理装置,如果处于闲置状态,则定时扫描任务消息目录,查询是否存在待处理的且没有被锁定的任务消息文件;如果存在,则获取所述任务消息文件并锁定;任务处理装置处理所述任务消息文件。

【技术特征摘要】

【专利技术属性】
技术研发人员:杨炀辛洪伟
申请(专利权)人:北大方正集团有限公司北京北大方正电子有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1