文件采集方法和装置制造方法及图纸

技术编号:26890639 阅读:34 留言:0更新日期:2020-12-29 16:07
本申请实施例提供了文件采集方法和装置,该方法包括首先获取来自服务器的文件采集请求;然后根据采集队列的优先级调配所述文件采集请求,以使所述采集队列根据所述文件采集请求执行采集文件的处理在获取来自服务器的文件采集请求之后,可以根据采集队列的优先级调配所述文件采集请求,以使所述采集队列根据所述文件采集请求执行采集文件的处理。这样,便可以根据采集队列的状态,分配文件采集请求,并在文件采集请求为多个时,实现均匀分配处理,达到负载均衡。

【技术实现步骤摘要】
文件采集方法和装置
本申请涉及信息采集
,尤其涉及一种文件采集方法和装置。
技术介绍
现代社会各单位和企业越来越注重信息化的建设,信息系统成为企业、事业单位日常运作中不可或缺的重要组成部分。为了保证信息采集的安全性、完整性和时效性,往往需要将采集任务部署在两组主机中,并采用竞争模式保障文件采集的连续性,但是这种方式会由于文件量的大小导致主机资源的浪费或主机性能不稳定,进而带来十分严重的业务风险。
技术实现思路
本申请实施例提供了一种文件采集方法和装置,可以根据采集队列的状态,分配文件采集请求,并在文件采集请求为多个时,实现均匀分配处理,达到负载均衡。第一方面,本申请实施例提供了一种文件采集方法,执行在客户端上,包括:获取来自服务器的文件采集请求,所述文件采集请求为一个或多个,当所述文件采集请求为多个时,多个所述文件采集请求包括相同的预设采集参数;根据采集队列的优先级调配所述文件采集请求,以使所述采集队列根据所述文件采集请求执行采集文件的处理;其中,所述采集队列具有以下由高到低的优先级顺序:...

【技术保护点】
1.一种文件采集方法,执行在客户端上,其特征在于,所述的方法包括:/n获取来自服务器的文件采集请求,所述文件采集请求为一个或多个,当所述文件采集请求为多个时,多个所述文件采集请求包括相同的预设采集参数;/n根据采集队列的优先级调配所述文件采集请求,以使所述采集队列根据所述文件采集请求执行采集文件的处理;/n其中,所述采集队列具有以下由高到低的优先级顺序:/n闲忙状态、空闲时长、最大采集文件数、线程数。/n

【技术特征摘要】
1.一种文件采集方法,执行在客户端上,其特征在于,所述的方法包括:
获取来自服务器的文件采集请求,所述文件采集请求为一个或多个,当所述文件采集请求为多个时,多个所述文件采集请求包括相同的预设采集参数;
根据采集队列的优先级调配所述文件采集请求,以使所述采集队列根据所述文件采集请求执行采集文件的处理;
其中,所述采集队列具有以下由高到低的优先级顺序:
闲忙状态、空闲时长、最大采集文件数、线程数。


2.根据权利要求1所述的方法,其特征在于,所述获取文件采集请求之前,还包括:
创建多个采集队列,并通过所述多个采集队列向服务器发送连接请求,以使所述服务器根据所述连接请求建立与所述多个采集队列之间的通信。


3.根据权利要求1所述的方法,其特征在于,所述根据采集队列的优先级调配所述文件采集请求,以使所述采集队列根据所述文件采集请求执行采集文件的处理之后,还包括:
监听所述采集队列是否完成文件采集任务;以及,
在监听结果为所述采集队列未完成所述文件采集任务时,则继续执行所述采集文件的处理。


4.根据权利要求3所述的方法,其特征在于,所述监听所述采集队列是否完成文件采集任务之后,还包括:
向所述服务器返回所述监听结果。


5.根据权利要求1~4中任一项所述的方法,其特征在于,所述采集队列包括基于socket连接的队列。


6.一种文件采集方法,执行在服务器上,其特征在于,所述的方法包括:
接收来自多个客户端的对应第一采集队列;
根据所述第一采集队列,判断对应所述客户端是否为新的客户端;
根据判断结果执行创建与所述第一采集队列相对...

【专利技术属性】
技术研发人员:刘官树王淳万兆阳
申请(专利权)人:中国移动通信集团江西有限公司中国移动通信集团有限公司
类型:发明
国别省市:江西;36

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1