采集数据任务处理方法及装置制造方法及图纸

技术编号:43125055 阅读:22 留言:0更新日期:2024-10-26 10:04
本发明专利技术提供了一种采集数据任务处理方法及装置,包括:接收多个平台发送的第一数据采集申请,并获取每个第一数据采集申请对应的第一数据采集时间;其中,多个平台的第一数据采集申请是针对同一采集对象;获取第一数据采集时间的并集,得到目标数据采集时间;获取目标数据采集时间内的采集数据,并从采集数据中获取每个平台的第一数据采集时间对应的数据反馈至对应的平台。本发明专利技术减少了采集资源的浪费。

【技术实现步骤摘要】

本专利技术涉及数据处理,尤其是涉及一种采集数据任务处理方法及装置


技术介绍

1、目前,从网络平台抓取数据时,通常是按照每个用户的数据采集申请分别进行数据采集,当不同用户发送相同的采集对象和时间的数据采集申请时,会导致的采集资源的浪费。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供一种采集数据任务处理方法及装置,以减少了采集资源的浪费。

2、为了实现上述目的,本专利技术实施例采用的技术方案如下:

3、第一方面,本专利技术实施例提供了一种采集数据任务处理方法,包括:接收多个平台发送的第一数据采集申请,并获取每个第一数据采集申请对应的第一数据采集时间;其中,多个平台的第一数据采集申请是针对同一采集对象;获取第一数据采集时间的并集,得到目标数据采集时间;获取目标数据采集时间内的采集数据,并从采集数据中获取每个平台的第一数据采集时间对应的数据反馈至对应的平台。

4、在一种实施方式中,接收多个平台发送的数据采集申请之后,该方法还包括:基于多个平台的数据采集申请中的账户信息或关本文档来自技高网...

【技术保护点】

1.一种采集数据任务处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,接收多个平台发送的数据采集申请之后,还包括:

3.根据权利要求1所述的方法,其特征在于,获取所述第一数据采集时间的并集,得到目标数据采集时间,包括:

4.根据权利要求1所述的方法,其特征在于,获取所述目标数据采集时间内的采集数据之后,还包括:

5.根据权利要求4所述的方法,其特征在于,还包括:

6.一种采集数据任务处理装置,其特征在于,包括:

7.根据权利要求6所述的装置,其特征在于,所述装置还包括:判断模块,用于基于多个所述...

【技术特征摘要】

1.一种采集数据任务处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,接收多个平台发送的数据采集申请之后,还包括:

3.根据权利要求1所述的方法,其特征在于,获取所述第一数据采集时间的并集,得到目标数据采集时间,包括:

4.根据权利要求1所述的方法,其特征在于,获取所述目标数据采集时间内的采集数据之后,还包括:

5.根据权利要求4所述的方法,其特征在于,还包括:

6.一种采集数据任务处理装置,其特征在于,包括:

7.根据权利要求6所述的装置,其特征在于,所述装置还包括...

【专利技术属性】
技术研发人员:张赛男侯玉柱赵志庆汪开雨王巍靳学庚
申请(专利权)人:戎行技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1