任务处理方法、装置及设备制造方法及图纸

本发明专利技术实施例涉及计算机技术领域，是关于一种任务处理方法、装置及设备。其中，所述方法包括：确定第一待处理任务的下次处理时间；所述第一待处理任务为：需要添加至待处理任务队列的任务；将所述第一待处理任务的下次处理时间与所述待处理任务队列中当前已有的待处理任务的下次处理时间分别进行比较；根据所述比较的结果，将所述第一待处理任务插入所述待处理任务队列中的目标位置。本发明专利技术的实施例，通过将第一待处理任务的下次处理时间与待处理任务队列中当前已有的待处理任务的下次处理时间进行比较，根据比较的结果，将第一待处理任务插入待处理任务队列中的目标位置，可以实现后续以不同的周期来处理不同的任务，提高任务的处理质量。

【技术实现步骤摘要】
任务处理方法、装置及设备
本专利技术实施例涉及计算机
，尤其涉及一种任务处理方法、装置及设备。
技术介绍
众所周知，在计算机
常需周期性地处理一些作业任务。现有的任务处理方法通常是将要处理的任务放入一待处理任务队列的尾，而从队列的头取出下一个待处理的任务。显然，这种方法只适用于相同处理周期的任务，而影响处理周期不同的任务的处理质量。举例来说，假设网络爬虫系统需要周期性地获取大量的网页信息，如URL(统一资源定位符UniformResourceLocator)，这里可将获取一网页信息的操作视为处理一任务。由于不同类型的网页具有不同的更新周期，因而需要以不同的获取周期来获取不同类型网页的网页信息(即以不同的处理周期来处理任务)。以几种典型的网页类型为例，首页的更新周期通常为小时级别，列表页的更新周期通常为天级别，而内容页的更新周期通常为周级别。采用现有的任务处理方法只能以一固定周期抓取不同类型网页的网页信息，而容易导致对更新周期较短的网页抓取不及时，或对更新周期较长的网页重复抓取。
技术实现思路
本专利技术实施例提供一种任务处理方法、装置及设备，以解决相关技术中的不足。根据本专利技术实施例的第一方面，提供一种任务处理方法，包括：确定第一待处理任务的下次处理时间；所述第一待处理任务为：需要添加至待处理任务队列的任务；所述待处理任务队列中包含周期性任务，且周期性任务的处理周期不同；将所述第一待处理任务的下次处理时间与所述待处理任务队列中当前已有的待处理任务的下次处理时间分别进行比较；根据所述比较的结果，将所述第一待处理任务插入所述待处理任务队列中的目标位置；其中，所述目标位置的前一位置的待处理任务的下次处理时间早于所述第一待处理任务的下次处理时间，且所述目标位置的后一位置的待处理任务的下次处理时间晚于所述第一待处理任务的下次处理时间。可选地，所述第一待处理任务为：所述待处理任务队列中存在过的、且需要周期性执行的待处理任务；相应地，所述确定第一待处理任务的下次处理时间，包括：确定第一待处理任务的处理周期及所述第一待处理任务的上次处理时间；根据所述处理周期及所述上次处理时间确定所述第一待处理任务的下次处理时间。可选地，所述第一待处理任务为：所述待处理任务队列中未存在过的、且需要周期性执行的待处理任务；相应地，所述确定第一待处理任务的下次处理时间，包括：为所述第一待处理任务初始化设置下次处理时间。可选地，所述待处理任务队列基于双向链表进行实现；其中，所述双向链表中包括多个元素，每个元素对应一个待处理任务，且每个元素包含一待处理任务的标识及其下次抓取时间。可选地，所述待处理任务队列基于数组进行实现；其中，所述数组中包括多个元素，每个元素对应一个待处理任务，且每个元素包含一待处理任务的标识及其下次抓取时间。可选地，所述方法还包括：若所述待处理任务队列中的第二待处理任务已被执行，则从所述待处理任务队列中删除所述第二待处理任务。根据本专利技术实施例的第二方面，提供一种网页信息获取方法，包括：确定第一待获取网页信息的下次获取时间；所述第一待获取网页信息为：需要添加至待获取网页信息队列的网页信息；所述待获取网页信息队列中的网页信息具有不同的信息获取周期；将所述第一待获取网页信息的下次获取时间与所述待获取网页信息队列中当前已有的待获取网页信息的下次获取时间分别进行比较；根据所述比较的结果，将所述第一待获取网页信息插入所述待获取网页信息队列中的目标位置；其中，所述目标位置的前一位置的待获取网页信息的下次获取时间早于所述第一待获取网页信息的下次获取时间，且所述目标位置的后一位置的待获取网页信息的下次获取时间晚于所述第一待获取网页信息的下次获取时间。根据本专利技术实施例的第三方面，提供一种任务处理装置，包括：第一时间确定模块，用于确定第一待处理任务的下次处理时间；所述第一待处理任务为：需要添加至待处理任务队列的任务；所述待处理任务队列中包含周期性任务，且周期性任务的处理周期不同；第一时间比较模块，用于将所述第一待处理任务的下次处理时间与所述待处理任务队列中当前已有的待处理任务的下次处理时间分别进行比较；第一任务插入模块，用于根据所述比较的结果，将所述第一待处理任务插入所述待处理任务队列中的目标位置；其中，所述目标位置的前一位置的待处理任务的下次处理时间早于所述第一待处理任务的下次处理时间，且所述目标位置的后一位置的待处理任务的下次处理时间晚于所述第一待处理任务的下次处理时间。可选地，所述第一待处理任务为：所述待处理任务队列中存在过的、且需要周期性执行的待处理任务；相应地，所述第一时间确定模块，包括：周期时间确定单元，用于确定第一待处理任务的处理周期及所述第一待处理任务的上次处理时间；下次时间确定单元，用于根据所述处理周期及所述上次处理时间确定所述第一待处理任务的下次处理时间。可选地，所述第一待处理任务为：所述待处理任务队列中未存在过的、且需要周期性执行的待处理任务；相应地，所述第一时间确定模块，包括：下次时间预设单元，用于为所述第一待处理任务初始化设置下次处理时间。可选地，所述待处理任务队列基于双向链表进行实现；其中，所述双向链表中包括多个元素，每个元素对应一个待处理任务，且每个元素包含一待处理任务的标识及其下次抓取时间。可选地，所述待处理任务队列基于数组进行实现；其中，所述数组中包括多个元素，每个元素对应一个待处理任务，且每个元素包含一待处理任务的标识及其下次抓取时间。可选地，所述装置还包括：任务删除模块，用于当所述待处理任务队列中的第二待处理任务已被执行时，从所述待处理任务队列中删除所述第二待处理任务。根据本专利技术实施例的第四方面，提供一种网页信息获取装置，包括：第二时间确定模块，用于确定第一待获取网页信息的下次获取时间；所述第一待获取网页信息为：需要添加至待获取网页信息队列的网页信息；所述待获取网页信息队列中的网页信息具有不同的信息获取周期；第二时间比较模块，用于将所述第一待获取网页信息的下次获取时间与所述待获取网页信息队列中当前已有的待获取网页信息的下次获取时间分别进行比较；网页信息插入模块，用于根据所述比较的结果，将所述第一待获取网页信息插入所述待获取网页信息队列中的目标位置；其中，所述目标位置的前一位置的待获取网页信息的下次获取时间早于所述第一待获取网页信息的下次获取时间，且所述目标位置的后一位置的待获取网页信息的下次获取时间晚于所述第一待获取网页信息的下次获取时间。根据本专利技术实施例的第五方面，提供一种电子设备，包括：处理器；用于存储处理器可处理指令的存储器；其中，所述处理器被配置为：确定第一待处理任务的下次处理时间；所述第一待处理任务为：需要添加至待处理任务队列的任务；所述待处理任务队列中包含周期性任务，且周期性任务的处理周期不同；将所述第一待处理任务的下次处理时间与所述待处理任务队列中当前已有的待处理任务的下次处理时间分别进行比较；根据所述比较的结果，将所述第一待处理任务插入所述待处理任务队列中的目标位置；其中，所述目标位置的前一位置的待处理任务的下次处理时间早于所述第一待处理任务的下次处理时间，且所述目标位置的后一位置的待处理任务的下次处理时间晚于所述第一待处理任务的下次处理时间。根据本专利技术实施例的第五方面，提供一种本文档来自技高网...

【技术保护点】
1.一种任务处理方法，其特征在于，包括：确定第一待处理任务的下次处理时间；所述第一待处理任务为：需要添加至待处理任务队列的任务；所述待处理任务队列中包含周期性任务，且周期性任务的处理周期不同；将所述第一待处理任务的下次处理时间与所述待处理任务队列中当前已有的待处理任务的下次处理时间分别进行比较；根据所述比较的结果，将所述第一待处理任务插入所述待处理任务队列中的目标位置；其中，所述目标位置的前一位置的待处理任务的下次处理时间早于所述第一待处理任务的下次处理时间，且所述目标位置的后一位置的待处理任务的下次处理时间晚于所述第一待处理任务的下次处理时间。

【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：确定第一待处理任务的下次处理时间；所述第一待处理任务为：需要添加至待处理任务队列的任务；所述待处理任务队列中包含周期性任务，且周期性任务的处理周期不同；将所述第一待处理任务的下次处理时间与所述待处理任务队列中当前已有的待处理任务的下次处理时间分别进行比较；根据所述比较的结果，将所述第一待处理任务插入所述待处理任务队列中的目标位置；其中，所述目标位置的前一位置的待处理任务的下次处理时间早于所述第一待处理任务的下次处理时间，且所述目标位置的后一位置的待处理任务的下次处理时间晚于所述第一待处理任务的下次处理时间。2.根据权利要求1所述的方法，其特征在于，所述第一待处理任务为：所述待处理任务队列中存在过的、且需要周期性执行的待处理任务；相应地，所述确定第一待处理任务的下次处理时间，包括：确定第一待处理任务的处理周期及所述第一待处理任务的上次处理时间；根据所述处理周期及所述上次处理时间确定所述第一待处理任务的下次处理时间。3.根据权利要求1所述的方法，其特征在于，所述第一待处理任务为：所述待处理任务队列中未存在过的、且需要周期性执行的待处理任务；相应地，所述确定第一待处理任务的下次处理时间，包括：为所述第一待处理任务初始化设置下次处理时间。4.根据权利要求1所述的方法，其特征在于，所述待处理任务队列基于双向链表进行实现；其中，所述双向链表中包括多个元素，每个元素对应一个待处理任务，且每个元素包含一待处理任务的标识及其下次抓取时间。5.根据权利要求1所述的方法，其特征在于，所述待处理任务队列基于数组进行实现；其中，所述数组中包括多个元素，每个元素对应一个待处理任务，且每个元素包含一待处理任务的标识及其下次抓取时间。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：若所述待处理任务队列中的第二待处理任务已被执行，则从所述待处理任务队列中删除所述第二待处理任务。7.一种网页信息获取方法，其特征在于，包括：确定第一待获取网页信息的下次获取时间；所述第一待获取网页信息为：需要添加至待获取网页信息队列的网页信息；所述待获取网页信息队列中的网页信息具有不同的信息获取周期；将所述第一待获取网页信息的下次获取时间与所述待获取网页信息队列中当前已有的待获取网页信息的下次获取时间分别进行比较；根据所述比较的结果，将所述第一待获取网页信息插入所述待获取网页信息队列中的目标位置；其中，所述目标位置的前一位置的待获取网页信息的下次获取时间早于所述第一待获取网页信息的下次获取时间，且所述目标位置的后一位置的待获取网页信息的下次获取时间晚于所述第一待获取网页信息的下次获取时间。8.一种任务处理装置，其特征在于，包括：第一时间确定模块，用于确定第一待处理任务的下次处理时间；所述第一待处理任务为：需要添加至待处理任务队列的任务；所述待处理任务队列中包含周期性任务，且周期性任务的处理周期不同；第一时间比较模块，用于将所述第一待处理任务的下次处理时间与所述待处理任务队列中当前已有的待处理任务的下次处理时间分别进行比较；第一任务插入模块，用于根据所述比较的结果，将所述第一待处理任务插入所述待处理任务队列中的目标位置；其中，所述目标位置的前一位置的待处理任务的下次处理时间早于所述第一待处理任务的下次处理时间，且所述目标位置的后一位置的待处理任务的下次处理时间晚于所述第一待处理任务的下次处理时间。9.根据权利要求8所述的装置，其特征在于，所述第一待处理任务为：所述待处理任务队列中存在过的、且...

【专利技术属性】
技术研发人员：张旭东，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京,11