【技术实现步骤摘要】
一种定时任务数据处理方法、装置及系统
本说明书属于互联网通信
，尤其涉及一种定时任务数据处理方法、装置及系统。
技术介绍
在一些网络架构中，通常数据的传输处理可能需要多个系统相互协作完成，数据在各个系统传输过程中有服务的发起方可以称为上游系统，服务方提供的系统可以称为下游系统。在数据处理过程中，有一种服务可以称为定时任务，即定时器触发的接口调用请求。服务提供方在接收到上游系统请求时，对于失效性要求不高的请求，可以先落任务，返回受理成功，后通过定时器触发执行，将最终的处理结果返回。定时器触发任务执行时，为了提供吞吐量，一般会并发多线程的执行任务，如果任务需要依赖下游系统，那么并发数设置成多少，将直接影响着系统吞吐量。现有技术中，定时任务在执行时，并发量通常是固定的，无法保证系统的吞吐量，影响网络系统的数据传输处理效率。
技术实现思路
本说明书目的在于提供一种定时任务数据处理方法及装置，提高了定时任务处理时系统的吞吐量，确保了定时任务处理系统数据处理的稳定性，提高了定时任务数据处理到的效率。一方面本说明书实施例提供了一种定时任务数据处理方法，包括：接收定时任务处理请...
【技术保护点】
1.一种定时任务数据处理方法，包括：接收定时任务处理请求，获取待处理任务信息；根据所述定时任务处理请求对应的吞吐量影响因子，按照预设规则计算出所述待处理任务信息对应的调整并发量，其中，所述吞吐量影响因子包括：下游系统的响应时间、系统参考因子，所述预设规则根据吞吐量影响因子、并发量、吞吐量之间的对应关系建立；根据所述待处理任务信息和所述调整并发量，向所述下游系统发送业务请求信息。
【技术特征摘要】
1.一种定时任务数据处理方法，包括：接收定时任务处理请求，获取待处理任务信息；根据所述定时任务处理请求对应的吞吐量影响因子，按照预设规则计算出所述待处理任务信息对应的调整并发量，其中，所述吞吐量影响因子包括：下游系统的响应时间、系统参考因子，所述预设规则根据吞吐量影响因子、并发量、吞吐量之间的对应关系建立；根据所述待处理任务信息和所述调整并发量，向所述下游系统发送业务请求信息。2.如权利要求1所述的方法，所述系统参考因子包括数据处理系统的中央处理器、总内存、剩余内存、负载中的至少一个。3.如权利要求1所述的方法，所述下游系统的响应时间的获取方法包括：根据持久化的下游系统的实际响应时间，计算出所述定时任务处理请求对应的下游系统的响应时间；所述持久化的下游系统的实际响应时间获取方法包括：在执行所述定时任务处理请求时，接收所述下游系统发送的任务处理结果，并记录任务返回时间；根据所述任务返回时间和发送所述业务请求信息的时间之间的差值，计算所述下游系统的实际响应时间，并将所述下游系统的实际响应时间进行持久化。4.如权利要求3所述的方法，所述下游系统的响应时间的获取方法包括：判断当前的定时任务与上一次定时任务之间的时间差，若所述时间差小于预设时间阈值，则将持久化的上一次定时任务对应的下游系统的实际响应时间，作为所述定时任务处理请求对应的下游系统的响应时间；或者，将持久化的下游系统的实际响应时间的平均值，作为所述定时任务处理请求对应的下游系统的响应时间；或者，根据持久化的下游系统的实际响应时间的变化规律，预测出所述定时任务处理请求对应的下游系统的响应时间。5.如权利要求1所述的方法，所述预设规则采用下述方法建立：获取历史吞吐量影响因子、所述历史吞吐量影响因子对应的并发量、所述历史吞吐量影响因子对应的吞吐量；根据所述历史吞吐量影响因子、所述历史吞吐量影响因子对应的并发量、所述历史吞吐量影响因子对应的吞吐量，采用梯度固定算法确定出并发量与吞吐量影响因子之间的对应的关系，所述梯度固定算法包括：输入值在预设区间内时，输出所述预设区间对应的输出值。6.如权利要求1所述的方法，所述预设规则包括：吞吐量影响因子区间与所述调整并发量的对应关系，所述吞吐量影响因子区间与所述调整并发量一一对应。7.一种定时任务数据处理装置，包括：定时任务接收模块，用于接收定时任务处理请求，获取待处理任务信息；并发量计算模块，用于根据所述定时任务处理请求对应的吞吐量影响因子，按照预设规则计算出所述待处理任务信息对应的调整并发量，其中，所述吞吐量影响因子包括：下游系统的响应时间、系统参考因子，所述预设规则根据吞吐量影响因子、并发量、吞吐量之间的对应关系建立；任务处理模块，用于根据所述待处理任务信息和所述调整并发量，向所述下游系统发送业务请求信息。8.如权利要求7所述的...
【专利技术属性】
技术研发人员：贺财平，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。