一种数据获取方法、装置及系统制造方法及图纸

技术编号:34458827 阅读:19 留言:0更新日期:2022-08-06 17:12
本申请公开了一种数据获取方法、装置及系统,可应用于分布式领域或金融领域。该方法包括:应用系统从调度系统拉取任务数据;应用系统在未拉取到任务数据时,在休眠状态下运行;应用系统在处于休眠状态时,若接收到调度系统发送的唤醒通知,则从调度系统中拉取任务数据并运行任务数据;唤醒通知由调度系统在具有需要调度的任务数据时发送。如此,当应用系统未拉取到任务数据时运行于休眠状态,可以避免应用系统频繁访问调度系统造成调度系统性能下降的问题;而当调度系统中具有任务数据需要调度运行时,应用系统可以基于调度系统发送的唤醒通知继续从调度系统中拉取任务数据,从而进一步保证调度系统的性能。一步保证调度系统的性能。一步保证调度系统的性能。

【技术实现步骤摘要】
一种数据获取方法、装置及系统


[0001]本申请涉及计算机
,尤其涉及一种数据获取方法、装置及系统。

技术介绍

[0002]近年来,随着大数据、云计算等新兴技术的发展,批量处理逐渐成为数据处理过程中非常重要的技术手段,大多数据需要经过批量处理后才能再次使用。例如,银行信息后台中,核心资产数据的分享、传输、演化依靠的就是批量处理的方法。
[0003]在已有的批量处理方法中,可以基于调度系统和应用系统的交互,完成任务数据的批量处理。具体来说,应用系统可以访问调度系统,以从调度系统中拉取任务数据并运行。如此,应用系统就会在空闲时频繁访问调度系统。在这种情况下,随着应用系统逐渐增多,可能会有大量的应用系统频繁访问调度系统,这会增加调度系统的TPS(Transactions Per Second,每秒种的事务处理量)开销,从而影响调度系统的性能。

技术实现思路

[0004]本申请实施例提供了一种数据获取方法、装置及系统,以避免应用系统频繁访问调度系统而影响调度系统的性能。
[0005]第一方面,本申请实施例提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据获取方法,其特征在于,包括:应用系统从调度系统拉取任务数据;所述应用系统在未拉取到所述任务数据时,在休眠状态下运行;所述应用系统在处于休眠状态时,若接收到所述调度系统发送的唤醒通知,则从所述调度系统中拉取所述任务数据并运行所述任务数据;所述唤醒通知由所述调度系统在具有需要调度的任务数据时发送。2.根据权利要求1所述的数据获取方法,其特征在于,所述应用系统在未拉取到所述任务数据时,在休眠状态下运行,包括:所述应用系统在未拉取到所述任务数据时,以休眠状态运行第一时长;在达到所述第一时长时,所述应用系统继续从所述调度系统拉取任务数据,若所述应用系统仍未拉取到所述任务数据,则继续以休眠状态运行第二时长,循环执行直至在连续未拉取到所述任务数据的次数大于或等于设定阈值的情况下,所述应用系统停止拉取所述任务数据;其中,所述第二时长大于所述第一时长。3.根据权利要求1所述的数据获取方法,其特征在于,所述从所述调度系统中拉取所述任务数据并运行所述任务数据之后,所述数据获取方法还包括:所述应用系统按照预先设定的时间间隔从所述调度系统拉取新的任务数据;所述应用系统在未拉取到所述新的任务数据时,继续在休眠状态下运行。4.根据权利要求1所述的数据获取方法,其特征在于,所述从所述调度系统中拉取所述任务数据并运行所述任务数据之后,所述数据获取方法还包括:若所述任务数据存在对应的后续任务数据,则所述应用系统继续从所述调度系统中拉取所述后续任务数据并运行所述后续任务数据。5.根据权利要求1所述的数据获取方法,其特征在于,所述从所述调度系统中拉取所述任务数据并运行所述任务数据之后,...

【专利技术属性】
技术研发人员:帅红波谢炜琪柯星宇黄显超
申请(专利权)人:中国银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1