离线系统延时调度时间间隔的生成方法和延时调度方法技术方案

本申请涉及一种生成离线系统数据延时调度时间间隔的方法、离线系统数据延时调度方法、电子装置及存储介质。该生成离线系统数据延时调度时间间隔的方法包括：获取预设时间内入库离线系统的数据的入库时间和数据的生成时间，并根据生成时间和入库时间的差值，确定延时处理数据的时间间隔；根据时间间隔确定延时处理数据的多个平均时间间隔；对多个平均时间间隔进行加权平均运算，生成延时处理数据的动态时间间隔，解决了离线系统无法动态调整数据延时调度的时间间隔的问题，实现了缩短离线系统对未调度处理的数据的延时调度时间间隔进行更新的次数，并提高离线系统调度处理数据的效率有益效果。

【技术实现步骤摘要】
离线系统延时调度时间间隔的生成方法和延时调度方法
本申请涉及计算机
，特别是涉及生成离线系统数据延时调度时间间隔的方法、离线系统数据延时调度方法、电子装置及存储介质。
技术介绍
离线系统相较于在线系统，需要承担业务系统庞大的计算任务和数据处理能力，具有数据计算框架和存储结构复杂、外部依赖较多、稳定性要求较高等特点，同时，对业务的作用时间相对较长，对业务的影响敏感性相对较低。随着业务接入需求不断扩增，对离线系统的性能要求也越来越高。由于离线系统会对大量数据进行数据离线处理，因此，会涉及到大量数据的入库问题。数据的入库，可以是批量入库，也可以是实时入库。离线系统与在线系统比较，虽然离线系统对数据入库的实时性的要求相对在线系统低，也就是允许数据入库后延时调度处理，但数据入库后长时间延时调度处理会造成后续数据调度处理需要不断更新延时调度处理的时间间隔，从而导致阻塞后续使用已部署的数据调度任务的运行，因此，当动态调整后续数据调度处理的时间间隔，则能保证离线系统的数据延时调度的顺利的实施，并完成数据处理。但现有相关技术中，离线系统无法动态调整本文档来自技高网...

【技术保护点】
1.一种生成离线系统数据延时调度时间间隔的方法，其特征在于，包括：/n获取预设时间内入库离线系统的数据的入库时间和所述数据的生成时间，并根据所述生成时间和所述入库时间的差值，确定延时处理所述数据的时间间隔；/n根据所述时间间隔确定延时处理所述数据的多个平均时间间隔，其中，所述平均时间间隔包括按小时、天、周其中一种为单位计算出的所述数据延迟处理的时间间隔的均值；/n对所述多个平均时间间隔进行加权平均运算，生成延时处理所述数据的动态时间间隔。/n

【技术特征摘要】
1.一种生成离线系统数据延时调度时间间隔的方法，其特征在于，包括：
获取预设时间内入库离线系统的数据的入库时间和所述数据的生成时间，并根据所述生成时间和所述入库时间的差值，确定延时处理所述数据的时间间隔；
根据所述时间间隔确定延时处理所述数据的多个平均时间间隔，其中，所述平均时间间隔包括按小时、天、周其中一种为单位计算出的所述数据延迟处理的时间间隔的均值；
对所述多个平均时间间隔进行加权平均运算，生成延时处理所述数据的动态时间间隔。


2.根据权利要求1所述的生成离线系统数据延时调度时间间隔的方法，其特征在于，所述多个平均时间间隔包括按小时为单元计算出的第一平均时间间隔、按天为单元计算出的第二平均时间间隔和按周为单元计算的第三平均时间间隔，对所述多个平均时间间隔进行加权平均运算，生成延时处理所述数据的动态时间间隔包括：按以下公式计算所述动态时间间隔：



其中，ΔTD为动态时间间隔，表示第一平均时间间隔，表示第二平均时间间隔，表示第三平均时间间隔，λ1、λ2、λ3分别表示第一平均时间间隔、第二平均时间间隔和第三平均时间间隔的加权系数，λ1+λ2+λ3＝1，α表示预设冗余系数。


3.根据权利要求2所述的生成离线系统数据延时调度时间间隔的方法，其特征在于，所述预设冗余系数α的取值范围为α≥1.5。


4.根据权利要求1所述的生成离线系统数据延时调度时间间隔的方法，其特征在于，根据所述时间间隔确定延时处理所述数据的多个平均时间间隔包括：
获取入库所述离线系统的多个所述数据的所述时间间隔；
在所述多个所述数据的所述时间间隔中检测预设时长对应的所述时间间隔，并确定所述时间间隔的数目；
根据所述时间间隔的数目和所述预设时长，确定所述平均时间间隔，其中，所述预设时长为按小时、天、周其中一种为一个计算单位设置。


5.一种离线系统...

【专利技术属性】
技术研发人员：莫凡，范渊，李德恩，刘博，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：浙江;33