离线系统延时调度时间间隔的生成方法和延时调度方法技术方案

本申请涉及一种生成离线系统数据延时调度时间间隔的方法、离线系统数据延时调度方法、电子装置及存储介质。该生成离线系统数据延时调度时间间隔的方法包括：获取预设时间内入库离线系统的数据的入库时间和数据的生成时间，并根据生成时间和入库时间的差值，确定延时处理数据的时间间隔；根据时间间隔确定延时处理数据的多个平均时间间隔；对多个平均时间间隔进行加权平均运算，生成延时处理数据的动态时间间隔，解决了离线系统无法动态调整数据延时调度的时间间隔的问题，实现了缩短离线系统对未调度处理的数据的延时调度时间间隔进行更新的次数，并提高离线系统调度处理数据的效率有益效果。

【技术实现步骤摘要】
离线系统延时调度时间间隔的生成方法和延时调度方法
本申请涉及计算机
，特别是涉及生成离线系统数据延时调度时间间隔的方法、离线系统数据延时调度方法、电子装置及存储介质。
技术介绍
离线系统相较于在线系统，需要承担业务系统庞大的计算任务和数据处理能力，具有数据计算框架和存储结构复杂、外部依赖较多、稳定性要求较高等特点，同时，对业务的作用时间相对较长，对业务的影响敏感性相对较低。随着业务接入需求不断扩增，对离线系统的性能要求也越来越高。由于离线系统会对大量数据进行数据离线处理，因此，会涉及到大量数据的入库问题。数据的入库，可以是批量入库，也可以是实时入库。离线系统与在线系统比较，虽然离线系统对数据入库的实时性的要求相对在线系统低，也就是允许数据入库后延时调度处理，但数据入库后长时间延时调度处理会造成后续数据调度处理需要不断更新延时调度处理的时间间隔，从而导致阻塞后续使用已部署的数据调度任务的运行，因此，当动态调整后续数据调度处理的时间间隔，则能保证离线系统的数据延时调度的顺利的实施，并完成数据处理。但现有相关技术中，离线系统无法动态调整数据延时调度的时间间隔，从而导致离线系统的数据调度处理不精确，任务延迟过大，调度数据的效率低。目前针对相关技术中离线系统无法动态调整数据延时调度的时间间隔的问题，尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种生成离线系统数据延时调度时间间隔的方法、离线系统数据延时调度方法、电子装置及存储介质，以至少解决相关技术中离线系统无法动态调整数据延时调度的时间间隔的问题。第一方面，本申请实施例提供了生成离线系统数据延时调度时间间隔的方法，包括：获取预设时间内入库离线系统的数据的入库时间和所述数据的生成时间，并根据所述生成时间和所述入库时间的差值，确定延时处理所述数据的时间间隔；根据所述时间间隔确定延时处理所述数据的多个平均时间间隔，其中，所述平均时间间隔包括按小时、天、周其中一种为单位计算出的所述数据延迟处理的时间间隔的均值；对所述多个平均时间间隔进行加权平均运算，生成延时处理所述数据的动态时间间隔。在其中一些实施例中，所述多个平均时间间隔包括按小时为单元计算出的第一平均时间间隔、按天为单元计算出的第二平均时间间隔和按周为单元计算的第三平均时间间隔，对所述多个平均时间间隔进行加权平均运算，生成延时处理所述数据的动态时间间隔包括：按以下公式计算所述动态时间间隔：其中，ΔTD为动态时间间隔，表示第一平均时间间隔，表示第二平均时间间隔，表示第三平均时间间隔，λ1、λ2、λ3分别表示第一平均时间间隔、第二平均时间间隔和第三平均时间间隔的加权系数，λ1+λ2+λ3＝1，α表示预设冗余系数。在其中一些实施例中，所述预设冗余系数α的取值范围为α≥1.5。在其中一些实施例中，根据所述时间间隔确定延时处理所述数据的多个平均时间间隔包括：获取入库所述离线系统的多个所述数据的所述时间间隔；在所述多个所述数据的所述时间间隔中检测预设时长对应的所述时间间隔，并确定所述时间间隔的数目；根据所述时间间隔的数目和所述预设时长，确定所述平均时间间隔，其中，所述预设时长为按小时、天、周其中一种为一个计算单位设置。第二方面，本申请实施例提供一种离线系统数据延时调度方法，包括：获取当前时间入库所述离线系统的数据和预设动态时间间隔，其中，所述预设动态时间间隔为采用第一方面所述的生成离线系统数据延时调度时间间隔的方法生成的动态时间间隔；判断所述数据是否处于被调度状态，并在判断到所述数据未处于被调度状态的情况下，至少根据所述预设动态时间间隔对所述数据进行调度。在其中一些实施例中，所述方法还包括：获取所述数据对应的预设调度开始时间的初值；其中，至少根据所述预设动态时间间隔对所述数据进行调度包括：将所述预设调度开始时间初值和所述预设动态时间间隔合成为所述数据延时调度的开始时间的终值，并根据所述开始时间的终值对所述数据进行调度。在其中一些实施例中，在判断所述数据处于被调度状态的情况下，基于历史调度开始时间对所述数据进行调度，其中，所述历史调度开始时间根据历史预设调度开始时间和/或历史动态时间间隔确定。在其中一些实施例中，在至少根据所述预设动态时间间隔对所述数据进行调度之后，所述方法还包括：按预设更新间隔时长对所述预设动态时间间隔进行更新。第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一方面所述的生成离线系统数据延时调度时间间隔的方法，和/或，以执行第二方面所述的离线系统数据延时调度方法。第四方面，本申请实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行第一方面所述的生成离线系统数据延时调度时间间隔的方法，和/或，执行第二方面所述的离线系统数据延时调度方法。相比于相关技术，本申请实施例提供的一种生成离线系统数据延时调度时间间隔的方法、离线系统数据延时调度方法、电子装置及存储介质，通过获取预设时间内入库离线系统的数据的入库时间和数据的生成时间，并根据生成时间和入库时间的差值，确定延时处理数据的时间间隔；根据时间间隔确定延时处理数据的多个平均时间间隔，其中，平均时间间隔包括按小时、天、周其中一种为单位计算出的数据延迟处理的时间间隔的均值；对多个平均时间间隔进行加权平均运算，生成延时处理数据的动态时间间隔，解决了离线系统无法动态调整数据延时调度的时间间隔的问题，实现了缩短离线系统对未调度处理的数据的延时调度时间间隔进行更新的次数，并提高离线系统调度处理数据的效率有益效果。本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是本专利技术实施例的生成离线系统数据延时调度时间间隔的方法或离线系统数据延时调度方法的终端的硬件结构框图；图2是根据本申请实施例的生成离线系统数据延时调度时间间隔的方法的流程图；图3是根据本申请实施例的离线系统数据延时调度方法的流程图；图4是根据本申请实施例的生成离线系统数据延时调度时间间隔的装置的结构框图；图5是根据本申请实施例的离线系统数据延时调度装置的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。显而易见地，下面描述中的附图仅仅是本申请的一些示例或本文档来自技高网...

【技术保护点】
1.一种生成离线系统数据延时调度时间间隔的方法，其特征在于，包括：/n获取预设时间内入库离线系统的数据的入库时间和所述数据的生成时间，并根据所述生成时间和所述入库时间的差值，确定延时处理所述数据的时间间隔；/n根据所述时间间隔确定延时处理所述数据的多个平均时间间隔，其中，所述平均时间间隔包括按小时、天、周其中一种为单位计算出的所述数据延迟处理的时间间隔的均值；/n对所述多个平均时间间隔进行加权平均运算，生成延时处理所述数据的动态时间间隔。/n

【技术特征摘要】
1.一种生成离线系统数据延时调度时间间隔的方法，其特征在于，包括：
获取预设时间内入库离线系统的数据的入库时间和所述数据的生成时间，并根据所述生成时间和所述入库时间的差值，确定延时处理所述数据的时间间隔；
根据所述时间间隔确定延时处理所述数据的多个平均时间间隔，其中，所述平均时间间隔包括按小时、天、周其中一种为单位计算出的所述数据延迟处理的时间间隔的均值；
对所述多个平均时间间隔进行加权平均运算，生成延时处理所述数据的动态时间间隔。


2.根据权利要求1所述的生成离线系统数据延时调度时间间隔的方法，其特征在于，所述多个平均时间间隔包括按小时为单元计算出的第一平均时间间隔、按天为单元计算出的第二平均时间间隔和按周为单元计算的第三平均时间间隔，对所述多个平均时间间隔进行加权平均运算，生成延时处理所述数据的动态时间间隔包括：按以下公式计算所述动态时间间隔：



其中，ΔTD为动态时间间隔，表示第一平均时间间隔，表示第二平均时间间隔，表示第三平均时间间隔，λ1、λ2、λ3分别表示第一平均时间间隔、第二平均时间间隔和第三平均时间间隔的加权系数，λ1+λ2+λ3＝1，α表示预设冗余系数。


3.根据权利要求2所述的生成离线系统数据延时调度时间间隔的方法，其特征在于，所述预设冗余系数α的取值范围为α≥1.5。


4.根据权利要求1所述的生成离线系统数据延时调度时间间隔的方法，其特征在于，根据所述时间间隔确定延时处理所述数据的多个平均时间间隔包括：
获取入库所述离线系统的多个所述数据的所述时间间隔；
在所述多个所述数据的所述时间间隔中检测预设时长对应的所述时间间隔，并确定所述时间间隔的数目；
根据所述时间间隔的数目和所述预设时长，确定所述平均时间间隔，其中，所述预设时长为按小时、天、周其中一种为一个计算单位设置。


5.一种离线系统...

【专利技术属性】
技术研发人员：莫凡，范渊，李德恩，刘博，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：浙江;33