【技术实现步骤摘要】
基于深度学习算法的ETL调度方法及装置
[0001]在本专利技术涉及计算机
，尤其涉及一种基于深度学习算法的ETL调度方法及装置。
技术介绍
[0002]ETL（Extract
‑
Transform
‑
Load，数据抽取加载和转换）作业通常由一个集中的调度平台控制他们的运行，决定执行顺序，进行错误捕捉和处理。较为原始的ETL系统在进行ETL任务调度时，就是做定时控制，定时调起相应的程序或者存储过程。但是这种方式过于原始，只能进行简单的调起动作，无法实现流程依赖行为，同时执行的流程控制能力也弱，错误处理能力几乎没有，只适合于极其简单的情况。对于较为完善的ETL系统，往往需要具有以下几个能力：1、流程步骤控制能力：调度平台必须能够控制整个ETL流程，进行集中化管理，不能有流程或执行设备游离于系统外部。
[0003]2、系统的划分和前后流程的依赖：由于整个ETL系统里面可能跨越数十个业务系统，开发人员有数十拨人，必须支持按照业务系统对ETL流程进行划分管理的能力，同时必须具有根据流...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习算法的ETL调度方法，其特征在于，所述方法包括：获取包括有多个待调度ETL任务的待调度任务组；确定每一所述待调度ETL任务的任务执行参数；将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数；所述调度预测模型根据包括有多个历史任务的任务执行参数和对应的任务调度参数的训练数据集训练得到；根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。2.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，所述任务执行参数包括任务类型、任务执行时的处理器占用率、任务执行时的储存器占用率、任务执行时的接口占用率和任务的预计运行时长中的至少一种。3.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，所述任务调度参数包括调度任务类型和调度任务线程数量的至少一种。4.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，在所述将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数之前，所述方法还包括：根据小波变换算法，对所述任务执行参数进行数据去噪处理；和/或，对所述任务执行参数进行归一化数据处理；以及，所述历史任务的任务执行参数用于训练所述调度预测模型之前进行了所述数据去噪处理和/或所述归一化数据处理。5.根据权利要求4所述的基于深度学习算法的ETL调度方法，其特征在于，所述调度预测模型为LTSM网络算法模型，以及所述调度预测模型根据以下步骤训练得到：收集整理得到包括有多个历史任务执行参数和对应的历史任务调度参数的训练数据集；对所述训练数据集中的所述历史任务执行参数进行所述数据去噪处理和所述归一化数据处理；构建一个包括256个神经元的LSTM网络算法模型，将优化函数设为Adam函数，梯度值设为1，初始学习率为0.005，并根据所述训练数据集进行100个轮的训练，之后再通过乘以因子0.2来降低学习率；在训练中对所述LSTM网络算法模型的调节参数进行调节；所述调节参数包括批量大小、窗口大小、节点数量、学习率和训练步长中的至少一种；根据均方根误差，在训练中对所述LSTM网络算法模型进行模型评估，直至评估结果显示所述LSTM网络算法模型达到收敛，得到训练好的所述调度预测模型。6.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，所述根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行，包括：将所述任务调度参数输入至动态规划模型中，以测算得到所述待调度任务组对应的任务具体调度策略；所述任务具体调度策略用于指示符合所述任务调度参数的所述多个待调...
【专利技术属性】
技术研发人员：吴伟华，林金怡，李韩，邹西山，庞文刚，文其瑞，
申请(专利权)人：联通在线信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。