System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及计算机,特别是涉及脚本调度方法、装置、电子设备及计算机可读存储介质。
技术介绍
1、在海量数据管理领域,以hadoop(一种分布式系统基础架构)为底座的数据湖集群并采用hive数据库(基于hadoop的一个数据仓库工具)来进行数据存储和管理,是一种有效的数据管理方案,可以支持众多用户访问。hive数据库是一个开源的数据仓库解决方案,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能。例如,hive数据库可以用于存储和而管理通信领域的各种数据,包括但不限于:客户数据、交易数据、市场数据和日志数据等。用户可使用线上平台基于类似于sql的查询语言(hivesql)来处理和分析大规模的结构化数据。在hive数据库中,通常使用大量脚本来编写查询语言以及处理数据,脚本中的命令将被hive数据库中解释器解析和执行。
2、随着数据库中数据量的不断增加,脚本任务量增长迅速,脚本调度管理难度大。脚本的调度直接影响导致数据处理、运维效率。例如,对于海量的脚本中,当同一hive任务与多种脚本均相配置时,调度过程中可能出现等待或异常。针对这种情况,现有技术中尚未发现高效的脚本调度方法。
技术实现思路
1、本申请实施例提供一种脚本调度方法、装置、电子设备和计算机可读存储介质,可以提升脚本的调度效率。
2、第一方面,本申请实施例公开了一种脚本调度方法,所述方法包括:
3、对目标脚本进行解析,获取所述目标脚本的脚本依赖信息;
4、根据所述
5、根据所述调度队列中各所述待调度脚本对应的预设调度影响因子,获取各所述待调度脚本的调度优先值;
6、按照所述调度优先值由大到小的顺序,对所述待调度脚本进行调度。
7、第二方面,本申请实施例公开了一种脚本调度装置,所述装置包括:
8、脚本依赖信息获取模块,用于对目标脚本进行解析,获取所述目标脚本的脚本依赖信息;
9、调度队列构建模块,用于根据所述脚本依赖信息和/或所述目标脚本的预设运行时间信息,构建待调度脚本的调度队列;
10、调度优先值获取模块,用于根据所述调度队列中各所述待调度脚本对应的预设调度影响因子,获取各所述待调度脚本的调度优先值;
11、脚本调度模块,用于按照所述调度优先值由大到小的顺序,对所述待调度脚本进行调度。
12、第三方面,本申请实施例还公开了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本申请实施例所述的脚本调度方法。
13、第四方面,本申请实施例公开了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时本申请实施例公开的脚本调度方法的步骤。
14、本申请实施例公开的脚本调度方法,通过对目标脚本进行解析,获取所述目标脚本的脚本依赖信息;根据所述脚本依赖信息和/或所述目标脚本的预设运行时间信息,构建待调度脚本的调度队列,调度队列中的待调度脚本的前置数据均已更新,可以避免由于脚本调度过程中数据冲突导致的脚本运行错误或等待,之后,根据所述调度队列中各所述待调度脚本对应的预设调度影响因子,获取各所述待调度脚本的调度优先值;按照所述调度优先值由大到小的顺序,对所述待调度脚本进行调度,从而解决了调度效率低下的问题,提高脚本调度的效率和可靠性。
15、上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
本文档来自技高网...【技术保护点】
1.一种脚本调度方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对目标脚本进行解析,获取所述目标脚本的脚本依赖信息,包括:
3.根据权利要求2所述的方法,其特征在于,所述对目标脚本进行解析,获取所述目标脚本的依赖脚本和前置数据的解析结果,包括:
4.根据权利要求3所述的方法,其特征在于,所述对目标脚本进行解析,获取所述目标脚本引用的非所述目标脚本维护的数据表之后,还包括:
5.根据权利要求1所述的方法,其特征在于,所述根据所述脚本依赖信息和/或所述目标脚本的预设运行时间信息,构建待调度脚本的调度队列,包括:
6.根据权利要求1所述的方法,其特征在于,所述预设调度影响因子包括以下一种或多种:优先级、运行时长、等待时长,所述根据所述调度队列中各所述待调度脚本对应的预设调度影响因子,获取各所述待调度脚本的调度优先值,包括:
7.根据权利要求1所述的方法,其特征在于,所述按照所述调度优先值由大到小的顺序,对所述待调度脚本进行调度,包括:
8.一种脚本调度装置,其特征在于,所
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的程序代码,其特征在于,所述处理器执行所述程序代码时实现权利要求1至7任意一项所述的脚本调度方法。
10.一种计算机可读存储介质,其上存储有程序代码,其特征在于,该程序代码被处理器执行时实现权利要求1至7任意一项所述的脚本调度方法的步骤。
...【技术特征摘要】
1.一种脚本调度方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对目标脚本进行解析,获取所述目标脚本的脚本依赖信息,包括:
3.根据权利要求2所述的方法,其特征在于,所述对目标脚本进行解析,获取所述目标脚本的依赖脚本和前置数据的解析结果,包括:
4.根据权利要求3所述的方法,其特征在于,所述对目标脚本进行解析,获取所述目标脚本引用的非所述目标脚本维护的数据表之后,还包括:
5.根据权利要求1所述的方法,其特征在于,所述根据所述脚本依赖信息和/或所述目标脚本的预设运行时间信息,构建待调度脚本的调度队列,包括:
6.根据权利要求1所述的方法,其特征在于,所述预设调度影响因子包括...
【专利技术属性】
技术研发人员:雷祥祥,朱银清,王爱华,范金强,
申请(专利权)人:中国电信股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。