【技术实现步骤摘要】
本公开涉及计算机，具体涉及一种基于分布式系统基础架构的大数据任务调度方法及装置。
技术介绍
1、在通过分布式系统基础架构(hadoop)对大数据进行处理时，通常使用hadoop的资源管理器(yarn)来进行资源管理和任务调度，所有提交到yarn的任务会按照提交的先后顺序进行顺序调度，而不同的任务有着不同资源消耗量。
2、通常在上游任务的依赖满足后会立即进行调度，但其并不会考虑所有任务的整体生产最优，这就使得生产环境中存在资源分配不均匀的情况，导致一段时间内大量的任务开始提交，互相争抢资源，而每个任务却都只分配到了较少的资源，从而出现资源消耗难以合理分配而导致每个任务难以合理调度，使得每个任务的执行时长变长，继而影响了下游任务的拉起时间，导致数据产出延迟，影响了大数据的生产效率。
技术实现思路
1、有鉴于此，本公开提供了一种基于分布式系统基础架构的大数据任务调度方法及装置，以解决难以合理分配各个任务的资源消耗而导致各个任务难以合理调度的问题。
2、第一方面，本公开提供了一种基于分布式系统基础架构的大数据任务调度方法，包括：获取全局资源信息以及各个待调度的目标任务对应的任务调度参数；其中，任务调度参数用于表征目标任务的调度信息，全局资源信息指示用于执行目标任务所具有的全局资源；从任务调度参数中提取针对于目标任务的执行信息和执行资源需求信息；按照全局资源信息、执行信息和执行资源需求信息对目标任务进行调度规划，得到目标任务对应的目标调度时间；基于任务调度参数和目标调
3、第二方面，本公开提供了一种基于分布式系统基础架构的大数据任务调度装置，包括：获取模块，用于获取全局资源信息以及各个待调度的目标任务对应的任务调度参数；其中，任务调度参数用于表征目标任务的调度信息，全局资源信息指示用于执行目标任务所具有的全局资源；提取模块，用于从任务调度参数中提取针对于目标任务的执行信息和执行资源需求信息；规划模块，用于按照全局资源信息、执行信息和执行资源需求信息对目标任务进行调度规划，得到目标任务对应的目标调度时间；调度模块，用于基于任务调度参数和目标调度时间，对目标任务进行动态调度。
4、第三方面，本公开提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的基于分布式系统基础架构的大数据任务调度方法。
5、第四方面，本公开提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的基于分布式系统基础架构的大数据任务调度方法。
6、本公开实施例提供的基于分布式系统基础架构的大数据任务调度方法及装置，通过获取全局资源信息以及各个待调度的目标任务的任务调度参数，结合全局资源信息以及从任务调度参数中提取到的各个目标任务的执行信息和执行资源需求信息，对各个目标任务的调度时间进行规划，得到相应的目标调度时间。继而，按照规划出的目标调度时间对目标任务的执行进行调度，以将各个目标任务的调度时间最优化，实现了目标任务调度时间的合理化，便于通过目标调度时间对目标任务所需的资源量进行量化，使得资源分配达到全局最优，提升了资源的整体利用率，由此能够避免目标任务之间互相争抢资源而导致资源量分配不足的问题，进而避免了因资源量分配不足而导致执行时长变长的问题，从而能够保证各个目标任务在下游的拉起时间，提升了数据生成效率。
本文档来自技高网...【技术保护点】
1.一种基于分布式系统基础架构的大数据任务调度方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述按照所述全局资源信息、所述执行信息和所述执行资源需求信息对所述目标任务进行调度规划，得到所述目标任务对应的目标调度时间，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述任务调度参数和所述目标调度时间，对所述目标任务进行动态调度，包括：
4.根据权利要求3所述的方法，其特征在于，所述按照所述目标调度时间对所述调度完成时间进行约束，基于约束结果控制所述目标任务在下游的动态调度，包括：
5.根据权利要求3所述的方法，其特征在于，还包括：
6.根据权利要求5所述的方法，其特征在于，检测在所述时间间隔内是否存在满足调度条件的其他任务，包括：
7.根据权利要求5所述的方法，其特征在于，在检测所述时间间隔内是否存在满足调度条件的其他任务之前，还包括：
8.一种基于分布式系统基础架构的大数据任务调度装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括：
<...【技术特征摘要】
1.一种基于分布式系统基础架构的大数据任务调度方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述按照所述全局资源信息、所述执行信息和所述执行资源需求信息对所述目标任务进行调度规划，得到所述目标任务对应的目标调度时间，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述任务调度参数和所述目标调度时间，对所述目标任务进行动态调度，包括：
4.根据权利要求3所述的方法，其特征在于，所述按照所述目标调度时间对所述调度完成时间进行约束，基于约束结果控制所述目标任务在下游的动态调度，包括：
5.根据权利要求3所述的方法...
【专利技术属性】
技术研发人员：戴美亮，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。