一种分布式系统资源分配方法、装置及系统制造方法及图纸

本申请实施例提供一种分布式系统资源分配方法和设备，所述方法包括：接收资源调度服务器发送的资源抢占请求，所述资源抢占请求包括第一作业管理服务器对应的作业执行信息；根据所述资源抢占请求包括的第一作业管理服务器对应的作业执行信息确定所述第二作业管理服务器需要归还的资源以及资源归还截至时间；根据确定的所述需要归还的资源、资源归还截至时间以及所述第二作业管理服务器的当前作业执行进度，在所述资源归还截至时间到达前向所述资源调度服务器归还需要归还的资源。本申请实施例提供的方法可以有效提高系统资源利用率，减少资源浪费。

【技术实现步骤摘要】
一种分布式系统资源分配方法、装置及系统
本申请实施例涉及计算机
，具体涉及一种分布式系统资源分配方法、装置及系统。
技术介绍
在分布式系统中，当作业节点需要申请资源时，作业管理服务器会向资源调度服务器发送资源申请请求，用于申请一定数量的机器资源供所述作业节点使用。资源调度服务器在收到所述资源申请请求后，会根据分布式系统中剩余的可用资源计算出可以分配给作业管理服务器的可用资源，生成可用资源列表，并将所述可用资源列表发送给所述作业管理服务器。作业管理服务器在收到可用资源列表后，会将作业节点分配到相应的机器节点执行作业程序。在分布式系统中经常会出现集群整体资源耗尽，导致资源申请排队的情况。一般地，可以将资源申请请求按照优先级进行排队，周期性地从等待队列中取出资源请求重新提交以请求分配资源。在所述等待队列中，高优先级的资源请求会排在前面，低优先级的资源请求会排在后面。当资源调度服务器接收到一个优先级高且需要立即分配资源的资源申请请求时，为了确保优先级高的资源申请能够快速获得资源，资源调度服务器会暴力回收低优先级的作业资源，让高优先级的资源申请抢占低优先级的作业资源。申请人经过研究发现，本文档来自技高网...

【技术保护点】
1.一种分布式资源分配系统，其特征在于，所述分布式资源分配系统包括资源调度服务器、第一作业管理服务器和第二作业管理服务器，其中：所述第一作业管理服务器用于向所述资源调度服务器发送资源申请请求，所述资源申请请求至少包括第一作业管理服务器的作业执行信息；所述资源调度服务器用于判断满足资源抢占条件时，确定抢占资源的第一作业管理服务器以及归还资源的第二作业管理服务器；向所述归还资源的第二作业管理服务器发送资源抢占请求，所述资源抢占请求至少包括所述抢占资源的第一作业管理服务器对应的作业执行信息；以及，接收所述归还资源的第二作业管理服务器发送的资源归还请求，将所述资源归还请求对应的资源分配给所述抢占资源的...

【技术特征摘要】
1.一种分布式资源分配系统，其特征在于，所述分布式资源分配系统包括资源调度服务器、第一作业管理服务器和第二作业管理服务器，其中：所述第一作业管理服务器用于向所述资源调度服务器发送资源申请请求，所述资源申请请求至少包括第一作业管理服务器的作业执行信息；所述资源调度服务器用于判断满足资源抢占条件时，确定抢占资源的第一作业管理服务器以及归还资源的第二作业管理服务器；向所述归还资源的第二作业管理服务器发送资源抢占请求，所述资源抢占请求至少包括所述抢占资源的第一作业管理服务器对应的作业执行信息；以及，接收所述归还资源的第二作业管理服务器发送的资源归还请求，将所述资源归还请求对应的资源分配给所述抢占资源的第一作业管理服务器；所述第二作业管理服务器用于接收资源调度服务器发送的资源抢占请求，根据所述资源抢占请求包括的第一作业管理服务器对应的作业执行信息确定所述第二作业管理服务器需要归还的资源以及资源归还截至时间；根据确定的所述需要归还的资源、资源归还截至时间以及所述第二作业管理服务器的当前作业执行进度，在所述资源归还截至时间到达前向所述资源调度服务器归还需要归还的资源。2.一种分布式系统资源分配方法，其特征在于，应用于第二作业管理服务器，包括：接收资源调度服务器发送的资源抢占请求，所述资源抢占请求包括第一作业管理服务器对应的作业执行信息；根据所述第一作业管理服务器对应的作业执行信息确定所述第二作业管理服务器需要归还的资源以及资源归还截至时间；根据确定的所述需要归还的资源、资源归还截至时间以及所述第二作业管理服务器的当前作业执行进度，在所述资源归还截至时间到达前向所述资源调度服务器归还需要归还的资源。3.根据权利要求2所述的方法，其特征在于，所述第一作业管理服务器对应的作业执行信息包括所述作业的产出截至时间和所述作业的执行时间，所述根据所述资源抢占请求包括的第一作业管理服务器对应的作业执行信息确定所述第二作业管理服务器需要归还的资源以及资源归还截至时间包括：根据所述作业的产出截至时间与所述作业的执行时间的差值得到所述作业的资源得到截至时间，将所述作业的资源得到截至时间作为所述第二作业管理服务器的资源归还截至时间。4.根据权利要求2所述的方法，其特征在于，所述根据确定的所述资源归还截至时间以及所述第二作业管理服务器的当前作业执行进度，在所述资源归还截至时间到达前向所述资源调度服务器归还需要归还的资源包括：根据所述第二作业管理服务器的当前作业执行进度计算得到当前作业的剩余完成时间；若判断当前时间与当前作业的剩余完成时间的和值不大于所述资源归还截至时间，则所述第二作业管理服务器在当前作业执行完毕后向所述资源调度服务器归还需要归还的资源。5.根据权利要求2所述的方法，其特征在于，所述根据确定的所述资源归还截至时间以及所述第二作业管理服务器的当前作业执行进度，在所述资源归还截至时间到达前向所述资源调度服务器归还需要归还的资源包括：根据所述第二作业管理服务器的当前作业执行进度计算得到当前作业的剩余完成时间；若判断当前时间与当前作业的剩余完成时间的和值大于所述资源归还截至时间，则所述第二作业管理服务器对当前作业进行备份，记录备份位置，备份完成后向所述资源调度服务器归还需要归还的资源。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：接收所述资源调度服务器再次分配的资源，获取当前作业的备份，从备份位置继续执行当前作业。7.一种分布式系统资源分配方法，其特征在于，应用于资源调度服务器，包括：若判断满足资源抢占条件时，确定抢占资源的第一作业管理服务器以及归还资源的第二作业管理服务器；向所述归还资源的第二作业管理服务器发送资源抢占请求，所述资源抢占请求至少包括所述抢占资源的第一作业管理服务器对应的作业执行信息；接收所述归还资源的第二作业管理服务器发送的资源归还请求，将所述资源归还请求对应的资源分配给所述抢占资源的第一作业管理服务器。8.根据权利要求7所述的方法，其特征在于，所述判断满足资源抢占条件包括：当确定接收到的资源申请请求的优先级为高优先级且所述系统剩余可用资源数量小于所述资源申请请求的申请数量时，判断满足资源抢占条件。9.根据权利要求7或8所述的方法，其特征在于，所述第一作业管理服...

【专利技术属性】
技术研发人员：张杨，冯亦挥，欧阳晋，韩巧焕，汪方，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY