本发明专利技术公开了一种应用程序任务调度方法及装置，该方法包括：获取应用程序任务；对运行应用程序任务的硬件资源进行分析处理，得到硬件资源信息；获取Kubernetes集群上所有集群节点对应的节点资源信息；对所有节点资源信息和硬件资源信息进行匹配处理，得到最优节点；将应用程序任务调度到最优节点。可见，本发明专利技术能够对应用程序任务所需的硬件资源进行分析，再结合集群节点的硬件资源情况确定出运行应用程序任务的最优节点，有利于最大化利用异构机器硬件资源，提高GPU资源的利用率。提高GPU资源的利用率。提高GPU资源的利用率。
【技术实现步骤摘要】
一种应用程序任务调度方法及装置
[0001]本专利技术涉及数据处理
，尤其涉及一种应用程序任务调度方法及装置。
技术介绍
[0002]随着容器技术的快速发展，在多容器方面就需要一种容器编排工具来管理多个容器的运行，而Kubernetes则是各种容器编排工具中应用最广泛的一种技术。Kubernetes支持应用程序以pod的形式运行在Kubernetes集群的各个机器中，也支持为应用程序分配cpu，内存等硬件资源，但是在人工智能领域，一般都需要异构机器来运行AI程序，虽然Kubernetes也支持nvidia的GPU类型，但是在AI程序的调度运行中，Kubernetes只支持以整块异构机器的GPU来运行程序，而一旦这块gpu卡被kubernetes分配了AI程序，那么其他的AI程序pod就无法再继续运行在这块已经运行了程序的GPU卡上，这在一些使用GPU资源并不多的AI程序中是极其浪费的，并且现如今异构机器的GPU卡也是异常的昂贵。因此，提供一种应用程序任务调度方法及装置，以最大化利用异构机器硬件资源，提高GPU资源的利用率显得尤为重要。
技术实现思路
[0003]本专利技术所要解决的技术问题在于，提供一种应用程序任务调度方法及装置，能够对应用程序任务所需的硬件资源进行分析，再结合集群节点的硬件资源情况确定出运行应用程序任务的最优节点，有利于最大化利用异构机器硬件资源，提高GPU资源的利用率。
[0004]为了解决上述技术问题，本专利技术实施例第一方面公开了一种应用程序任务调度方法，所述方法包括：
[0005]获取应用程序任务；
[0006]对运行所述应用程序任务的硬件资源进行分析处理，得到硬件资源信息；
[0007]获取Kubernetes集群上所有集群节点对应的节点资源信息；
[0008]对所有所述节点资源信息和所述硬件资源信息进行匹配处理，得到最优节点；
[0009]将所述应用程序任务调度到所述最优节点。
[0010]作为一种可选的实施方式，在本专利技术实施例第一方面中，所述对运行所述应用程序任务的硬件资源进行分析处理，得到硬件资源信息，包括：
[0011]创建预运行卡；所述预运行卡为计算应用程序任务使用的硬件资源的异构机器GPU卡；
[0012]将所述应用程序任务在所述预运行卡运行；
[0013]利用资源收集器对所述应用程序任务使用的硬件资源进行计算，得到硬件资源信息。
[0014]作为一种可选的实施方式，在本专利技术实施例第一方面中，所述将所述应用程序任务在所述预运行卡运行，包括：
[0015]按预设的第一时间间隔对pod列表进行检测，得到检测结果信息；
[0016]判断所述检测结果信息中是否存在预运行pod，得到运行判断结果；
[0017]当所述运行判断结果为是时，触发执行所述按预设的第一时间间隔对pod列表进行检测，得到检测结果信息；
[0018]当所述运行判断结果为否时，创建所述预运行pod；
[0019]将所述预运行pod在所述预运行卡上运行；
[0020]将所述应用程序任务在所述预运行pod中运行。
[0021]作为一种可选的实施方式，在本专利技术实施例第一方面中，所述利用资源收集器对所述应用程序任务使用的硬件资源进行计算，得到硬件资源信息，包括：
[0022]按预设的第二时间间隔对所述预运行pod的运行状态进行检测，得到运行状态信息；
[0023]判断所述运行状态信息是否与running状态相匹配，得到状态匹配结果；
[0024]当所述状态匹配结果为是时，利用资源收集器对所述应用程序任务使用的硬件资源进行分析，得到备用硬件资源信息；
[0025]判断所述备用硬件资源信息是否满足采集终止条件，得到采集判断结果；
[0026]当所述采集判断结果为否时，对所述备用硬件资源信息进行更新，并触发执行所述判断所述备用硬件资源信息是否满足采集终止条件，得到采集判断结果；
[0027]当所述采集判断结果为是时，确定所述备用硬件资源信息为硬件资源信息。
[0028]作为一种可选的实施方式，在本专利技术实施例第一方面中，所述判断所述备用硬件资源信息是否满足采集终止条件，得到采集判断结果，包括：
[0029]利用预设的方差模型对所述备用硬件资源信息进行方差计算，得到方差值信息；所述方差值信息包括3个方差值；
[0030]判断所述方差值信息中的3个方差值是否均小于方差阈值，得到方差判断结果；所述方差阈值为不大于0.01的正数；
[0031]当所述方差判断结果为否时，确定采集判断结果为否；
[0032]当所述方差判断结果为是时，确定所述采集判断结果为是。
[0033]作为一种可选的实施方式，在本专利技术实施例第一方面中，所述对所有所述节点资源信息和所述硬件资源信息进行匹配处理，得到最优节点，包括：
[0034]对所述硬件资源信息进行均值计算处理，得到使用量均值信息；
[0035]利用所述使用量均值信息对所述节点资源信息进行筛选处理，得到可用节点资源信息；
[0036]对所述可用节点资源信息进行节点优选处理，得到最优节点。
[0037]作为一种可选的实施方式，在本专利技术实施例第一方面中，所述对所述可用节点资源信息进行节点优选处理，得到最优节点，包括：
[0038]对所述可用节点资源信息按资源量从小到大进行排序，得到资源排序信息；
[0039]对所述资源排序信息进行评分处理，得到资源评分信息；
[0040]获取资源权重信息；
[0041]利用预设的节点得分模型对所述资源权重信息和所述资源评分信息进行计算处理，得到节点评分信息；所述节点评分信息包括若干个节点评分；
[0042]对所述节点评分信息按评分从大到小进行排序，得到评分排序信息；
[0043]选取所述评分排序信息中排序第一对应的节点评分作为目标节点评分；
[0044]确定所述目标节点评分对应的集群节点为最优节点。
[0045]本专利技术实施例第二方面公开了一种应用程序任务调度装置，装置包括：
[0046]第一获取模块，用于获取应用程序任务；
[0047]第一处理模块，用于对运行所述应用程序任务的硬件资源进行分析处理，得到硬件资源信息；
[0048]第二获取模块，用于获取Kubernetes集群上所有集群节点对应的节点资源信息；
[0049]第二处理模块，用于对所有所述节点资源信息和所述硬件资源信息进行匹配处理，得到最优节点；
[0050]调度模块，用于将所述应用程序任务调度到所述最优节点。
[0051]作为一种该可选的实施方式，在本专利技术实施例第二方面中，所述第一处理模块对运行所述应用程序任务的硬件资源进行分析处理，得到硬件资源信息的具体方式为：
[0052]创建预运行卡；所述预运行卡为计算应用程序任务使用的硬件资源的异构机器GPU卡；<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种应用程序任务调度方法，其特征在于，所述方法包括：获取应用程序任务；对运行所述应用程序任务的硬件资源进行分析处理，得到硬件资源信息；获取Kubernetes集群上所有集群节点对应的节点资源信息；对所有所述节点资源信息和所述硬件资源信息进行匹配处理，得到最优节点；将所述应用程序任务调度到所述最优节点。2.根据权利要求1所述的应用程序任务调度方法，其特征在于，所述对运行所述应用程序任务的硬件资源进行分析处理，得到硬件资源信息，包括：创建预运行卡；所述预运行卡为计算应用程序任务使用的硬件资源的异构机器GPU卡；将所述应用程序任务在所述预运行卡运行；利用资源收集器对所述应用程序任务使用的硬件资源进行计算，得到硬件资源信息。3.根据权利要求2所述的应用程序任务调度方法，其特征在于，所述将所述应用程序任务在所述预运行卡运行，包括：按预设的第一时间间隔对pod列表进行检测，得到检测结果信息；判断所述检测结果信息中是否存在预运行pod，得到运行判断结果；当所述运行判断结果为是时，触发执行所述按预设的第一时间间隔对pod列表进行检测，得到检测结果信息；当所述运行判断结果为否时，创建所述预运行pod；将所述预运行pod在所述预运行卡上运行；将所述应用程序任务在所述预运行pod中运行。4.根据权利要求2所述的应用程序任务调度方法，其特征在于，所述利用资源收集器对所述应用程序任务使用的硬件资源进行计算，得到硬件资源信息，包括：按预设的第二时间间隔对所述预运行pod的运行状态进行检测，得到运行状态信息；判断所述运行状态信息是否与running状态相匹配，得到状态匹配结果；当所述状态匹配结果为是时，利用资源收集器对所述应用程序任务使用的硬件资源进行分析，得到备用硬件资源信息；判断所述备用硬件资源信息是否满足采集终止条件，得到采集判断结果；当所述采集判断结果为否时，对所述备用硬件资源信息进行更新，并触发执行所述判断所述备用硬件资源信息是否满足采集终止条件，得到采集判断结果；当所述采集判断结果为是时，确定所述备用硬件资源信息为硬件资源信息。5.根据权利要求4所述的应用程序任务调度方法，其特征在于，所述判断所述备用硬件资源信息是否满足采集终止条件，得到采集判断结果，包括：利用预设的方差模型对所述备用硬件资源信息进行方差计算，得到方差值信息；所述方...
【专利技术属性】
技术研发人员：陈敏杰，朱江游，
申请(专利权)人：北京鼎成智造科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。