一种自适应资源匹配获取方法及系统技术方案

一种自适应资源匹配获取方法及系统，包括步骤：初始化计算资源参数向量集，所述参数类型包括服务器个数M以及每个服务器拥有的实时可用处理器硬件资源、软件信息、模型信息；接收用户任务需求向量，包含任务的硬件需求、软件需求、模型需求以及期望完成时间；通过计算比对匹配得到资源调度的分配方案，即任务需求与计算资源的映射关系。本发明专利技术创新性的提出了匹配计算方式中通过模拟计算得出参与评价值W越小资源利用率越高，任务完成时间越快，将W最小时对应的任务需求与计算资源服务器的映射关系，显著提升了服务器计算效率，在服务器利用率方面大大增强，增强用户体验。增强用户体验。增强用户体验。

【技术实现步骤摘要】
一种自适应资源匹配获取方法及系统


[0001]本专利技术涉及云计算的资源调度领域，具体地涉及一种自适应资源匹配获取方法及系统。

技术介绍

[0002]目前，随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。且由于高可靠性、通用性、高可伸缩性、按需服务、成本低廉等种种优点，云计算近年来在国内外发展迅猛。云计算作为一种商业服务提供给用户使用，系统资源的合理调度和使用成为一个关键问题。云计算的资源调度与传统的资源调度不同，由于云计算具有异构性、动态性、大规模性等特性，在云环境下的任务随时可能并发的产生，并且多数情况下分布不均匀。在云环境下如何对异构节点上的资源进行合理的调度，使得用户在第一时间可以得到问题的解决，同时尽可能提高资源利用率，降低能耗，成为一个迫切需要解决的问题，需要做定制化处理来满足多种渠道非结构化数据的采集及存储，用来满足企业数据分析的需求，同时也对服务器资源的调配提出了更高的要求。
[0003]现有技术中，资源调度大多研究工作关注于性能为中心的调度，服务质量为中心的调度和以经济原则为目标的调度。但大多数研究没有考虑任务超时的成本问题，即云服务提供商承诺的延时赔偿。而且，大多数研究是基于单一目标，调度过程中往往会过度优化某一项指标，但恶化其他指标。且虽然存在以性能为中心的调度将性能(任务的最快完成时间)为目标，目前应用的算法有：Min
‑
min算法、Max
‑
Min算法、遗传算法、蚁群算法、模拟退火算法、遗传算法等，但这些算法并没有综合考虑到服务器量多且服务器各个性能参数不一致以及当前时刻的软硬件情况，导致资源利用率偏低，资源消耗较高，用户提交的请求不能在很短的时间得到响应。如何能够让任务分配前就已将资源调度智能化，自动化，提高其运行效率及能耗降低，充分利用计算资源，增强用户满意度成为新的研究课题，但是现有的资源调度考虑因素较少以及在服务器资源充足的情况下利用效率较低，任务提交后完成时间较慢，因此，一种能够增加在任务分配前就能将资源任务分配好，提高资源利用率减少任务执行时间，提高用户满意度成为迫切需求，从而改善用户的体验。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供一种自适应资源匹配获取方法及系统，本专利技术的自适应资源匹配获取方法及系统显著了计算资源利用率及任务执行效率，在准确率方面大大增强，增强用户体验；一种自适应资源匹配获取方法，包括步骤：初始化计算资源参数向量集X＝{x1,x2,...,x
n
}包含n个参数类型，每个参数类型x
i
的维数为p，所述参数类型具体为服务器个数M以及每个服务器拥有的实时可用处理器硬件资源、软件信息、模型信息，包括实时计算资源的动态负载性能参数，包括计算资源的CPU占用率、内存使用率以及网络带宽占有率；接收用户任务需求向量Y＝{y1,y2,...,y
n
}包含n个于计算资源对应的参数类
型，用户任务需求向量包括：任务的硬件需求、软件需求、模型需求以及期望完成时间；通过计算比对匹配得到资源调度的分配方案，即任务需求与计算资源的映射关系；所述计算比对匹配包括如下步骤：计算当前时刻X
‑
Y是否大于0，即计算资源参数向量集中每个参数类型值与用户任务需求向量中对应值的差值；若大于零，计算第m个服务器与任务需求在t时刻的匹配度L
mt
，即将N个任务需求运行在m个服务器上的完成程度，匹配度计算过程如下：
[0005][0006]其中，α、β、δ、θ为对应参数类型比例参数值，k＝1、2、3...N；表示第m个服务器在t时刻执行第k个任务第一个参数类型与任务需求向量对应位置的乘积，生成新的一维向量；
[0007]计算所有服务器的参与评价值：
[0008][0009]其中，表示对每一维向量的值相加求和，然后对求和后的值再相加除以服务器数量得到的服务器参与评价值；当W越小资源利用率越高，任务完成时间越快。
[0010]优选地，所述处理器硬件资源包括CPU/GPU、磁盘存储空间、网络带宽；所述软件信息包括操作系统信息、程序编译环境以及开源或者商用的软件开发SDK；所述操作系统包括Linux或Windows或mac OS；所述模型信息包括模型额外配置文件和定制化的数据库文件。
[0011]优选地，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务需求向量分解为N个子任务，在执行前进行匹配度计算，即将N个子任务在不同的服务器上进行循环遍历匹配，找到服务器参与评价值最小的任务资源分解方案。
[0012]优选地，所述处理器硬件资源包括量化参数计算，即计算CPU的线程数量、核的数量、缓存大小、主频；所述操作系统信息包括进程调度、内存管理、进程间通信、虚拟文件系统和网络接口参数。
[0013]优选地，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务采用负载均衡策略对待执行任务进行分配，获得多个子任务。
[0014]优选地，所述当W越小资源利用率越高，任务完成时间越快，即将W最小时对应的任务需求与计算资源服务器的映射关系，采取将每个所述子任务加入到相应消息队列中；数据库用于存储所述消息队列；任务执行中的每个服务器用于从对应消息队列中获取任务，并执行。
[0015]本专利技术还包括一种自适应资源匹配获取系统，包括初始化模块：初始化模块，用于计算资源参数向量集X＝{x1,x2,...,x
n
}包含n个参数类型，每个参数类型x
i
的维数为p，所述参数类型具体为服务器个数M以及每个服务器拥有的实时可用处理器硬件资源、软件信息、模型信息，包括实时计算资源的动态负载性能参数，包括计算资源的CPU占用率、内存使用率以及网络带宽占有率；任务信息分析模块：用于接收用户任务需求向量Y＝{y1,y2,...,y
n
}包含n个于计算资源对应的参数类型，用户任务需求向量包括：任务的硬件需求、软件需求、模型需求以及期望完成时间；计算匹配模块：通过计算比对匹配得到资源调度的分配方案，即任务需求与计算资源的映射关系；所述计算比对匹配包括如下步骤：计算当前时刻X
‑
Y是否大于0，即计算资源参数向量集中每个参数类型值与用户任务需求向量中对应值的差值；若大于零，计算第m个服务器与任务需求在t时刻的匹配度L
mt
，即将N个任务需求运行在m个服务器上的完成程度，匹配度计算过程如下：
[0016][0017]其中，α、β、δ、θ为对应参数类型比例参数值，k＝1、2、3...N；表示第m个服务器在t时刻执行第k个任务第一个参数类型与任务需求向
[0018]量对应位置的乘积，生成新的一维向量；
[0019]计算所有服务器的参与评价值：
[0020][0021]其中，表示对每一维向量的值相加求和，然后对求和后的值再相加除以服务器数量得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应资源匹配获取方法，其特征在于，包括步骤：初始化计算资源参数向量集X＝{x1,x2,...,x
n
}包含n个参数类型，每个参数类型x
i
的维数为p，所述参数类型具体为服务器个数M以及每个服务器拥有的实时可用处理器硬件资源、软件信息、模型信息，包括实时计算资源的动态负载性能参数，包括计算资源的CPU占用率、内存使用率以及网络带宽占有率；接收用户任务需求向量Y＝{y1,y2,...,y
n
}包含n个于计算资源对应的参数类型，用户任务需求向量包括：任务的硬件需求、软件需求、模型需求以及期望完成时间；通过计算比对匹配得到资源调度的分配方案，即任务需求与计算资源的映射关系；所述计算比对匹配包括如下步骤：计算当前时刻X
‑
Y是否大于0，即计算资源参数向量集中每个参数类型值与用户任务需求向量中对应值的差值；若大于零，计算第m个服务器与任务需求在t时刻的匹配度L
mt
，即将N个任务需求运行在m个服务器上的完成程度，匹配度计算过程如下：其中，α、β、δ、θ为对应参数类型比例参数值，k＝1、2、3...N；表示第m个服务器在t时刻执行第k个任务第一个参数类型与任务需求向量对应位置的乘积，生成新的一维向量；计算所有服务器的参与评价值：其中，表示对每一维向量的值相加求和，然后对求和后的值再相加除以服务器数量得到的服务器参与评价值；当W越小资源利用率越高，任务完成时间越快。2.根据权利要求1所述的一种自适应资源匹配获取方法，其特征在于，所述处理器硬件资源包括CPU/GPU、磁盘存储空间、网络带宽；所述软件信息包括操作系统信息、程序编译环境以及开源或者商用的软件开发SDK；所述操作系统包括Linux或Windows或mac OS；所述模型信息包括模型额外配置文件和定制化的数据库文件。3.根据权利要求1所述的一种自适应资源匹配获取方法，其特征在于，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务需求向量分解为N个子任务，在执行前进行匹配度计算，即将N个子任务在不同的服务器上进行循环遍历匹配，找到服务器参与评价值最小的任务资源分解方案。4.根据权利要求2所述的一种自适应资源匹配获取方法，其特征在于，所述处理器硬件资源包括量化参数计算，即计算CPU的线程数量、核的数量、缓存大小、主频；所述操作系统信息包括进程调度、内存管理、进程间通信、虚拟文件系统和网络接口参数。5.根据权利要求1所述的一种自适应资源匹配获取方法，其特征在于，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务采用负载均衡策略对待执行任务进行分配，获得多个子任务。6.根据权利要求1所述的一种自适应资源匹配获取方法，其特征在于，所述当W越小资源利用率越高，任务完成时间越快，即将W最小时对应的任务需求与计算资源服务器的映射关系，采取将每个所述子任务加入到相应消息队列中；数据库用于存储所述消息队列；任务执行中的每个服务器用于从对应消息队列中获取任务，并执行。
7.一种自适应资源匹配获取系统，其特征在于，包括...

【专利技术属性】
技术研发人员：于焕英，
申请(专利权)人：吉兴信广东信息技术有限公司，
类型：发明
国别省市：