异构算力编排调度方法、系统、设备及存储介质技术方案

本发明专利技术提供一种异构算力编排调度方法，包括：获取若干用户任务；根据数据库识别用户任务；根据用户任务种类确定算力资源需求；根据算力资源需求建立动态调度模型，确定调度策略；根据调度策略对算力资源进行分配，算力管理服务器统一编排若干用户任务；将用户任务中需要计算的数据加密并上传到云计算平台；云计算平台将所述数据存储并协同边缘计算平台进行计算；所述数据库用于存储用户的历史数据。通过数据库调取数据库中历史用户任务所需的历史算力，从而判断出不同用户任务的算力，快速确定算力需求，用以对用户任务进行快速匹配寻找合适的算力资源，进而可以对复杂的用户任务进行高效处理。务进行高效处理。务进行高效处理。

【技术实现步骤摘要】
异构算力编排调度方法、系统、设备及存储介质


[0001]本专利技术涉及云计算领域，更具体地，涉及异构算力编排调度方法、系统、设备及存储介质。

技术介绍

[0002]云计算是分布式计算的一种，指的是通过网络将巨大的数据计算处理程序分解成无数个应用，然后，通过多部服务器组成的系统进行处理和分析这些应用得到结果并返回给用户。云计算早期，通过分布式计算，解决任务分发，并进行计算结果的合并。因而，云计算又称为网格计算。通过这项技术，可以在很短的时间内完成对数以万计的数据的处理，从而达到强大的网络服务。
[0003]异构计算是云计算的一个研究领域，目前已经被广泛地应用于生产和生活当中，其主要应用场景有图像处理、视频处理、计算和深度学习。异构计算能够针对多种不同的应用快速给出高性价比的方案，由于异构计算可全面适合人工智能和大数据时代处理海量数据的需求，因此异构计算成为了数据中心、智能手机、5G、智能驾驶等应用领域的主流芯片架构。
[0004]异构算力是伴随着面向算力网络的泛在连接，算力呈现异构性的趋势。另一方面，随着芯片以及硬件的开源化，不同的设备厂商结合不同的场景，设计并开发了适合的计算芯片进行数据处理。从而促进了算力市场从传统的通用性向专用性的趋势发展。在对用户的需要进行计算任务时，一般直接根据芯片的计算能力来对用户任务所需的算力资源进行编排调度，但是在算力资源调度时后续提供的用户任务均需要芯片计算会造成芯片计算的压力过大，使得匹配算力需求效率较低。

技术实现思路

[0005]本专利技术旨在克服上述现有技术的至少一种缺陷，提供一种异构算力编排调度方法，解决上述
技术介绍
提出的算力资源调度时后续提供的用户任务均需要芯片计算会造成芯片计算的压力过大的问题。本专利技术采取的技术方案是，获取若干用户任务；根据数据库识别用户任务；根据用户任务种类确定算力资源需求；根据算力资源需求建立动态调度模型，确定调度策略；根据调度策略对算力资源进行分配，算力管理服务器统一编排若干用户任务；将用户任务中需要计算的数据加密并上传到云计算平台；云计算平台将所述数据存储并协同边缘计算平台进行计算；所述数据库用于存储用户的历史数据。通过数据库调取数据库中历史用户任务所需的历史算力，从而判断出不同用户任务的算力，快速确定算力需求，用以对用户任务进行快速匹配寻找合适的算力资源，进而可以对复杂的用户任务进行高效处理，避免需要过度使用算力芯片计算，导致算力芯片压力过大。
[0006]进一步，根据数据库识别用户任务包括：根据数据库中的历史数据，识别用户任务的种类和优先级。用户任务可以包括多种类型和优先度，云计算环境下的任务种类和优先级的识别，实质是将n个任务合理调度给m个异构资源，以便高效完成任务，可以视为一个
NP
‑
hard问题，由于解NP
‑
hard问题的函数值仅有相对最优解，因此在任务调度中经常将最短任务完成时间跨度设定为目标函数。将调度目标函数将不仅以任务完成时间跨度度量，而是作为一个QoS效用函数，新的效用函数将以执行成本约束、资源可靠性约束和任务完成时间约束来计算。
[0007]进一步，根据用户任务种类确定算力资源需求后计算可调度的算力资源余量，根据算力资源需求和算力资源余量建立动态调度模型，确定调度策略。通过计算可调度的资源余量，可以更好地建立动态调度模型，确定调度策略，进而对复杂的用户任务进行高效处理，避免需要过度使用算力芯片计算，导致算力芯片压力过大。
[0008]进一步，根据数据库识别用户任务包括将用户任务与数据库中对应用户的历史数据进行比对，确定算力资源需求。通过对历史数据的比对，确定用户的历史算力资源需求，进而可以更好地进行算力资源的匹配，达到对用户任务高效处理，避免进程阻塞，减少算力芯片压力的效果。
[0009]进一步，根据算力资源需求，基于动态规划算法建立动态调度模型，确定调度策略。通过动态规划算法，将大问题划为小问题，进而逐步获取最优解，将最佳的调度策略视为最优解，建立动态规划模型。
[0010]进一步，根据调度策略结合动态规划算法对算力资源进行分配，算力管理服务器根据优先级统一编排若干用户任务。结合调度策略与动态规划算法，对算力资源进行分配，得到用户任务的优先级，进而算力管理服务器可以根据优先级统一编排若干的用户任务。
[0011]进一步，云计算平台协同对应的边缘计算平台，对图像、视频和语音数据进行分析计算。在本专利技术的应用场景下，数据具有异构型且数据量较大，数据处理的应用程序具有多样性，不同应用程序所关联的用户任务又不尽相同，对于用户任务的管理具有较大的复杂性，而简单的中间件软件结构无法有效保证用户的计算任务可行性、应用程序的可靠性以及资源利用的最大化。同时，面向不同应用或场景的边缘计算系统所要实现的功能有所差异性。因此，需要应用边缘计算平台对不同的用户任务进行分析计算，进而达到对用户任务进行高效处理，提高计算效率的技术效果。
[0012]本专利技术还提供一种异构算力编排调度系统，包括：任务获取模块，用于获取若干用户任务；用户任务识别模块，用于结合数据库识别用户任务；数据库，用于存储用户的历史数据；调度策略模块，用于根据算力资源需求建立动态调度模型，确定调度策略；算力资源分配模块，用于根据调度策略对算力资源进行分配；算力管理服务器，用于统一编排若干用户任务；加密模块，用于将用户任务中需要计算的数据加密并上传到云计算平台；云计算平台，用于将所述数据存储并协同边缘计算平台进行计算。
[0013]异构算力芯片可以计算出用户任务的算力资源需求，并且得到剩余算力资源的余量，同时通过历史经验池和数据库调取数据库中历史用户任务所需的历史算力，从而判断出不同用户任务的算力，方便快速确定算力需求，用以快速对新增的用户任务进行快速匹配合适的异构算力。
[0014]根据调度策略对算力资源进行管理，通过算力管理服务器将编排的所有算力资源项目根据任务的优先级进行排序，之后，通过服务网络将多项用户任务的算力分配数据上传到调度终端的云计算平台，通过云计算平台协同边缘计算模块对图像、视频和语音进行快速分析处理，从而可以对复杂的用户任务进行高效处理。
[0015]本专利技术的设备和存储介质与异构算力管理方法基于同样的专利技术构思，在此不再赘述。
[0016]与现有技术相比，本专利技术的有益效果为：
[0017]1.可以对复杂的用户任务进行高效处理。
[0018]2.避免需要过度使用算力芯片计算，导致算力芯片压力过大。
[0019]3.提高计算效率。
附图说明
[0020]图1为本专利技术的异构算力编排调度方法的流程图。
[0021]图2为本专利技术实施的系统结构图。
具体实施方式
[0022]本专利技术附图仅用于示例性说明，不能理解为对本专利技术的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构算力编排调度方法，其特征在于，包括：获取若干用户任务；根据数据库识别用户任务；根据用户任务种类确定算力资源需求；根据算力资源需求建立动态调度模型，确定调度策略；根据调度策略对算力资源进行分配，算力管理服务器统一编排若干用户任务；将用户任务中需要计算的数据加密并上传到云计算平台；云计算平台将所述数据存储并协同边缘计算平台进行计算；所述数据库用于存储用户的历史数据。2.根据权利要求1所述的异构算力编排调度方法，其特征在于，根据数据库识别用户任务包括：根据数据库中的历史数据，识别用户任务的种类和优先级。3.根据权利要求1所述的异构算力编排调度方法，其特征在于，根据用户任务种类确定算力资源需求后计算可调度的算力资源余量，根据算力资源需求和算力资源余量建立动态调度模型，确定调度策略。4.根据权利要求1所述的异构算力编排调度方法，其特征在于，根据数据库识别用户任务包括将用户任务与数据库中对应用户的历史数据进行比对，确定算力资源需求。5.根据权利要求1所述的异构算力编排调度方法，其特征在于，根据算力资源需求，基于动态规划算法建立动态调度模型，确定调度策略。6.根据权利要求1所述的异构算力编排调...

【专利技术属性】
技术研发人员：刘运奇，冯汉枣，黎元宝，
申请(专利权)人：联通广东产业互联网有限公司，
类型：发明
国别省市：