异构计算设备虚拟化方法及系统技术方案

本申请公开了异构计算设备虚拟化方法及系统。其中，所述方法包括：将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。采用这种处理方式，使得以逻辑异构计算设备的方式供用户使用，建立异构领域的新设备形态，不仅软硬件解耦，减少用户对于不同硬件形态的驱动和接口适配，且支持弹性效率和空间更大，有效提升了异构计算设备的虚拟化能力。设备的虚拟化能力。设备的虚拟化能力。

【技术实现步骤摘要】
异构计算设备虚拟化方法及系统


[0001]本申请涉及云计算
，具体涉及异构计算设备虚拟化方法及系统，异构计算设备板卡，应用开发装置，虚拟异构计算设备管理器，虚拟化管理系统。

技术介绍

[0002]云计算的发展已经进入到云原生时代，云原生（Cloud Native）是基于分布部署和统一运管的分布式云，以容器、微服务、DevOps（过程、方法与系统的统称）等技术为基础建立的一套云技术产品体系。云原生应用是面向“云”而设计的应用，相对于传统的虚拟机或者裸机时代，云原生时代的人工智能AI应用小型化，常态化，AI应用越来越轻量化，如单服务的算力诉求只有1Tops（处理器每秒钟可进行一万亿次操作）。
[0003]为了解决AI应用计算复杂的问题，企业通常会构建共享的异构计算设备（XPU）集群，用来支持横跨多个领域产品的发展，如计算机视觉、自然语言处理、语音识别、推荐和广告服务等。异构计算设备算力大，又称为异构AI加速硬件，如GPU、NPU、ASIC、FPGA硬件等。目前，异构AI加速硬件虚拟化主要采用通用并行计算架构（Compute Unified Device Architecture，CUDA），该架构通过静态异构资源调度和分配显存的方式共享单个XPU。
[0004]然而，在实现本专利技术过程中，专利技术人发现上述异构AI加速硬件虚拟化技术方案至少存在如下问题：1）异构计算设备的AI芯片往往都是几百Tops，在面向单服务的算力诉求较低（如只有1Tops）的云原生应用时，静态调度方式共享异构设备相比网络和存储不足，单芯片只能虚拟化成几个设备，当前的AI芯片虚拟化能力不足，无法满足云原生几百甚至上千弹性诉求，即无法满足云原生多租户的共享诉求；2）呈现给用户的显存容量之间无法隔离，用户看到整个空间的显存，安全上存在风险。综上所述，在单服务算力诉求较低的云原生场景中，现有技术存在异构计算设备的虚拟化技术能力不足等问题。

技术实现思路

[0005]本申请提供异构计算设备虚拟化方法，以解决现有技术存在的面向云原生应用异构虚拟化能力不足等问题。本申请另外提供异构计算设备虚拟化系统，异构计算设备板卡，应用开发装置，虚拟异构计算设备管理器，虚拟化管理系统。
[0006]本申请提供一种异构计算设备虚拟化系统，包括：将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。
[0007]可选的，还包括：确定目标应用的异构计算资源需求量；
所述为目标应用的虚拟运行环境分配虚拟异构计算资源，采用如下方式：根据所述资源需求量，为所述虚拟运行环境分配所述虚拟异构计算资源。
[0008]可选的，所述目标应用包括人工智能应用；根据机器学习模型的类型和参数，确定所述资源需求量。
[0009]可选的，根据预设的资源分配量,为所述虚拟运行环境分配虚拟异构计算资源。
[0010]可选的，所述目标应用为重量级应用；将基于多个异构计算设备的物理异构计算资源形成的虚拟异构计算资源分配给一个重量级应用。
[0011]可选的，所述目标应用为轻量级应用；将基于一个或者多个异构计算设备的物理异构计算资源形成的虚拟异构计算资源分配给多个轻量级应用。
[0012]可选的，所述虚拟异构计算资源包括以下资源的至少一项：算力，异构处理器主存，算子列表，通信带宽。
[0013]可选的，所述虚拟运行环境包括：容器或者虚拟机。
[0014]可选的，不同应用对应的不同虚拟异构计算设备之间相互隔离使用异构处理器主存。
[0015]可选的，所述虚拟异构计算设备在主机操作系统中的以逻辑异构计算设备或者文件方式呈现。
[0016]本申请还提供一种异构计算设备虚拟化系统，包括：异构计算设备虚拟化装置，用于为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；异构设备资源池管理装置，用于将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。
[0017]可选的，云平台服务端与异构计算设备之间通过网络连接；所述异构计算设备虚拟化装置部署在云平台服务端；所述异构设备资源池管理装置部署在异构计算设备端。
[0018]可选的，云平台服务端与异构计算设备位于同一服务器；所述异构计算设备虚拟化装置和所述异构设备资源池管理装置部署在服务器中。
[0019]本申请还提供一种异构计算设备板卡，包括：资源统一单元，用于将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；虚拟资源调度单元，用于为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；物理资源调度单元，用于根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。
[0020]本申请还提供一种应用开发装置，用于以虚拟异构计算设备为编程视图，确定在
虚拟运行环境中使用异构计算资源运行目标应用的程序代码。
[0021]本申请还提供一种虚拟异构计算设备管理器，用于管理虚拟异构计算设备；所述虚拟异构计算设备采用如下方式处理：将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。
[0022]可选的，所述管理虚拟异构计算设备包括：显示虚拟异构计算设备的属性信息。
[0023]可选的，所述属性信息包括以下信息的至少一项：算力资源量，算力使用率，异构处理器主存容量，主存使用率，算子列表，异构计算板卡的通信带宽，异构计算节点的通信带宽。
[0024]本申请还提供一种虚拟化管理系统，包括：异构计算设备虚拟化插件，用于将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。
[0025]本申请还提供一种电子设备，包括：处理器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构计算设备虚拟化方法，其特征在于，包括：将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。2.根据权利要求1所述的方法，其特征在于，还包括：确定目标应用的异构计算资源需求量；所述为目标应用的虚拟运行环境分配虚拟异构计算资源，采用如下方式：根据所述资源需求量，为所述虚拟运行环境分配所述虚拟异构计算资源。3.根据权利要求2所述的方法，其特征在于，所述目标应用包括人工智能应用；根据机器学习模型的类型和参数，确定所述资源需求量。4.根据权利要求1所述的方法，其特征在于，根据预设的资源分配量,为所述虚拟运行环境分配虚拟异构计算资源。5.根据权利要求1所述的方法，其特征在于，所述目标应用为重量级应用；将基于多个异构计算设备的物理异构计算资源形成的虚拟异构计算资源分配给一个重量级应用。6.根据权利要求1所述的方法，其特征在于，所述目标应用为轻量级应用；将基于一个或者多个异构计算设备的物理异构计算资源形成的虚拟异构计算资源分配给多个轻量级应用。7.根据权利要求1所述的方法，其特征在于，所述虚拟异构计算资源包括以下资源的至少一项：算力，异构处理器主存，算子列表，通信带宽。8.根据权利要求1所述的方法，其特征在于，不同应用对应的不同虚拟异构计算设备之间相互隔离使用异构处理器主存。9.根据权利要求1所述的方法，其特征在于，所述虚拟异构计算设备在主机操作系统中以逻辑异构计算设备或者文件方式呈现。10.一种异构计算设备虚拟化系统，其特征在于，包括：异构计算设备虚拟化装置，用于为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；异构设备资源池管理装置，用于将异...

【专利技术属性】
技术研发人员：杜垠，王富，张伟丰，苏德现，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：