一种基于加速卡的服务运行方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开一种基于加速卡的服务运行方法、装置、电子设备及存储介质，涉及计算机技术领域，能够在保证加速卡服务响应速度的同时，有效提高加速卡的利用率。所述加速卡上部署有至少一个服务，该方法包括：对于所述至少一个服务中的每个服务，响应于该服务进入冻结状态的事件，将该服务对应的进程从所述加速卡的板载内存换出到中央处理器CPU的内存；以及，对于所述至少一个服务中的每个服务，响应于该服务进入激活状态的事件，将该服务对应的进程从CPU的内存换入到所述加速卡的板载内存。本发明专利技术可用于加速卡的服务运行中。

【技术实现步骤摘要】
一种基于加速卡的服务运行方法、装置、电子设备及存储介质
本专利技术涉及计算机
，尤其涉及一种基于加速卡的服务运行方法、装置、电子设备及存储介质。
技术介绍
随着大数据和人工智能技术的发展，很多服务都以大量而复杂的数据运算为基础，而CPU的运算能力却越来越难以满足计算要求。因此，在许多场景下，会借助加速卡进行运算加速。常见的加速卡例如可以包括GPU(GraphicsProcessingUnit，图形处理器)、TPU(tensorprocessingunit，张量处理器)、NPU(Neural-networkProcessingUnit，嵌入式神经网络处理器)、FPGA(FieldProgrammableGateArray，现场可编程门阵列)等。加速卡具有强大的计算功能，但却需要较长时间对其所执行的程序进行初始化，因此，为了保证程序能够对服务请求进行及时响应，加速卡上运行的程序往往一经初始化即长期在线保持服务监听状态，即便服务需求并不频繁。举例而言，许多视频网站存在这样一种场景：有多个审核视频流的服务，每个所述审核视频流的服务本文档来自技高网...

【技术保护点】
1.一种基于加速卡的服务运行方法，其中，所述加速卡上部署有至少一个服务，该方法包括：/n对于所述至少一个服务中的每个服务，响应于该服务进入冻结状态的事件，将该服务对应的进程从所述加速卡的板载内存换出到中央处理器CPU的内存；/n以及，对于所述至少一个服务中的每个服务，响应于该服务进入激活状态的事件，将该服务对应的进程从CPU的内存换入到所述加速卡的板载内存。/n

【技术特征摘要】
1.一种基于加速卡的服务运行方法，其中，所述加速卡上部署有至少一个服务，该方法包括：
对于所述至少一个服务中的每个服务，响应于该服务进入冻结状态的事件，将该服务对应的进程从所述加速卡的板载内存换出到中央处理器CPU的内存；
以及，对于所述至少一个服务中的每个服务，响应于该服务进入激活状态的事件，将该服务对应的进程从CPU的内存换入到所述加速卡的板载内存。


2.根据权利要求1所述的方法，其特征在于，所述将该服务对应的进程从所述加速卡的板载内存换出到中央处理器CPU的内存包括：
在所述加速卡的板载内存中保留该服务对应的第一进程的上下文信息和所述第一进程所在的第一虚拟地址空间，将所述第一进程换出到所述中央处理器CPU的内存，以释放所述加速卡的板载内存中对应的被占用资源。


3.根据权利要求2所述的方法，其特征在于，所述将该服务对应的进程从CPU的内存换入到所述加速卡的板载内存包括：
将该服务对应的所述第一进程，从所述中央处理器CPU的内存换入所述加速卡的板载内存，保存于所述板载内存的所述第一虚拟地址空间；
根据所述第一进程的上下文信息，继续运行所述第一进程。


4.根据权利要求3所述的方法，其特征在于，所述进入激活状态的事件为：所述加速卡有新的资源被释放；
所述响应于该服务进入激活状态的事件，将该服务对应的所述第一进程，从所述中央处理器CPU的内存换入所述加速卡的板载内存包括：确定所述板载内存的剩余空间是否大于或等于所述第一进程的第一虚拟地址空间；在所述板载内存的剩余空间大于或等于所述第一进程的第一虚拟地址空间的情况下，将所述第一进程从所述中央处理器CPU的内存换入所述加速卡的板载内存。


5.根据权利要求4所述的方法，其特征在于，所述确定所述板载内存的剩余空间是否大于或等于所述第一进程的第一虚拟地址空间之后，所述方法还包括：
在板载内存的剩余空间小于所述第一进程的第一虚拟地址空间的情况下，从所述中央处理器CPU的内存预先保存的其他加速卡进程中，选择一个占用虚拟地址空间小于或等于所述板载内存的剩...

【专利技术属性】
技术研发人员：李孟轩，刘一鸣，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：北京;11