一种基于加速卡的服务运行方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开一种基于加速卡的服务运行方法、装置、电子设备及存储介质，涉及计算机技术领域，能够在保证加速卡服务响应速度的同时，有效提高加速卡的利用率。所述加速卡上部署有至少一个服务，该方法包括：对于所述至少一个服务中的每个服务，响应于该服务进入冻结状态的事件，将该服务对应的进程从所述加速卡的板载内存换出到中央处理器CPU的内存；以及，对于所述至少一个服务中的每个服务，响应于该服务进入激活状态的事件，将该服务对应的进程从CPU的内存换入到所述加速卡的板载内存。本发明专利技术可用于加速卡的服务运行中。

【技术实现步骤摘要】
一种基于加速卡的服务运行方法、装置、电子设备及存储介质
本专利技术涉及计算机
，尤其涉及一种基于加速卡的服务运行方法、装置、电子设备及存储介质。
技术介绍
随着大数据和人工智能技术的发展，很多服务都以大量而复杂的数据运算为基础，而CPU的运算能力却越来越难以满足计算要求。因此，在许多场景下，会借助加速卡进行运算加速。常见的加速卡例如可以包括GPU(GraphicsProcessingUnit，图形处理器)、TPU(tensorprocessingunit，张量处理器)、NPU(Neural-networkProcessingUnit，嵌入式神经网络处理器)、FPGA(FieldProgrammableGateArray，现场可编程门阵列)等。加速卡具有强大的计算功能，但却需要较长时间对其所执行的程序进行初始化，因此，为了保证程序能够对服务请求进行及时响应，加速卡上运行的程序往往一经初始化即长期在线保持服务监听状态，即便服务需求并不频繁。举例而言，许多视频网站存在这样一种场景：有多个审核视频流的服务，每个所述审核视频流的服务需要根据传入的图片来判断某个视频流是否有违规的内容，若有则需要转交给人工处理。为了保证对审核请求的及时响应，每个服务都要独占一张加速卡。然而，该服务每天的请求数很低，可能一天只有几十个请求，从而造成大量的加速卡资源闲置。针对上述如何在保证加速卡服务响应速度的同时，有效提高加速卡的利用率，相关领域尚无有效的解决方案。
技术实现思路
有鉴于此，本专利技术实施例提供一种基于加速卡的服务运行方法、装置、电子设备及存储介质，能够在保证加速卡服务响应速度的同时，有效提高加速卡的利用率。第一方面，本专利技术实施例提供一种基于加速卡的服务运行方法，其中，所述加速卡上部署有至少一个服务，该方法包括：对于所述至少一个服务中的每个服务，响应于该服务进入冻结状态的事件，将该服务对应的进程从所述加速卡的板载内存换出到中央处理器CPU的内存；以及，对于所述至少一个服务中的每个服务，响应于该服务进入激活状态的事件，将该服务对应的进程从CPU的内存换入到所述加速卡的板载内存。可选的，所述将该服务对应的进程从所述加速卡的板载内存换出到中央处理器CPU的内存包括：在所述加速卡的板载内存中保留该服务对应的第一进程的上下文信息和所述第一进程所在的第一虚拟地址空间，将所述第一进程换出到所述中央处理器CPU的内存，以释放所述加速卡的板载内存中对应的被占用资源。可选的，所述将该服务对应的进程从CPU的内存换入到所述加速卡的板载内存包括：将该服务对应的所述第一进程，从所述中央处理器CPU的内存换入所述加速卡的板载内存，保存于所述板载内存的所述第一虚拟地址空间；根据所述第一进程的上下文信息，继续运行所述第一进程。可选的，所述进入激活状态的事件为：所述加速卡有新的资源被释放；所述响应于该服务进入激活状态的事件，将该服务对应的所述第一进程，从所述中央处理器CPU的内存换入所述加速卡的板载内存包括：确定所述板载内存的剩余空间是否大于或等于所述第一进程的第一虚拟地址空间；在所述板载内存的剩余空间大于或等于所述第一进程的第一虚拟地址空间的情况下，将所述第一进程从所述中央处理器CPU的内存换入所述加速卡的板载内存。可选的，所述确定所述板载内存的剩余空间是否大于或等于所述第一进程的第一虚拟地址空间之后，所述方法还包括：在板载内存的剩余空间小于所述第一进程的第一虚拟地址空间的情况下，从所述中央处理器CPU的内存预先保存的其他加速卡进程中，选择一个占用虚拟地址空间小于或等于所述板载内存的剩余空间的其他服务的第二进程；将所述第二进程从所述中央处理器CPU的内存换入所述加速卡的板载内存并运行。可选的，所述根据所述第一进程的上下文信息，继续运行所述第一进程包括：根据所述上下文信息识别所述第一进程；根据所述上下文信息维持的进程状态，从所述第一进程被换出所述加速卡的板载内存时的程序断点开始，继续运行所述第一进程。可选的，所述对于所述至少一个服务中的每个服务，响应于该服务进入冻结状态的事件，保留该服务对应的第一进程的上下文信息和所述第一进程所在的第一虚拟地址空间之前，所述方法还包括：在所述加速卡的板载内存中，申请一段第一虚拟地址空间作为保留空间；将所述保留空间映射给所述第一进程，得到所述第一进程的第一虚拟地址空间；在所述第一虚拟地址空间运行所述第一进程。可选的，所述进入冻结状态的事件包括以下至少一种：所述服务的空闲时长超过预设时长阈值；所述服务的运行速率低于预设速率阈值；所述服务的运行优先级低于预设优先级阈值。可选的，所述进入激活状态的事件包括以下至少一种：所述服务被调用；所述加速卡有新的资源被释放。可选的，所述加速卡为实体加速卡，或者由实体加速卡虚拟出的多个虚拟加速卡中的任一个。第二方面，本专利技术的实施例还提供一种基于加速卡的服务运行装置，其中，所述加速卡上部署有至少一个服务，该装置包括：换出单元，用于对于所述至少一个服务中的每个服务，响应于该服务进入冻结状态的事件，将该服务对应的进程从所述加速卡的板载内存换出到中央处理器CPU的内存；以及，换入单元，用于对于所述至少一个服务中的每个服务，响应于该服务进入激活状态的事件，将该服务对应的进程从CPU的内存换入到所述加速卡的板载内存。可选的，所述换出单元具体用于：对于所述至少一个服务中的每个服务，响应于该服务进入冻结状态的事件，在所述加速卡的板载内存中保留该服务对应的第一进程的上下文信息和所述第一进程所在的第一虚拟地址空间，将所述第一进程换出到所述中央处理器CPU的内存，以释放所述加速卡的板载内存中对应的被占用资源。可选的，所述换入单元包括：换入模块，用于对于所述至少一个服务中的每个服务，响应于该服务进入激活状态的事件，将该服务对应的所述第一进程，从所述中央处理器CPU的内存换入所述加速卡的板载内存，保存于所述板载内存的所述第一虚拟地址空间；继续运行模块，用于根据所述第一进程的上下文信息，继续运行所述第一进程。可选的，所述进入激活状态的事件为：所述加速卡有新的资源被释放；所述换入模块包括：确定子模块，用于确定所述板载内存的剩余空间是否大于或等于所述第一进程的第一虚拟地址空间；换入子模块，用于在所述板载内存的剩余空间大于或等于所述第一进程的第一虚拟地址空间的情况下，将所述第一进程从所述中央处理器CPU的内存换入所述加速卡的板载内存。可选的，所述换入模块还包括：选择子模块，用于在板载内存的剩余空间小于所述第一进程的第一虚拟地址空间的情况下，从所述中央处理器CPU的内存预先保存的其他加速卡进程中，选择一个占用虚拟地址空间小于或等于所述板载内存的剩余空间的其他服务的第二进程；所述换入子模块，还用于将所述第二进程从所述中央处理器CPU的内存换入所述加速卡的板载内存并运行。可选的，所述继续运行模块包括：识别子模块，用于根据所述上下文信息识别所述第一进程；继续运行子模块，用于根据所述上下文信息维持的进程状态，从所述本文档来自技高网...

【技术保护点】
1.一种基于加速卡的服务运行方法，其中，所述加速卡上部署有至少一个服务，该方法包括：/n对于所述至少一个服务中的每个服务，响应于该服务进入冻结状态的事件，将该服务对应的进程从所述加速卡的板载内存换出到中央处理器CPU的内存；/n以及，对于所述至少一个服务中的每个服务，响应于该服务进入激活状态的事件，将该服务对应的进程从CPU的内存换入到所述加速卡的板载内存。/n

【技术特征摘要】
1.一种基于加速卡的服务运行方法，其中，所述加速卡上部署有至少一个服务，该方法包括：
对于所述至少一个服务中的每个服务，响应于该服务进入冻结状态的事件，将该服务对应的进程从所述加速卡的板载内存换出到中央处理器CPU的内存；
以及，对于所述至少一个服务中的每个服务，响应于该服务进入激活状态的事件，将该服务对应的进程从CPU的内存换入到所述加速卡的板载内存。


2.根据权利要求1所述的方法，其特征在于，所述将该服务对应的进程从所述加速卡的板载内存换出到中央处理器CPU的内存包括：
在所述加速卡的板载内存中保留该服务对应的第一进程的上下文信息和所述第一进程所在的第一虚拟地址空间，将所述第一进程换出到所述中央处理器CPU的内存，以释放所述加速卡的板载内存中对应的被占用资源。


3.根据权利要求2所述的方法，其特征在于，所述将该服务对应的进程从CPU的内存换入到所述加速卡的板载内存包括：
将该服务对应的所述第一进程，从所述中央处理器CPU的内存换入所述加速卡的板载内存，保存于所述板载内存的所述第一虚拟地址空间；
根据所述第一进程的上下文信息，继续运行所述第一进程。


4.根据权利要求3所述的方法，其特征在于，所述进入激活状态的事件为：所述加速卡有新的资源被释放；
所述响应于该服务进入激活状态的事件，将该服务对应的所述第一进程，从所述中央处理器CPU的内存换入所述加速卡的板载内存包括：确定所述板载内存的剩余空间是否大于或等于所述第一进程的第一虚拟地址空间；在所述板载内存的剩余空间大于或等于所述第一进程的第一虚拟地址空间的情况下，将所述第一进程从所述中央处理器CPU的内存换入所述加速卡的板载内存。


5.根据权利要求4所述的方法，其特征在于，所述确定所述板载内存的剩余空间是否大于或等于所述第一进程的第一虚拟地址空间之后，所述方法还包括：
在板载内存的剩余空间小于所述第一进程的第一虚拟地址空间的情况下，从所述中央处理器CPU的内存预先保存的其他加速卡进程中，选择一个占用虚拟地址空间小于或等于所述板载内存的剩...

【专利技术属性】
技术研发人员：李孟轩，刘一鸣，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：北京;11