用于算子服务的处理方法、装置、智能工作站和电子设备制造方法及图纸

本申请公开了一种用于算子服务的处理方法，涉及人工智能技术领域，可用于机器学习和深度学习、云计算和云平台、计算机视觉、自然语言处理、语音交互等领域。具体实现方案为：确定用于部署算子服务的N类算力资源，其中在N类算力资源中的每类算力资源中，针对算子服务设置有至少一个容器；获取基于算子服务生成的N个服务镜像；以及将N个服务镜像分别部署到N类算力资源中针对算子服务设置的容器内。

【技术实现步骤摘要】
用于算子服务的处理方法、装置、智能工作站和电子设备
本申请涉及人工智能
，可用于云计算和云平台等领域，更具体地，涉及一种用于算子服务的处理方法、装置、智能工作站、电子设备和存储介质。
技术介绍
随着人工智能技术的不断发展，人工智能服务开始向各行业渗透。例如，各行业开始在各个环节引入人工智能服务，导致人工智能服务的创新快速呈现碎片化、场景化的趋势。
技术实现思路
本申请提供了一种用于算子服务的处理方法、装置、电子设备以及存储介质。根据第一方面，提供了一种用于算子服务的处理方法，包括：确定用于部署算子服务的N类算力资源，其中在上述N类算力资源中的每类算力资源中，针对上述算子服务设置有至少一个容器；获取基于上述算子服务生成的N个服务镜像；以及将上述N个服务镜像分别部署到上述N类算力资源中针对上述算子服务设置的容器内。根据第二方面，提供了一种用于算子服务的处理装置，包括：确定模块，用于确定用于部署算子服务的N类算力资源，其中在上述N类算力资源中的每类算力资源中，针对上述算子服务设置有至少一个容器；获取模块，用于获取基于本文档来自技高网...

【技术保护点】
1.一种用于算子服务的处理方法，包括：/n确定用于部署算子服务的N类算力资源，其中在所述N类算力资源中的每类算力资源中，针对所述算子服务设置有至少一个容器；/n获取基于所述算子服务生成的N个服务镜像；以及/n将所述N个服务镜像分别部署到所述N类算力资源中针对所述算子服务设置的容器内。/n

【技术特征摘要】
1.一种用于算子服务的处理方法，包括：
确定用于部署算子服务的N类算力资源，其中在所述N类算力资源中的每类算力资源中，针对所述算子服务设置有至少一个容器；
获取基于所述算子服务生成的N个服务镜像；以及
将所述N个服务镜像分别部署到所述N类算力资源中针对所述算子服务设置的容器内。


2.根据权利要求1所述的方法，其中，还包括：
预测支持所述算子服务运行所需的资源配额；以及
基于预测的资源配额，在所述N类算力资源中的每类算力资源中，针对所述算子服务设置至少一个容器。


3.根据权利要求2所述的方法，其中，所述基于预测的资源配额，在所述N类算力资源中的每类算力资源中，针对所述算子服务设置所述至少一个容器，包括：针对所述每类算力资源，
将所述预测的资源配额转换为与当前类别的算力资源匹配的资源配额；以及
基于转换后的资源配额，在所述当前类别的算力资源中针对算子服务设置至少一个容器。


4.根据权利要求2所述的方法，其中，还包括：
响应于针对所述算子服务设置的任一容器的负载超出预设值，对负载超出预设值的容器进行扩容处理。


5.根据权利要求1所述的方法，其中，还包括：
响应于新增了M类算力资源，获取基于所述算子服务新生成的M个服务镜像，其中在所述M类算力资源中的每类算力资源中，针对所述算子服务设置有至少一个容器；以及
将所述M个服务镜像分别部署到所述M类算力资源中的容器内。


6.根据权利要求1所述的方法，其中，还包括：
响应于接收到针对所述算子服务的请求，基于所述N类算力资源之间的算力负载平衡情况，调度用于响应所述请求的算力资源。


7.根据权利要求1所述的方法，其中，还包括：在所述获取基于所述算子服务生成的N个服务镜像之前，
获取至少一个AI模型文件；
基于所述至少一个AI模型文件，生成包含至少一个子算子服务的算子服务；以及
基于所述算子服务，生成所述N个服务镜像。


8.根据权利要求7所述的方法，其中，基于所述算子服务，生成所述N个服务镜像，包括：
获取与所述算子服务匹配的至少一个预处理组件和至少一个后处理组件；以及
基于所述算子服务、所述至少一个预处理组件和所述至少一个后处理组件，生成所述N个服务镜像。


9.根据权利要求8所述的方法，其中，
所述N个服务镜像中的每个服务镜像包括：
基于所述算子服务生成的第一镜像，其中所述第一镜像包括至少一个第一子镜像；
基于所述至少一个预处理组件生成的第二镜像，其中所述第一镜像包括至少一个第二子镜像；以及
基于所述至少一个后处理组件生成的第三镜像，其中所述第一镜像包括至少一个第三子镜像；
将所述N个服务镜像分别部署到所述N类算力资源中针对所述算子服务设置的容器内，包括：针对所述每类算力资源，
将对应的第一镜像、第二镜像和第三镜像分别部署在针对所述算子服务设置的不同容器内；或者，
将对应的第一镜像、第二镜像和第三镜像中的至少两个部署在针对所述算子服务设置的同一容器内；或者，
将对应的至少一个第一子镜像、至少一个第二子镜像和至少一个第三子镜像中的每个子镜像分别部署在针对所述算子服务设置的不同容器内。


10.一种用于算子服务的处理装置，包括：
确定模块，用于确定用于部署算子服务的N类算力资源，其中在所述N类算力资源中的每类算力资源中，针对所述算子服务设置有至少一个容器；
第一获取模块，用于获取基于所述算子服务生成的N个服务镜像；以及
第一部署模块，用于将所述N个服务镜像分别部署到所述N类算力资源中针对所...

【专利技术属性】
技术研发人员：苑辰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11