数据缓存的管理与调度方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术涉及一种数据缓存的管理与调度方法、装置、电子设备和存储介质，该方法应用于包括缓存控制器和缓存调度器的系统中，包括：集群的API

【技术实现步骤摘要】
数据缓存的管理与调度方法、装置、电子设备和存储介质


[0001]本专利技术涉及数据缓存管理
，具体涉及数据缓存的管理与调度方法、装置、电子设备和存储介质。

技术介绍

[0002]目前，基于kubernetes构建的传统的大规模机器学习平台的缓存没有基于生命周期管理；缓存在机器学习平台上没有办法像调度kubernetes自有的容器一样具有相应的自动化生命周期管理；平台的深度学习任务使用缓存的时候，只能手动指定分配到具有缓存的节点上，当超大规模的任务同时使用缓存的时候，没办法具有有效的策略来调度缓存与任务的适配关系。

技术实现思路

[0003]本专利技术提供一种数据缓存的管理与调度方法、装置、电子设备和存储介质，能够解决上述技术问题。
[0004]本专利技术解决上述技术问题的技术方案如下：
[0005]第一方面，本专利技术实施例提供一种数据缓存的管理与调度方法，应用于包括缓存控制器和缓存调度器的系统中，包括：
[0006]集群的API
‑
server接收到用户创建缓存数据集的请求；...

【技术保护点】

【技术特征摘要】
1.一种数据缓存的管理与调度方法，其特征在于，应用于包括缓存控制器和缓存调度器的系统中，包括：集群的API
‑
server接收到用户创建缓存数据集的请求；所述缓存控制器监听到所述创建缓存数据集任务的请求，根据用户自定义的值调用回调函数创建所述缓存数据集；所述缓存调度器接收到创建所述缓存数据集的请求，根据相应的调度策略下发所述缓存数据集，所述缓存数据集创建成功；其中，所述用户自定义的值包括：缓存数据集的容量、缓存数据集的状态和缓存数据集的底层存储的数据路径。2.根据权利要求1所述的数据缓存的管理与调度方法，其特征在于，上述方法还包括：集群的API
‑
server接收到用户提交的带有所述缓存数据集的任务创建请求；集群的原生控制器接收到所述任务的创建请求；所述缓存调度器根据缓存数据集的信息、pod的创建信息、节点的信息以及相应的调度策略信息下发资源到节点；代理在节点创建所述任务。3.根据权利要求2所述的数据缓存的管理与调度方法，其特征在于，所述方法还包括：所述缓存调度器从所述集群的API
‑
server获取所述缓存数据集的信息和所述节点的信息；其中，所述缓存数据集的信息包括：缓存数据集的容量、缓存数据集的状态，缓存数据集的底层存储的数据路径；节点的信息包括：节点本身每个机器总内存大小、可分配内存的大小；所述缓存数据集的信息和所述节点的信息均放置在Cache内。4.根据权利要求1所述的数据缓存的管理与调度方法，其特征在于，缓存调度器内包含session模块，所述session模块根据集群的调度策略与当前集群的信息，确定...

【专利技术属性】
技术研发人员：吕冬冬，刘青松，梁家恩，
申请(专利权)人：云知声智能科技股份有限公司，
类型：发明
国别省市：