数据调度方法、设备技术

本发明专利技术公开了一种数据调度方法、设备。方法包括：在容器平台k8s创建CRD资源，记为Cache资源，并配置Cache资源的自定义字段；监听Cache资源及集群中节点缓存状态，当待缓存数据存在于至少一个节点上时，生成Node Cache资源；当存在需要加载缓存的Node Cache资源对应的节点时，根据相应自定义字段中的访问信息创建本地主机路径，并将远端数据集缓存到本地相应节点；响应于数据调度请求，根据数据调度请求中的缓存名称确定目标节点，并为在容器平台k8s创建的数据调度请求对应的Pod绑定目标节点；基于绑定目标节点的Pod，为容器挂载相应的本地主机路径，以实现数据调用。以实现数据调用。以实现数据调用。

【技术实现步骤摘要】
数据调度方法、设备


[0001]本专利技术涉及数据调度
，尤其涉及一种数据调度方法、设备。

技术介绍

[0002]在当今的云原生时代，机器学习在各个领域得到广泛应用。机器学习模型的训练通常需要依赖大量的数据集文件，这些数据集文件可能存储在远程存储系统中，如分布式文件系统、对象存储等。
[0003]然而，相关技术中，上述数据集文件存储方法会由于需要频繁从远程存储系统中读取大量数据集文件，且数据集存储在远程位置，会导致存在访问效率低下、训练速度受限的问题，而且，由于调度器的不可知性，训练作业有时会被调度到不具备所需数据集缓存的节点上，导致资源利用不均衡。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种数据调度方法，以提高访问效率和资源利用率。
[0005]本专利技术的第二个目的在于提出一种数据调度设备。
[0006]为达到上述目的，本专利技术第一方面实施例提出了一种数据调度方法，包括：在容器平台k8s创建CRD（Custom Resource Definition，自定义资源定义）资源，记为Cache资源，并配置所述Cache资源的自定义字段；监听所述Cache资源及集群中节点缓存状态，当待缓存数据存在于至少一个节点上时，生成Node（节点） Cache资源；当存在需要加载缓存的Node Cache资源对应的节点时，根据相应自定义字段中的访问信息创建本地主机路径，并将远端数据集缓存到本地相应节点；响应于数据调度请求，根据所述数据调度请求中的缓存名称确定目标节点，并为在所述容器平台k8s创建的所述数据调度请求对应的Pod（kubernetes中的基本单位）绑定所述目标节点；基于绑定所述目标节点的Pod，为容器挂载相应的本地主机路径，以实现数据调用。
[0007]为达到上述目的，本专利技术第二方面实施例提出了一种数据调度设备，包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现上述的数据调度方法。
[0008]本专利技术实施例的数据调度方法、设备，首先在容器平台k8s创建得到Cache资源，并配置Cache资源的自定义字段，进而监听Cache资源对应的集群中节点状态，并根据目标缓存需求和集群中节点状态生成Node Cache资源，当存在需要加载缓存的Node Cache资源对应的节点时，根据相应自定义字段中的访问信息创建本地主机路径，并将远端数据集缓存到本地相应节点，响应于数据调度请求，根据数据调度请求中的缓存名称确定目标节点，并为在容器平台k8s创建的数据调度请求对应的Pod绑定目标节点，基于绑定目标节点的Pod，为容器挂载相应的本地主机路径，以实现数据调用。通过该方法，可以实现将远端数据集缓存到本地节点，无需频繁从远程存储系统中读取文件，也无需通过网络传输来访问数据，而
且，由于基于绑定目标节点的Pod，为容器挂载相应的本地主机路径，可以实现可知调度，从而保障资源的利用。
[0009]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0010]图1是本专利技术一个或多个实施例的数据调度方法的流程图；图2是本专利技术一个示例的数据调度的示意图；图3是本专利技术一个示例的数据调度系统的架构示意图；图4是本专利技术一个示例的数据调度方法的流程图。
具体实施方式
[0011]下面参考附图描述本专利技术实施例的数据调度方法、设备，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。参考附图描述的实施例是示例性的，不能理解为对本专利技术的限制。
[0012]图1是本专利技术一个或多个实施例的数据调度方法的流程图。
[0013]如图1所示，数据调度方法，包括：S11，在容器平台k8s创建CRD资源，记为Cache资源，并配置Cache资源的自定义字段。
[0014]S12，监听Cache资源及集群中节点缓存状态，当待缓存数据存在于至少一个节点上时，生成Node Cache资源。
[0015]其中，当集群中所有节点均无缓存数据时，则根据Cache中定义的节点亲和配置或第一次任务调度时绑定的节点生成Node Cache资源。
[0016]S13，当存在需要加载缓存的Node Cache资源对应的节点时，根据相应自定义字段中的访问信息创建本地主机路径，并将远端数据集缓存到本地相应节点。
[0017]S14，响应于数据调度请求，根据数据调度请求中的缓存名称确定目标节点，并为在容器平台k8s创建的数据调度请求对应的Pod绑定目标节点。
[0018]S15，基于绑定目标节点的Pod，为容器挂载相应的本地主机路径，以实现数据调用。
[0019]由此，首先在容器平台k8s创建得到Cache资源，并配置Cache资源的自定义字段，进而监听Cache资源对应的集群中节点状态，并根据目标缓存需求和集群中节点状态生成Node Cache资源，当存在需要加载缓存的Node Cache资源对应的节点时，根据相应自定义字段中的访问信息创建本地主机路径，并将远端数据集缓存到本地相应节点，响应于数据调度请求，根据数据调度请求中的缓存名称确定目标节点，并为在容器平台k8s创建的数据调度请求对应的Pod绑定目标节点，基于绑定目标节点的Pod，为容器挂载相应的本地主机路径，以实现数据调用。通过该方法，可以实现将远端数据集缓存到本地节点，无需频繁从远程存储系统中读取文件，也无需通过网络传输来访问数据，而且，由于基于绑定目标节点的Pod，为容器挂载相应的本地主机路径，可以实现可知调度，从而保障资源的利用。
[0020]在本专利技术一个或多个实施例中，在容器平台k8s创建CRD资源，包括：在容器平台
k8s创建CRD资源类型Cache，并部署Controller、Scheduler Plugin、Agent、CSI（Container Storage Interface，容器存储接口）驱动，其中，Agent、CSI驱动与集群中节点一一对应；基于资源类型Cache，在容器平台k8s创建Cache资源。
[0021]其中，Cache CRD资源由用户创建，用于定义数据集的缓存需求，包含以下信息：（1）远端数据集地址：指定需要缓存的数据集的存放位置，可以是远程存储或云存储。
[0022]（2）数据集大小：指定数据集的存储大小。
[0023]（3）缓存的副本数：指定需要缓存的数据集在节点间的副本数量，将数据集缓存分布到不同的节点之上，以满足分布式作业等需求。
[0024]（4）节点亲和性配置：允许将缓存的数据集调度到具有相应标签或属性的节点上，以确保训练作业使用缓存的同时满足固定计算资源的需求。
[0025]Cache Controller是一个控制器组件，负责监视和管理Cache CRD的状态。
[0026]Cache Schedule本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据调度方法，其特征在于，包括：在容器平台k8s创建CRD资源，记为Cache资源，并配置所述Cache资源的自定义字段；监听所述Cache资源及集群中节点缓存状态，当待缓存数据存在于至少一个节点上时，生成Node Cache资源；当Node Cache的缓存状态为未加载时，根据相应自定义字段中的访问信息创建本地主机路径，并将远端数据集缓存到本地相应节点；响应于数据调度请求，根据所述数据调度请求中的缓存名称确定目标节点，并为在所述容器平台k8s创建的所述数据调度请求对应的Pod绑定所述目标节点；基于绑定所述目标节点的Pod，为容器挂载相应的本地主机路径，以实现数据调用。2.根据权利要求1所述的数据调度方法，其特征在于，所述在容器平台k8s创建CRD资源，包括：在所述容器平台k8s创建CRD资源类型Cache，并部署Controller、Scheduler Plugin、Agent、CSI驱动，其中，所述Agent、所述CSI驱动与集群中节点一一对应；基于所述资源类型Cache，在所述容器平台k8s创建所述Cache资源。3.根据权利要求2所述的数据调度方法，其特征在于，基于所述容器平台k8s的watch机制，通过所述Controller对所述Cache资源对应的集群中节点状态进行监听。4.根据权利要求3所述的数据调度方法，其特征在于，所述方法还包括：当所述Controller根据所述集群中节点状态确定到所述Cache资源发生变化时，根据所述Cache资源的期望状态与实际状态进行调谐，以使所述期望状态与所述实际状态一致。5.根据权利要求1所述的数据调度方法，其特征在于，所述访问信息包括远端数据集地址，所述自定义字段还包括远端数据集大小、缓存副本数、节点亲和性配置信息，其中...

【专利技术属性】
技术研发人员：王石，朱建，常峰，胡安，王兴瑞，刘海峰，
申请(专利权)人：合肥中科类脑智能技术有限公司，
类型：发明
国别省市：