缓存部署与任务调度方法、终端和计算机可读存储介质技术

本申请公开了一种缓存部署与任务调度方法、终端和计算机可读存储介质，该方法包括：获取训练集的增益矩阵，基于增益矩阵中的缓存增益将训练集部署至各缓存节点中；接收任务调度指令，获取任务中使用的训练集和第一处理器数量；根据使用的训练集和第一处理器数量遍历部署矩阵以确定缓存节点，将任务调度至缓存节点中。解决了目前针对HDFS性能优化的研究多停留在其自身，忽略了上层业务的特点，从而难以解决上层应用的痛点以及优化效果不佳的技术问题，提高了人工智能应用场景下的计算节点缓存利用率和命中率，降低了HDFS集群网络、I/O口压力和深度学习任务数据的加载时间，提高了深度学习任务的执行效率。学习任务的执行效率。学习任务的执行效率。

【技术实现步骤摘要】
缓存部署与任务调度方法、终端和计算机可读存储介质


[0001]本申请涉及计算机网络
，尤其涉及一种缓存部署与任务调度方法、终端和计算机可读存储介质。

技术介绍

[0002]随着大数据技术的应用和发展，大量实际应用中的数据量已经超过了传统单机的存储和计算能力，因此，分布式水平扩展就成为了大数据系统的解决方案。HDFS(分布式文件系统)旨在解决大数据的分布式存储问题，并已广泛应用于各行各业的大数据系统中，作为底层的文件存储系统，HDFS支持非常丰富的应用程序场景，例如复杂查询分析、交互式分析、详细订单查询、键值对存储和查询、迭代计算等。HDFS作为通用的分布式存储系统，向上支撑了丰富的应用场景，其中，人工智能应用场景具有训练集数量固定，读多写少，训练集很少修改，各训练集访问热度随时间变化不大的特点。同时，训练集多为图像文本等小文件，HDFS不能高效地处理大量小文件的读写操作，对集群网络、IO等具有较大压力。而传统的优化方法很少考虑上层应用的特点，仅针对HDFS本身，如网络协议，元数据结构等，进行优化。也即，目前针对HDFS性能优化的研究多停留在其自身，忽略了上层业务的特点，导致实际应用时，或是难以解决上层应用的痛点，或是优化效果不佳。

技术实现思路

[0003]本申请实施例通过提供一种缓存部署与任务调度方法、终端和计算机可读存储介质，旨在解决目前针对HDFS性能优化的研究多停留在其自身，忽略了上层业务的特点，从而难以解决上层应用的痛点以及优化效果不佳的问题。
[0004]为实现上述目的，本申请一方面提供一种缓存部署与任务调度方法，所述缓存部署与任务调度方法包括以下步骤：
[0005]获取训练集的增益矩阵，基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中；
[0006]接收任务调度指令，获取任务中使用的训练集和第一处理器数量，所述第一处理器数量为所述训练集所需的处理器数量；
[0007]根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定缓存节点，将所述任务调度至所述缓存节点中。
[0008]可选地，所述基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中的步骤包括：
[0009]获取所述增益矩阵中的最大增益值；
[0010]当所述最大增益值满足设定条件时，确定所述各缓存节点中最小缓存收益值；
[0011]将所述最大增益值的训练集副本部署至所述最小缓存收益值对应的第一缓存节点中。
[0012]可选地，所述根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定
缓存节点的步骤包括：
[0013]获取所述各缓存节点分别对应的第二处理器数量，所述第二处理器数量为所述缓存节点当前可用的处理器数量；
[0014]根据所述使用的训练集和所述第一处理器数量遍历所述部署矩阵，以获取所述第二处理器数量大于或等于所述第一处理器数量对应的第二缓存节点。
[0015]可选地，所述获取所述增益矩阵中的最大增益值的步骤之后，还包括：
[0016]当所述最大增益值未满足设定条件时，对所述各缓存节点的缓存矩阵分别进行遍历，生成遍历结果；
[0017]根据所述遍历结果确定所述各缓存节点分别缓存的所述训练集副本。
[0018]可选地，所述将所述最大增益值的训练集副本部署至所述最小缓存收益值对应的第一缓存节点中的步骤包括：
[0019]获取所述第一缓存节点的第一缓存空间以及所述训练集的大小；
[0020]当所述第一缓存空间大于所述训练集的大小且所述缓存节点的缓存为设定值时，将所述最大增益值的训练集副本部署至所述第一缓存节点中。
[0021]可选地，所述基于所述匹配结果确定所述第二处理器数量大于或等于所述第一处理器数量的第二缓存节点的步骤之后，包括：
[0022]获取所述第二缓存节点的第二缓存空间；
[0023]当所述第二缓存空间满足设定条件时，则执行将所述任务调度至所述缓存节点中的步骤；或者，
[0024]当所述第二缓存空间未满足设定条件时，则遍历所述各缓存节点以确定满足约束条件的缓存节点，所述约束条件为所述缓存节点的处理器数量大于所述第一处理器数量。
[0025]可选地，所述将所述任务调度至所述缓存节点中的步骤之后，还包括：
[0026]在完成所述任务后，向任务调度中心发送反注册信息；
[0027]基于所述反注册信息更新所述第二缓存节点的缓存空间以及所述处理器数量。
[0028]可选地，所述获取训练集的增益矩阵的步骤之前，还包括：
[0029]设置所述约束条件；
[0030]统计操作日志时长以及各训练集的总访问次数，根据所述操作日志时长以及总访问次数计算所述各训练集分别对应的增益参数。
[0031]此外，为实现上述目的，本申请另一方面还提供一种终端，所述终端包括存储器、处理器及存储在存储器上并在处理器上运行的缓存部署与任务调度程序，所述处理器执行所述缓存部署与任务调度程序时实现如上所述缓存部署与任务调度方法的步骤。
[0032]此外，为实现上述目的，本申请另一方面还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有缓存部署与任务调度程序，所述缓存部署与任务调度程序被处理器执行时实现如上所述缓存部署与任务调度方法的步骤。
[0033]本实施例通过获取训练集的增益矩阵，基于增益矩阵中的缓存增益将训练集部署至各缓存节点中；接收任务调度指令，获取任务中使用的训练集和第一处理器数量，第一处理器数量为训练集所需的处理器数量；根据使用的训练集和第一处理器数量遍历部署矩阵以确定缓存节点，将任务调度至缓存节点中。解决了目前针对HDFS性能优化的研究多停留在其自身，忽略了上层业务的特点，从而难以解决上层应用的痛点以及优化效果不佳的技
术问题，提高了人工智能应用场景下的计算节点缓存利用率和命中率，降低了HDFS集群网络、I/O口压力和深度学习任务数据的加载时间，提高了深度学习任务的执行效率。
附图说明
[0034]图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图；
[0035]图2为本申请缓存部署与任务调度方法第一实施例的流程示意图；
[0036]图3为本申请缓存部署与任务调度方法第二实施例的流程示意图；
[0037]图4为本申请缓存部署与任务调度方法中基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中的流程示意图；
[0038]图5为本申请缓存部署与任务调度方法中根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定缓存节点的流程示意图；
[0039]图6为本申请缓存部署与任务调度方法的操作流程示意图。
[0040]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0041]应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0042]本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种缓存部署与任务调度方法，其特征在于，所述方法包括：获取训练集的增益矩阵，基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中；接收任务调度指令，获取任务中使用的训练集和第一处理器数量，所述第一处理器数量为所述训练集所需的处理器数量；根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定缓存节点，将所述任务调度至所述缓存节点中。2.根据权利要求1所述的缓存部署与任务调度方法，其特征在于，所述基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中的步骤包括：获取所述增益矩阵中的最大增益值；当所述最大增益值满足设定条件时，确定所述各缓存节点中最小缓存收益值；将所述最大增益值的训练集副本部署至所述最小缓存收益值对应的第一缓存节点中。3.根据权利要求1所述的缓存部署与任务调度方法，其特征在于，所述根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定缓存节点的步骤包括：获取所述各缓存节点分别对应的第二处理器数量，所述第二处理器数量为所述缓存节点当前可用的处理器数量；根据所述使用的训练集和所述第一处理器数量遍历所述部署矩阵，以获取所述第二处理器数量大于或等于所述第一处理器数量对应的第二缓存节点。4.根据权利要求2所述的缓存部署与任务调度方法，其特征在于，所述获取所述增益矩阵中的最大增益值的步骤之后，还包括：当所述最大增益值未满足设定条件时，对所述各缓存节点的缓存矩阵分别进行遍历，生成遍历结果；根据所述遍历结果确定所述各缓存节点分别缓存的所述训练集副本。5.根据权利要求2所述的缓存部署与任务调度方法，其特征在于，所述将所述最大增益值的训练集副本部署至所述最小缓存收益值对应的第一缓存节点中的步骤包括：获取所述第一缓存节点的第一...

【专利技术属性】
技术研发人员：郑烇，鲍裕麟，陈双武，
申请(专利权)人：中国科学技术大学先进技术研究院，
类型：发明
国别省市：