一种数据预取方法、计算节点和存储系统技术方案

本申请实施例提供一种数据预取方法、计算节点和存储系统，所述方法包括：计算节点获取第一应用在预设时段内对存储节点的访问信息；计算节点基于所述访问信息确定预取数据的信息；计算节点根据所述预取数据的信息确定预取所述预取数据的缓存节点，并生成预取所述预取数据的预取请求；计算节点发送所述预取请求至所述缓存节点。所述缓存节点响应于所述预取请求执行对所述预取数据的预取操作。本申请实施例提供的方案提高了预取准确性。例提供的方案提高了预取准确性。例提供的方案提高了预取准确性。

【技术实现步骤摘要】
一种数据预取方法、计算节点和存储系统


[0001]本申请涉及计算机
，具体涉及一种数据预取方法、计算节点和计算机系统。

技术介绍

[0002]存储系统通常包括相互连接的多个计算节点和多个存储节点，计算节点将生成的数据写入存储节点中，并从存储节点中读取数据。为了缩短计算节点到存储节点的数据访问路径，通常使用存储系统的内存存储计算节点写入或读取的数据，或者将数据从存储节点的主存储器预加载到存储系统中的内存中。随着数据量的迅速增长，出现了用于存储系统的全局缓存技术。通过使用全局缓存技术，可以对存储系统中的缓存资源(例如内存)进行统一命名，从而形成缓存池。每个计算节点可以将数据缓存到缓存池中的任一地址中。所述缓存池例如由多个存储节点中的缓存资源构成，或者可以由存储系统中包括的多个缓存节点中的缓存资源构成。以缓存节点为例，通常在每个缓存节点侧进行数据预取推荐，该方案的预取准确性较差。或者，在缓存节点中设置中心节点用于进行数据预取推荐，该方案导致预取时延较长，并且增加了网络通信成本。

技术实现思路

[0003]本申请实施例旨在提供一种数据预取方法、计算节点和存储系统，通过在计算节点侧进行预取数据推荐，提高了预取准确性，减少了网络通信成本。
[0004]为实现上述目的，本申请第一方面提供一种数据预取方法，所述方法包括：计算节点获取第一应用在预设时段内对存储节点的访问信息；计算节点基于所述访问信息确定预取数据的信息；计算节点根据所述预取数据的信息确定预取所述预取数据的缓存节点，并生成预取所述预取数据的预取请求；计算节点发送所述预取请求至所述缓存节点；所述缓存节点响应于所述预取请求执行对所述预取数据的预取操作。
[0005]通过由计算节点根据本地的访问信息确定预取数据的信息，提高了预取准确性，减少了网络通信成本。
[0006]在第一方面一种可能的实现方式中，所述计算节点基于所述访问信息确定预取数据的信息包括：所述计算节点根据预取推荐模型基于所述访问信息确定预取数据的信息。
[0007]通过由预取推荐模型确定预取数据的信息，提高了预取数据推荐的准确性和高效性。
[0008]在第一方面一种可能的实现方式中，所述预取推荐模型基于以下至少一种算法：聚类算法、时间序列预测算法、频繁模式挖掘算法、热点数据识别算法。
[0009]在第一方面一种可能的实现方式中，所述访问信息包括第一用户的访问信息，所述计算节点根据预取推荐模型基于所述访问信息确定预取数据的信息包括，所述预取推荐模型基于所述第一用户的访问信息确定所述第一用户的访问模式，根据所述访问模式确定待预取的数据。
[0010]在第一方面一种可能的实现方式中，所述预取请求为对数据块、文件数据或者对象数据的预取请求，所述方法还包括，所述缓存节点在从所述计算节点接收到对所述预取数据的预取请求之后，将所述预取请求转换为针对数据块、文件数据和对象数据统一设置的格式和语义。
[0011]通过将预取请求转换为统一的格式和语义，缓存节点只需要设置一种预取接口，避免维护多种协议的成本开销和操作复杂性。并且可以设置与不同的应用和不同的数据类型对应的全局缓存池，提高了缓存资源的利用率。
[0012]在第一方面一种可能的实现方式中，所述预取数据的信息包括所述预取数据的第一标识，所述将所述预取请求转换为针对数据块、文件数据和对象数据统一设置的格式和语义包括，将所述预取请求中的第一标识转换为符合预设格式的第二标识。
[0013]在第一方面一种可能的实现方式中，所述将所述预取请求中的第一标识转换为符合预设格式的第二标识包括，通过哈希算法将所述第一标识转换为所述第二标识。
[0014]在第一方面一种可能的实现方式中，所述缓存节点包括写缓存和读缓存，所述缓存节点响应于所述预取请求执行对所述预取数据的预取操作包括：所述缓存节点基于所述第二标识确定写缓存中是否存储有所述预取数据，在确定所述写缓存中存储有所述预取数据的情况中，将所述预取数据与所述第二标识对应地存储到所述读缓存中。
[0015]在第一方面一种可能的实现方式中，所述缓存节点响应于所述预取请求执行对所述预取数据的预取操作还包括：所述缓存节点在确定所述写缓存中未存储有所述预取数据的情况中，基于所述第二标识确定所述读缓存中是否存储有所述预取数据，在确定所述读缓存中未存储所述预取数据的情况中，基于所述第二标识生成数据读取请求，将所述数据读取请求发送给存储节点；所述存储节点根据所述数据读取请求读取所述预取数据，将所述预取数据返回给缓存节点；所述缓存节点将所述预取数据与所述第二标识对应地存储到所述读缓存中。
[0016]本申请第二方面提供一种存储系统，包括计算节点、缓存节点和存储节点，所述计算节点用于：获取第一应用在预设时段内对存储节点的访问信息；基于所述访问信息确定预取数据的信息；根据所述预取数据的信息确定预取所述预取数据的缓存节点，并生成预取所述预取数据的预取请求；发送所述预取请求至所述缓存节点；所述缓存节点用于响应于所述预取请求执行对所述预取数据的预取操作。
[0017]在第二方面一种可能的实现方式中，所述计算节点用于基于所述访问信息确定预取数据的信息具体包括：所述计算节点用于根据预取推荐模型基于所述访问信息确定预取数据的信息。
[0018]在第二方面一种可能的实现方式中，所述预取推荐模型基于以下至少一种算法：聚类算法、时间序列预测算法、频繁模式挖掘算法、热点数据识别算法。
[0019]在第二方面一种可能的实现方式中，所述访问信息包括第一用户的访问信息，所述计算节点用于根据预取推荐模型基于所述访问信息确定预取数据的信息包括，所述计算节点用于通过所述预取推荐模型基于所述第一用户的访问信息确定所述第一用户的访问模式，根据所述访问模式确定待预取的数据。
[0020]在第二方面一种可能的实现方式中，所述预取请求为对数据块、文件数据或者对象数据的预取请求，所述缓存节点还用于：在从所述计算节点接收到对所述预取数据的预
取请求之后，将所述预取请求转换为针对数据块、文件数据和对象数据统一设置的格式和语义。
[0021]在第二方面一种可能的实现方式中，所述预取数据的信息包括所述预取数据的第一标识，所述缓存节点用于将所述预取请求转换为针对数据块、文件数据和对象数据统一设置的格式和语义包括，所述缓存节点用于将所述预取请求中的第一标识转换为符合预设格式的第二标识。
[0022]在第二方面一种可能的实现方式中，所述缓存节点用于将所述预取请求中的第一标识转换为符合预设格式的第二标识包括，所述缓存节点用于通过哈希算法将所述第一标识转换为所述第二标识。
[0023]在第二方面一种可能的实现方式中，所述缓存节点包括写缓存和读缓存，所述缓存节点用于响应于所述预取请求执行对所述预取数据的预取操作包括：所述缓存节点用于基于所述第二标识确定写缓存中是否存储有所述预取数据，在确定所述写缓存中存储有所述预取数据的情况中，将所述预取数据与所述第二标识对应地存储到所述读缓本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据预取方法，其特征在于，所述方法包括：计算节点获取第一应用在预设时段内对存储节点的访问信息；计算节点基于所述访问信息确定预取数据的信息；计算节点根据所述预取数据的信息确定预取所述预取数据的缓存节点，并生成预取所述预取数据的预取请求；计算节点发送所述预取请求至所述缓存节点；所述缓存节点响应于所述预取请求执行对所述预取数据的预取操作。2.根据权利要求1所述的方法，其特征在于，所述计算节点基于所述访问信息确定预取数据的信息包括：所述计算节点根据预取推荐模型基于所述访问信息确定预取数据的信息。3.根据权利要求2所述的方法，其特征在于，所述预取推荐模型基于以下至少一种算法：聚类算法、时间序列预测算法、频繁模式挖掘算法、热点数据识别算法。4.根据权利要求2或3所述的方法，其特征在于，所述访问信息包括第一用户的访问信息，所述计算节点根据预取推荐模型基于所述访问信息确定预取数据的信息包括，所述预取推荐模型基于所述第一用户的访问信息确定所述第一用户的访问模式，根据所述访问模式确定待预取的数据。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述预取请求为对数据块、文件数据或者对象数据的预取请求，所述方法还包括，所述缓存节点在从所述计算节点接收到对所述预取数据的预取请求之后，将所述预取请求转换为针对数据块、文件数据和对象数据统一设置的格式和语义。6.根据权利要求5所述的方法，其特征在于，所述预取数据的信息包括所述预取数据的第一标识，所述将所述预取请求转换为针对数据块、文件数据和对象数据统一设置的格式和语义包括，将所述预取请求中的第一标识转换为符合预设格式的第二标识。7.根据权利要求6所述的方法，其特征在于，所述将所述预取请求中的第一标识转换为符合预设格式的第二标识包括，通过哈希算法将所述第一标识转换为所述第二标识。8.根据权利要求6或7所述的方法，其特征在于，所述缓存节点包括写缓存和读缓存，所述缓存节点响应于所述预取请求执行对所述预取数据的预取操作包括：所述缓存节点基于所述第二标识确定写缓存中是否存储有所述预取数据，在确定所述写缓存中存储有所述预取数据的情况中，将所述预取数据与所述第二标识对应地存储到所述读缓存中。9.根据权利要求8所述的方法，其特征在于，所述缓存节点响应于所述预取请求执行对所述预取数据的预取操作还包括：所述缓存节点在确定所述写缓存中未存储有所述预取数据的情况中，基于所述第二标识确定所述读缓存中是否存储有所述预取数据，在确定所述读缓存中未存储所述预取数据的情况中，基于所述第二标识生成数据读取请求，将所述数据读取请求发送给存储节点；所述存储节点根据所述数据读取请求读取所述预取数据，将所述预取数据返回给缓存节点；所述缓存节点将所述预取数据与所述第二标识对应地存储到所述读缓存中。10.一种存储系统，其特征在于，包括计算节点、缓存节点和存储节点，
所述计算节点用于：获取第一应用在预设时段内对存储节点的访问信息；基于所述访问信息确定预取数据的信息；根据所述预取数据的信息确定预取所述预取数据的缓存节点，并生成预取所述预取数据的预取请求；发送所述预取请求至所述缓存节点；所述缓存节点用于响应于所述预取请求执行对所述预取数据的预取操作。11.根据权利要求10所述的存储系统，其特征在于，所述计算节点用于基于所述访问信息确定预取数据的信息具体包括：所述计算节点用于根据预取推荐模型基于所述访问信息确定预取数据的信息。12.根据权利要求11所述的存储系统，其特征在于，所述预取推荐模型基于以下至少一种算法：聚类算法、时间序列预测算法、频繁模式挖掘算法、热点数据识别算法。13.根据权利要求11或12所述的存储系...

【专利技术属性】
技术研发人员：董如良，杜阁，刘华伟，张进毅，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：