一种基于云原生基础架构的缓存分层方法及系统技术方案

本发明专利技术属于网络数据处理及数字信息的传输技术领域，尤其涉及一种基于云原生基础架构的缓存分层方法及系统，其包括缓存文件升降级处理，所述缓存文件升降级处理包括本地缓存文件升级

【技术实现步骤摘要】
一种基于云原生基础架构的缓存分层方法及系统


[0001]本专利技术属于网络数据处理及数字信息的传输
，尤其涉及一种基于云原生基础架构的缓存分层方法及系统
。

技术介绍

[0002]Fluid
是一款开源的云原生基础架构；通过
Kubernetes
服务提供的该数据层抽象，就可以让数据像流体一样在诸如
HDFS、OSS、Ceph
这样的存储源和
Kubernetes
上层的云原生应用计算之间灵活高效地移动
、
复制
、
驱逐
、
转换和管理；而具体的数据操作对用户透明，用户不必再担心访问远端数据的效率，或是管理数据源的便捷性，以及如何帮助
Kuberntes
做出恰当的调度决策等运维问题；虽然有一些远程数据读取并删除冗余的方法，如
NFS、
分布式存储
、ceph
等远程文件存储创建缓存；通过合理的分层存储配置
, 能够为用户提升总体
I/O
吞吐量
, 减小数据密集型引用出现数据访问瓶颈的可能性；但是，上述方法始终无法解决无法将当前读取较为频繁的文件放到读取速度更为迅速的存储介质如内存中，加速热数据的读取速度，也无法把缓存中读取较少的文件降级到读取速度更低的存储介质如磁盘中，降低高级存储介质的使用率；现有技术存在无法通过有效合理的分层存储配置将缓存进一步细分，从而影响数据使用效率的问题
。

技术实现思路
r/>[0003]本专利技术提供一种基于云原生基础架构的缓存分层方法及系统，以解决上述
技术介绍
中提出了现有技术存在无法通过有效合理的分层存储配置将缓存进一步细分，从而影响数据使用效率的问题
。
[0004]本专利技术所解决的技术问题采用以下技术方案来实现：一种基于云原生基础架构的缓存分层方法，包括：基于云原生基础架构
fluid
的大数据深度学习应用场景，本地用户根据用户的配置在本地创建当前访问的远程数据集缓存文件的副本形成本地缓存文件副本，若再次访问远程数据集缓存文件，则直接读取本地缓存文件副本；基于每一本地缓存文件副本，本地用户通过分层缓存的方法累积为本地分层缓存文件副本集合，若本地分层缓存文件副本集合大小超出缓存配额的限定时，则通过删除本地分层缓存文件副本集合中的过期文件清理本地缓存空间；缓存文件升降级处理：基于本地分层缓存文件副本集合的任一本地缓存文件副本；本地缓存文件升级：若任一本地缓存文件副本读取次数大于文件读取约定值，则将其转移到高速缓存介质中，并更改当前存储路径下的硬链接的指向；本地缓存文件降级：若任一本地缓存文件副本读取次数小于文件读取约定值，则
将其转移到低速缓存介质中，并更改当前存储路径下的硬链接的指向
。
[0005]进一步，所述高速缓存介质和低速缓存介质均采用多级缓存介质，其中，所述高速缓存介质包括多级高速缓存介质，所述低速缓存介质包括多级低速缓存介质
。
[0006]进一步，所述本地缓存文件升级还包括：若任一本地缓存文件副本读取次数大于文件读取约定值，则：若其位于最高级高速缓存介质中，则不对其进行任何操作，否则，将其转移到上一级高速缓存介质中；所述本地缓存文件降级还包括：若任一本地缓存文件副本读取次数小于文件读取约定值，则：若其位于最低级低速缓存介质中，则通过最低使用判断规则对其进行相应的操作，否则，将其转移到低速缓存介质中
。
[0007]进一步，所述最低使用判断规则包括：若位于最低级低速缓存介质中的任一本地缓存文件副本使用率大于
80%
，则最低级低速缓存介质中将其删除
。
[0008]进一步，所述缓存文件升降级处理还包括：基于本地分层缓存文件副本集合，确定相应的本地缓存文件副本读取次数
。
[0009]进一步，所述缓存文件升降级处理还包括：基于本地分层缓存文件副本集合，若其中的文件发生读取事件，则将相应的本地缓存文件副本复制到相应的缓存介质中的当前实际存储路径下，若当前实际存储路径下的空间大小超出使用空间限制，则将其复制到下一级缓存介质中的实际存储路径下，同时，删除相应的本地缓存文件副本，并在当前实际存储路径下创建指向复制后的下一级缓存介质中的实际存储路径的硬链接
。
[0010]进一步，所述缓存文件升降级处理还包括：基于本地分层缓存文件副本集合，在定时间隔内，若相应的本地缓存文件副本发生读取事件，则本地缓存文件读取次数相应自增，否则，本地缓存文件读取次数相应自减
。
[0011]进一步，所述缓存文件升降级处理还包括：在相应的缓存介质中，创建实际存储路径的空间，并限制其的空间大小，并创建其独立文本索引
。
[0012]进一步，所述创建其独立文本索引还包括：将相应的缓存介质中写入相应的本地缓存文件副本，若确定相应的本地缓存文件副本为文本类型，则将以其文件名作为键值，以文本内容作为变量，创建文本索引
。
[0013]进一步，包括实现上述缓存分层方法的缓存分层平台，所述缓存分层平台包括本地缓存文件升级模块和本地缓存文件降级模块；所述缓存分层平台用于：基于云原生基础架构
fluid
的大数据深度学习应用场景，本地用户根据用户的配置在本地创建当前访问的远程数据集缓存文件的副本形成本地缓存文件副本，若再次访问远程数据集缓存文件，则直接读取本地缓存文件副本；基于每一本地缓存文件副本，本地用户通过分层缓存的方法累积为本地分层缓存文件副本集合，若本地分层缓存文件副本集合大小超出缓存配额的限定时，则通过删除本地分层缓存文件副本集合中的过期文件清理本地缓存空间；所述本地缓存文件升级模块用于：基于本地分层缓存文件副本集合的任一本地缓存文件副本，若任一本地缓存文件副本读取次数大于文件读取约定值，则将其转移到高速
缓存介质中；所述本地缓存文件降级模块用于：基于本地分层缓存文件副本集合的任一本地缓存文件副本，若任一本地缓存文件副本读取次数小于文件读取约定值，则将其转移到低速缓存介质中
。
[0014]有益技术效果：采用基于云原生基础架构
fluid
的大数据深度学习应用场景，本地用户根据用户的配置在本地创建当前访问的远程数据集缓存文件的副本形成本地缓存文件副本，若再次访问远程数据集缓存文件，则直接读取本地缓存文件副本；基于每一本地缓存文件副本，本地用户通过分层缓存的方法累积为本地分层缓存文件副本集合，若本地分层缓存文件副本集合大小超出缓存配额的限定时，则通过删除本地分层缓存文件副本集合中的过期文件清理本地缓存空间；缓存文件升降级处理：基于本地分层缓存文件副本集合的任一本地缓存文件副本；本地缓存文件升级：若任一本地缓存文件副本读取次数大于文件读取约定值，则将其转移到高速缓存介质中，并更改当前存储路径下的硬链接的指向；本地缓存文件降级：若任一本地缓存文件副本读取次数小于文件读取约定值，则将其转移到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于云原生基础架构的缓存分层方法，其特征在于，包括：基于云原生基础架构
fluid
的大数据深度学习应用场景，本地用户根据用户的配置在本地创建当前访问的远程数据集缓存文件的副本形成本地缓存文件副本，若再次访问远程数据集缓存文件，则直接读取本地缓存文件副本；基于每一本地缓存文件副本，本地用户通过分层缓存的方法累积为本地分层缓存文件副本集合，若本地分层缓存文件副本集合大小超出缓存配额的限定时，则通过删除本地分层缓存文件副本集合中的过期文件清理本地缓存空间；缓存文件升降级处理：基于本地分层缓存文件副本集合的任一本地缓存文件副本；本地缓存文件升级：若任一本地缓存文件副本读取次数大于文件读取约定值，则将其转移到高速缓存介质中，并更改当前存储路径下的硬链接的指向；本地缓存文件降级：若任一本地缓存文件副本读取次数小于文件读取约定值，则将其转移到低速缓存介质中，并更改当前存储路径下的硬链接的指向
。2.
根据权利要求1所述缓存分层方法，其特征在于，所述高速缓存介质和低速缓存介质均采用多级缓存介质，其中，所述高速缓存介质包括多级高速缓存介质，所述低速缓存介质包括多级低速缓存介质
。3.
根据权利要求2所述缓存分层方法，其特征在于，所述本地缓存文件升级还包括：若任一本地缓存文件副本读取次数大于文件读取约定值，则：若其位于最高级高速缓存介质中，则不对其进行任何操作，否则，将其转移到上一级高速缓存介质中；所述本地缓存文件降级还包括：若任一本地缓存文件副本读取次数小于文件读取约定值，则：若其位于最低级低速缓存介质中，则通过最低使用判断规则对其进行相应的操作，否则，将其转移到低速缓存介质中
。4.
根据权利要求3所述缓存分层方法，其特征在于，所述最低使用判断规则包括：若位于最低级低速缓存介质中的任一本地缓存文件副本使用率大于
80%
，则最低级低速缓存介质中将其删除
。5.
根据权利要求1所述缓存分层方法，其特征在于，所述缓存文件升降级处理还包括：基于本地分层缓存文件副本集合，确定相应的本地缓存文件副本读取次数
。6.
根据权利要求1所述缓存分层方法，其特征在于，所述缓存文件升降级处理还包括：基于本地分层缓存文件副本集合，若其中...

【专利技术属性】
技术研发人员：吕林珏，贺仁杰，陈文链，刘伟伟，闫慧宁，邢玉轩，于振洹，胡昱森，董少波，田刚，黄瑞阳，
申请(专利权)人：中央军委政治工作部军事人力资源保障中心，
类型：发明
国别省市：