【技术实现步骤摘要】
一种基于元数据加载的数据请求处理方法和装置
[0001]本专利技术涉及元数据加载领域，更具体地，特别是指一种基于元数据加载的数据请求处理方法和装置。
技术介绍
[0002]分布式文件系统在当前大数据多种场景下(如视频监控、广电媒资、高性能等)广泛应用。其性能是评估分布式文件系统的关键要素，而当前元数据性能极大的依赖于元数据缓存，在百亿甚至千亿级海量小文件场景下，不可能将全部元数据进行缓存，这就导致在缓存不命中场景下的元数据性能降低。
[0003]针对现有技术中缓存在缓存不命中场景下的元数据性能降低的问题，目前尚无有效的解决方案。
技术实现思路
[0004]有鉴于此，本专利技术实施例的目的在于提出一种基于元数据加载的数据请求处理方法和装置，能够提升在缓存不命中场景下的元数据加载性能，进而提升系统的整体处理能力和速度。
[0005]基于上述目的，本专利技术实施例的第一方面提供了一种基于元数据加载的数据请求处理方法，包括响应于接收到数据请求而执行以下步骤：
[0006]基于数据请求获取目录项
【技术保护点】
【技术特征摘要】
1.一种基于元数据加载的数据请求处理方法，其特征在于，包括响应于接收到数据请求而执行以下步骤：基于所述数据请求获取目录项缓存的文件名；使用所述文件名在元数据缓存中检索所述文件名的第一索引节点信息；响应于从所述元数据缓存未检索到所述第一索引节点信息，而从底层对象存储设备中将所述文件名的第二索引节点信息加载到所述元数据缓存；响应于从所述元数据缓存检索到所述第一索引节点信息、或已经将所述第二索引节点信息加载到所述元数据缓存，而基于所述第一索引节点信息或所述第二索引节点信息来处理所述数据请求。2.根据权利要求1所述的方法，其特征在于，还包括周期性地执行以下步骤：将所有元数据分片的热度降低一半；响应于所述元数据缓存的存储数据量达到第一存储阈值，而根据所述所有元数据分片的热度来选择性地清除所述第一索引节点信息和所述第二索引节点信息。3.根据权利要求2所述的方法，其特征在于，响应于所述文件名所在的元数据分片的热度与所述所有元数据分片的总数量之比小于热度阈值而将所述文件名的所述第二索引节点信息确定为所述文件名的所述第一索引节点信息。4.根据权利要求3所述的方法，其特征在于，在从底层对象存储设备中将所述文件名的第二索引节点信息加载到所述元数据缓存的同时，还使所述文件名所在的所述元数据分片的热度加一。5.根据权利要求2所述的方法，其特征在于，响应于所述文件名所在的元数据分片的热度与所述所有元数据分片的总数量之比大于热度阈值而将所述文件名的所述第二索引节点信息确定为所述文件名的所述第一索引节点信息...
【专利技术属性】
技术研发人员：刘洪栋，张在贵，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。