一种数据热度感知方法、装置、设备及介质制造方法及图纸

本申请公开了一种数据热度感知方法、装置、设备及介质，包括：监测Hadoop分布式文件系统的元数据状态，实时获取增量元数据信息；基于元数据事件类型对所述增量元数据信息进行分类；统计每个事件对象的每个所述元数据事件类型的事件操作数量，以确定所述事件对象的数据热度，其中，所述事件对象包括文件和目录。这样，基于增量元数据信息统计每个事件对象的每个元数据事件类型的事件操作数量，客户端在进行读写操作时无需执行特定的逻辑去记录热度信息，能够避免分布式文件系统读写性能的下降，同时丰富热度信息种类。同时丰富热度信息种类。同时丰富热度信息种类。

【技术实现步骤摘要】
一种数据热度感知方法、装置、设备及介质


[0001]本申请涉及数据存储
，特别涉及一种数据热度感知方法、装置、设备及介质。

技术介绍

[0002]在大规模生产环境中，数据热度是衡量和优化数据存储策略的重要指标。HDFS(即Hadoop Distributed File System，Hadoop分布式文件系统)通常可根据数据热度实现数据分层，最大化利用不同硬件的IO(即Input/Output，输入/输出)性能。理想的存储状态是，将热数据存储在访问速度最快的设备中，而将冷数据存储在访问速度最慢的存储设备中，例如，可以将热数据迁移到固态硬盘以提升数据的读写性能。实现数据冷热分层的前提就需要收集存储数据的热度指标，利用该指标即可评估数据的IO特性以匹配最佳的存储策略。
[0003]目前，已有技术主要通过文件的最近修改时间或统计文件的访问次数以实现数据热度指标的统计，但是仍存在以下缺点：(1)统计的热度信息种类过于单一，仅通过文件的创建时长或访问次数难以满足IO特性评估的需求；(2)已有感知方式通过拦截HDFS客户端请求实现，客户端进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据热度感知方法，其特征在于，包括：监测Hadoop分布式文件系统的元数据状态，实时获取增量元数据信息；基于元数据事件类型对所述增量元数据信息进行分类；统计每个事件对象的每个所述元数据事件类型的事件操作数量，以确定所述事件对象的数据热度，其中，所述事件对象包括文件和目录。2.根据权利要求1所述的数据热度感知方法，其特征在于，所述监测Hadoop分布式文件系统的元数据状态，实时获取增量元数据信息，包括：实时获取命名空间镜像中最新的检查点标识以得到第一检查点标识；其中，所述检查点标识为所述命名空间镜像中编辑日志中的事件标识；对比所述第一检查标识与预设数据库中的第二检查点标识，其中，所述第二检查点标识为所述预设数据库中存储的最新检查点标识；若所述第一检查点标识与所述第二检查点标识不一致，则利用所述第一检查点标识对应的元数据时间信息以及所述第二检查点标识对应的元数据时间信息确定元数据增量期间；从所述命名镜像空间中提取所述元数据增量期间内所有的元数据信息，以得到所述增量元数据信息。3.根据权利要求2所述的数据热度感知方法，其特征在于，所述从所述命名镜像空间中提取所述元数据增量期间内所有的元数据信息，以得到所述增量元数据信息之后，还包括：将所述第一检查点标识以及所述第一检查点标识对应的所述元数据时间信息添加至所述预设数据库。4.根据权利要求2所述的数据热度感知方法，其特征在于，所述从所述命名镜像空间中提取所述元数据增量期间内所有的元数据信息，以得到所述增量元数据信息，包括：从所述命名镜像空间中提取所述元数据增量期间内所有的编辑日志，解析所述编辑日志，以得到所述增量元数据信...

【专利技术属性】
技术研发人员：尹明俊，常洪耀，潘利杰，
申请(专利权)人：北京浪潮数据技术有限公司，
类型：发明
国别省市：