一种元数据处理方法及相关设备技术

本申请提供一种元数据处理方法及相关设备。其中，该方法应用于存储设备中，存储设备利用LSM树存储生成的元数据，并至少包括第一存储介质和第二存储介质，第一存储介质的性能高于第二存储介质，所述LSM树包括至少两层数据结构，所述方法包括：将元数据写入位于第一存储介质中的所述两层数据结构中的第一层，所述LSM树的第一层包括至少一个键值对；当第一层中保存的元数据满足第一条件时，将元数据中的非热点元数据写入第二存储介质中，并且将所述元数据中的热点元数据保留在第一存储介质中。上述方法能够降低数据在合并排序过程中的写放大和读放大的问题，从而能够有效减小系统负载和CPU开销。载和CPU开销。载和CPU开销。

【技术实现步骤摘要】
一种元数据处理方法及相关设备


[0001]本专利技术涉及存储
，尤其涉及一种元数据处理方法及相关设备。

技术介绍

[0002]目前，日志结构合并树(log
‑
structured merge tree，LSM)作为一种重要的索引结构已在多个场景中被广泛应用，LSM树可以将随机读写磁盘转换为顺序读写磁盘，能够有效提升IO性能。在将数据添加至LSM树时，通常是先将数据写入存储设备中性能较高的存储介质中，如内存等，在数据规模达到一定程度时，将高性能存储介质中的多个有序的小树进行合并排序(merge)，合并为一个大树并将合并后的大树写入存储设备中性能较低的存储介质，如磁盘等。
[0003]但是，随着数据的不断写入，低性能存储介质中的数据规模在达到一定阈值后，预先被写入低性能存储介质中的数据将被再次读入高性能存储介质中进行合并排序，从而生成一个更大的树并将其再次写入低性能存储介质中，在整个数据写入过程中，上述合并排序过程将不断重复执行。
[0004]由于LSM树在每次合并排序时需要将低性能存储介质中的数据读取至高性能存储介质中，并在排序完成后将其再写入低性能存储介质中，导致将大量的历史数据重新读写，其实际写入的数据量远远超过待写入数据量，带来大量写放大。因此，如何降低数据在合并排序过程中的写放大是目前亟待解决的重要问题。

技术实现思路

[0005]本专利技术实施例公开了一种元数据处理方法及相关设备，能够降低数据在合并排序过程中的写放大，减小系统负载和CPU开销。
[0006]第一方面，本申请提供了一种元数据处理方法，该方法可以应用于存储设备中，所述存储设备利用LSM树存储生成的元数据，所述LSM树包括至少两层数据结构，所述存储设备至少包括第一存储介质和第二存储介质，其中，所述第一存储介质的性能高于所述第二存储介质，所述方法包括：存储设备将元数据写入所述至少两层数据结构中的第一层，所述第一层位于所述第一存储介质中，所述LSM树的第一层包括至少一个键值对，所述键值对包含关键字和值，所述值是元数据本身或所述元数据的地址，所述值对应的关键字用于标识所述元数据；当所述第一层中保存的元数据满足第一条件时，存储设备将所述元数据中的非热点数据写入所述第二存储介质中，并且将所述元数据中的热点数据保留在所述第一存储介质中。
[0007]在本申请提供的方案中，存储设备在存储元数据时需要对元数据进行冷热区分，并在所保存的元数据满足第一条件时将元数据中的非热点数据写入性能较低的第二存储介质中，性能较高的第一存储介质中可以不再存储该部分数据，这样，可以减少该部分数据参与后续合并排序的频率，只需要对第一存储介质中的热点数据进行合并排序即可，能够有效减小在合并排序时对历史数据重新读写，减小写放大，从而减小系统负载和CPU开销。
[0008]可选的，存储设备还可以包括更多层次的存储介质，例如第三存储介质，并且，第三存储介质的性能低于第二存储介质的性能，对于第二存储介质中存储的部分非热点数据，也可以将其迁移至第三存储介质中，其所迁移的非热点数据为第二存储介质中热度相对更低的非热点数据。
[0009]结合第一方面，在第一方面的一种可能的实现方式中，当所述第一层中保存的元数据满足第二条件时，将所述热点元数据写入所述第二存储介质中。
[0010]在本申请提供的方案中，存储设备不会将热点元数据一直保存在性能较高的第一存储介质中，需要对热点元数据的存储位置进行实时调整，当热点元数据在满足第二条件时，将热点元数据写入性能较低的第二存储介质中，这样可以实现对热点元数据进行持久化存储，保证在存储设备发生故障或第一存储介质中的数据发生丢失时，可以利用第二存储介质中的热点元数据进行恢复。
[0011]结合第一方面，在第一方面的一种可能的实现方式中，所述第一条件包括：所述第一存储介质所存储的数据量超过第一阈值。
[0012]在本申请提供的方案中，存储设备的第一存储介质的存储空间是有限的，其用于存储热点元数据的价值更高，因此，当第一存储介质所存储的数据量超过第一阈值时，存储设备可以将非热点元数据写入第二存储介质中，以减少对性能较高的第一存储介质的存储空间的占用，将节省的存储空间用来存储其它新写入的热点元数据，从而减小在合并排序时的写放大，减小系统负载和CPU开销。
[0013]结合第一方面，在第一方面的一种可能的实现方式中，所述第二条件包括：所述第一存储介质所存储的数据量超过第二阈值，其中，所述第二阈值大于所述第一阈值；或者，所述热点元数据在所述第一存储介质中的存储时间超过预设时间。
[0014]在本申请提供的方案中，当存储设备的第一存储介质中被不断写入元数据，导致第一存储介质的存储空间不足，其所存储的数据量超过第二阈值时，存储设备需要将第一存储介质中的热点元数据写入第二存储介质中，保证第一存储介质预留足够的存储空间存储最新写入的元数据，或者是，当热点元数据在第一存储介质中的存储时间超过预设时间时，该访问频次较高的热点元数据的访问频次可能会降低，即该热点元数据可能会变化为非热点元数据，此时若继续将其存储在第一存储介质中将浪费第一存储介质的存储空间，所以需要将其写入性能较低的第二存储介质中，从而减少该部分数据进行合并排序的频率，进而减小写放大以及系统负载和CPU开销。
[0015]结合第一方面，在第一方面的一种可能的实现方式中，当所述第一存储介质中的元数据丢失时，通过所述第二存储介质中的所述热点元数据和所述非热点元数据恢复所述第一存储介质中的元数据。
[0016]在本申请提供的方案中，当存储设备发生故障导致第一存储介质中的元数据丢失时，可以利用预先写入第二存储介质中的非热点元数据和热点元数据对第一存储介质中的元数据进行恢复，保证在第一存储介质中的元数据丢失情况下，存储设备仍旧能够支持业务正常运行，提高存储设备可靠性。
[0017]第二方面，本申请提供了一种元数据存储装置，所述装置应用于存储设备中，所述存储设备利用LSM树存储生成的元数据，所述LSM树包括至少两层数据结构，所述存储设备至少包括第一存储介质和第二存储介质，其中，所述第一存储介质的性能高于所述第二存
储介质，所述装置包括：数据写入模块，用于将所述元数据写入所述至少两层数据结构中的第一层，所述第一层位于所述第一存储介质中，所述LSM树的第一层包括至少一个键值对，所述键值对包含关键字和值，所述值是元数据本身或所述元数据的地址，所述值对应的关键字用于标识所述元数据；处理模块，用于当所述第一层中保存的元数据满足第一条件时，将所述元数据中的非热点数据写入所述第二存储介质中，并且将所述元数据中的热点数据保留在所述第一存储介质中。
[0018]结合第二方面，在第二方面的一种可能的实现方式中，所述处理模块，还用于：当所述第一层中保存的元数据满足第二条件时，将所述热点元数据写入所述第二存储介质中。
[0019]结合第二方面，在第二方面的一种可能的实现方式中，所述第一条件包括：所述第一存储介质所存储的数据量超过第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元数据处理方法，其特征在于，所述方法应用于存储设备中，所述存储设备利用LSM树存储生成的元数据，所述LSM树包括至少两层数据结构，所述存储设备至少包括第一存储介质和第二存储介质，其中，所述第一存储介质的性能高于所述第二存储介质，所述方法包括：将所述元数据写入所述至少两层数据结构中的第一层，所述第一层位于所述第一存储介质中，所述LSM树的第一层包括至少一个键值对，所述键值对包含关键字和值，所述值是元数据本身或所述元数据的地址，所述值对应的关键字用于标识所述元数据；当所述第一层中保存的元数据满足第一条件时，将所述元数据中的非热点数据写入所述第二存储介质中，并且将所述元数据中的热点数据保留在所述第一存储介质中。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述第一层中保存的元数据满足第二条件时，将所述热点元数据写入所述第二存储介质中。3.根据权利要求1所述的方法，其特征在于，所述第一条件包括：所述第一存储介质所存储的数据量超过第一阈值。4.根据权利要求2或3所述的方法，其特征在于，所述第二条件包括：所述第一存储介质所存储的数据量超过第二阈值，其中，所述第二阈值大于所述第一阈值；或者，所述热点元数据在所述第一存储介质中的存储时间超过预设时间。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：当所述第一存储介质中的元数据丢失时，通过所述第二存储介质中的所述热点元数据和所述非热点元数据恢复所述第一存储介质中的元数据。6.一种元数据存储装置，其特征在于，所述装置应用于存储设备中，所述存储设备利用LSM树存储生成的元数据，所述LSM树包括至少两层数据结构，所述存储设备至少包括第一存储介质和第二存储介质，其中，所述第一存储介质的性能高...

【专利技术属性】
技术研发人员：黄增士，潘浩，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：