业务行为感知的对象存储元数据分级存储方法与系统技术方案

本发明专利技术涉及分布式存储技术领域，特别涉及业务行为感知的对象存储元数据分级存储方法与系统。本发明专利技术提出了一种既不影响性能，又不需要将所有的元数据都放置于SSD中的方法。该方法首先对业务访问数据和元数据的行为进行统计，然后根据元数据访问的频繁度以及元数据和数据访问的亲和度对元数据进行分类，将访问不频繁、和数据访问亲和度高的元数据与数据一起打包存储到冷数据池，而将其他元数据放置于热数据池。实践结果表明，在不影响对象读写性能的前提下，元数据的SSD空间使用量最高可降低94％。本发明专利技术提出业务行为感知的元数据分级系统，在不降低性能的前提下，降低了元数据对高速介质的使用量，降低了对象存储系统的元数据储存成本。据储存成本。据储存成本。

【技术实现步骤摘要】
业务行为感知的对象存储元数据分级存储方法与系统


[0001]本专利技术涉及分布式存储
，特别涉及业务行为感知的对象存储元数据分级存储方法与系统。

技术介绍

[0002]人工智能(AI)、物联网(IoT)等新兴技术正在以小文件或对象的形式产生大量数据，诸如Ceph、Haystack、Amazon S3之类的对象存储系统被广泛用于存储海量小对象。类似的系统存在于电子产品质检、地理信息测绘等场景中。这些系统通常存储数百亿张图片，文件写入和删除速度达到每秒数千张图片。另外，业务系统在对数据进行分析时，通常只从海量文件中读取若干文件的集合，所以对元数据的管理无法简单的通过文件的存储时间、文件的后缀名等来划分冷热，更需要考虑业务的操作行为来对单个文件的元数据进行更细粒度的类别划分。
[0003]对象存储通过提供具有扩展能力的简单接口来服务更大规模的文件数量。私有云下的对象存储集群通常采用SSD固态硬盘和HDD机械硬盘混合的硬件架构，SSD缓存热数据并存储元数据，而HDD提供大容量持久层来存储冷对象。
[0004]对于存储成本，人们通常只关注数据部分，通过大规模纠删码来降低数据储存的成本。但是，当储存的数据大部分为小文件时，元数据的成本占比也不容忽视。由于AI等数据分析类业务会对海量小文件进行频繁的读写，对元数据操作有一定写的性能要求，当用SSD承载元数据时，元数据的成本占比会大大提升。
[0005]对于分布式系统，因为本地存储引擎最小分配单元的存在，存储小对象时会有空间的写放大问题。为了解决小对象的空间写放大问题，大部分对象存储系统提供小对象归并功能来将小对象归并为大对象，类似的解决方案会带来额外的元数据增量，加剧了元数据的成本压力。

技术实现思路

[0006]针对上述问题，本专利技术提供业务行为感知的对象存储元数据分级存储方法与系统，用于解决元数据存储成本的问题。
[0007]业务行为感知的对象存储元数据分级存储方法，所述方法包括：
[0008]对不同业务使用元数据的情况进行采集；
[0009]根据采集的结果，将元数据进行冷热分类，得到热数据和冷数据；
[0010]构建元数据热数据池和冷数据池；
[0011]根据冷热分类，把热数据储存在热数据池，把冷数据储存在冷数据池。
[0012]进一步的，所述不同业务使用元数据的情况，包括系统元数据、索引元数据和对象元数据。
[0013]进一步的，所述对不同业务对元数据的使用情况进行采集，具体包括：
[0014]在对象网关对不同业务对元数据的使用情况进行采集，采集的内容如下：
[0015]业务系统操作＝{操作平台，操作行为，操作位置，操作人员，对象存储操作}；
[0016]对象存储操作＝{操作对象，对象版本，存储位置，<对象元数据，操作时间，大小>，<数据操作，操作时间>}。
[0017]进一步的，所述根据采集的结果，将元数据进行冷热分类，具体包括：
[0018]根据不同对象元数据被操作的统计结果，将业务系统对元数据的操作分为如下三类：
[0019]频繁操作元数据集合：当业务系统操作先读写了对象元数据，然后再对对象元数据进行读写操作，定义元数据属于频繁操作的元数据集合；
[0020]同时操作数据元数据集合：当业务操作同时读取对象元数据和对象数据，定义元数据属于和数据同时操作的元数据集合；
[0021]未被操作元数据集合：除去上述两种元数据，其它的元数据；
[0022]其中频繁操作的元数据集合和同时操作数据的元数据集合为热数据，未被操作的元数据集合为冷数据。
[0023]进一步的，所述构建元数据热数据池和冷数据池，包括：
[0024]使用高速存储构建元数据热数据池，使用低成本存储构建冷数据池。
[0025]进一步的，所述使用高速存储构建元数据热数据池，具体包括：
[0026]使用基于SSD的分布式KV构建元数据热数据池。
[0027]进一步的，所述使用低成本存储构建冷数据池，具体包括：
[0028]使用基于HDD的开源Ceph构建冷数据池。
[0029]进一步的，所述构建元数据热数据池和冷数据池，还包括：使用基于SSD的分布式数据池构建用于缓存合并数据的缓存池。
[0030]进一步的，所述根据冷热分类，把热数据储存在热数据池，把冷数据储存在冷数据池，具体包括：
[0031]将划分为热数据的元数据和小对象在缓存池合并为大对象的索引存储到热数据池；
[0032]将划分为冷数据的元数据和小对象的数据部分在缓存池合并为大对象后写入到冷数据池。
[0033]业务行为感知的对象存储元数据分级存储系统，包括：依次连接的采集单元、分类单元、构建单元和存储单元；
[0034]采集单元，用于对不同业务使用元数据的情况进行采集；
[0035]分类单元，用于根据采集的结果，将元数据进行冷热分类，得到热数据和冷数据；
[0036]构建单元，用于构建元数据热数据池和冷数据池；
[0037]存储单元，用于根据冷热分类，把热数据储存在热数据池，把冷数据储存在冷数据池。
[0038]一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
[0039]存储器，用于存放计算机程序；
[0040]处理器，用于执行存储器上所存放的程序时，实现上述的业务行为感知的对象存储元数据分级存储方法。
[0041]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的业务行为感知的对象存储元数据分级存储方法。
[0042]本专利技术至少具备以下有益效果：
[0043]本专利技术提出了一种既不影响性能，又不需要将所有的元数据都放置于SSD中的方法。该方法首先对业务访问数据和元数据的行为进行统计，然后根据元数据访问的频繁度以及元数据和数据访问的亲和度对元数据进行分类，将访问不频繁、和数据访问亲和度高的元数据与数据一起打包存储到冷数据池，而将其他元数据放置于热数据池。实践结果表明，在不影响对象读写性能的前提下，元数据的SSD空间使用量最高可降低94％。
[0044]本专利技术提出业务行为感知的元数据分级系统，在不降低性能的前提下，降低了元数据对高速介质的使用量，降低了对象存储系统的元数据储存成本。
[0045]本专利技术基于元数据分级构建了分布式对象存储元数据系统X
‑
Meta。实验表明，使用基于元数据分级的分布式对象存储系统在承载海量小对象业务时，X
‑
Meta将小对象元数据的SSD使用量降低94％。
[0046]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书以及附图中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.业务行为感知的对象存储元数据分级存储方法，其特征在于，所述方法包括：对不同业务使用元数据的情况进行采集；根据采集的结果，将元数据进行冷热分类，得到热数据和冷数据；构建元数据热数据池和冷数据池；根据冷热分类，把热数据储存在热数据池，把冷数据储存在冷数据池。2.根据权利要求1所述的业务行为感知的对象存储元数据分级存储方法，其特征在于，所述不同业务使用元数据的情况，包括系统元数据、索引元数据和对象元数据。3.根据权利要求1所述的业务行为感知的对象存储元数据分级存储方法，其特征在于，所述对不同业务对元数据的使用情况进行采集，具体包括：在对象网关对不同业务对元数据的使用情况进行采集，采集的内容如下：业务系统操作＝{操作平台，操作行为，操作位置，操作人员，对象存储操作}；对象存储操作＝{操作对象，对象版本，存储位置，<对象元数据，操作时间，大小>，<数据操作，操作时间>}。4.根据权利要求1所述的业务行为感知的对象存储元数据分级存储方法，其特征在于，所述根据采集的结果，将元数据进行冷热分类，具体包括：根据不同对象元数据被操作的统计结果，将业务系统对元数据的操作分为如下三类：频繁操作元数据集合：当业务系统操作先读写了对象元数据，然后再对对象元数据进行读写操作，定义元数据属于频繁操作的元数据集合；同时操作数据元数据集合：当业务操作同时读取对象元数据和对象数据，定义元数据属于和数据同时操作的元数据集合；未被操作元数据集合：除去上述两种元数据，其它的元数据；其中频繁操作的元数据集合和同时操作数据的元数据集合为热数据，未被操作的元数据集合为冷数据。5.根据权利要求1所述的业务行为感知的对象存储元数据分级存储方法，其特征在于，所述构建元数据热数据池和冷数据池，包括：使用高速存储构建元数据热数据池，使用低成本存储构建冷数据池。6.根据权利要求5所述的业务行为感知的对象存储元数据分...

【专利技术属性】
技术研发人员：武永卫，陈岩，姜进磊，任峰，
申请(专利权)人：清华大学，
类型：发明
国别省市：