一种基于分布式元数据的分布式存储方法及系统技术方案

本发明专利技术实施例公开了一种基于分布式元数据的分布式存储方法及系统，本发明专利技术实施例中的分布式元数据的分布式存储的元数据存储空间可扩展到2TB到16TB大小，使分布式系统共享统一的元数据存储空间，显著提高存储系统的扩展性。每个节点都能在共享存储池中查找全量元数据，使系统在读取数据时，减少了各个节点轮询查找的时间，提升了系统响应性能。从架构的存储节点的分布，可以看出采用去中心化架构，对象数据被打散存放在不同节点的多块硬盘中，对外提供统一命名空间访问。元数据采用了内存共享架构，使每个存储节点都能访问到全量的元数据，降低了存储系统的响应延迟时间。

【技术实现步骤摘要】

本专利技术实施例涉及数据存储，具体涉及一种基于分布式元数据的分布式存储方法及系统。

技术介绍

1、在传统的基于分布式元数据的分布式存储中，元数据是关于数据的数据，例如文件的名称、大小、创建时间、存储位置等信息。在分布式环境中，元数据通常被分散在多个节点上进行管理。

2、随着数据量的爆炸式增长和对数据处理速度要求的不断提高，传统的分布式存储架构面临着性能瓶颈和扩展性限制。诸如内存带宽不足、数据传输延迟高、存储资源管理复杂等问题，严重影响了数据中心和高性能计算系统的整体性能。

3、在分布式储存应用中，存储软件由于分布式cap理论的限制，在构建分布式储存系统中，用户希望搭建的系统能够持续提供更可靠的服务，此时需要满足数据一致性、系统可用性、网络分区容错性的特点。然而在软件架构中的实际情况是在一致性和可用性之间摇摆，无法同时具备高度的一致性和可用性。

4、在原来的实践中，分布式存储的单台服务器上受到内存扩展的限制，导致存储系统的共享内存受限，元数据服务器的存储空间不足。如果继续搭建内存集群，那么系统架构会受到cap理论的限制，大本文档来自技高网...

【技术保护点】

1.一种基于分布式元数据的分布式存储方法，其特征在于，所述方法应用于CXL内存数据同步协议，其包括：

2.如权利要求1所述的一种基于分布式元数据的分布式存储方法，其特征在于，元数据所包含的信息包括：数据键、数据的值与数据的属性信息。

3.如权利要求2所述的一种基于分布式元数据的分布式存储方法，其特征在于，所述属性信息包括：对象的名称、大小、修改时间及存储类型。

4.如权利要求3所述的一种基于分布式元数据的分布式存储方法，其特征在于，当用户需求为写入数据时，客户端通过网络向分布式存储网络发起写入数据，所述分布式存储网络获取待写入数据与元数据作为对象并将所...

【技术特征摘要】

1.一种基于分布式元数据的分布式存储方法，其特征在于，所述方法应用于cxl内存数据同步协议，其包括：

2.如权利要求1所述的一种基于分布式元数据的分布式存储方法，其特征在于，元数据所包含的信息包括：数据键、数据的值与数据的属性信息。

3.如权利要求2所述的一种基于分布式元数据的分布式存储方法，其特征在于，所述属性信息包括：对象的名称、大小、修改时间及存储类型。

4.如权利要求3所述的一种基于分布式元数据的分布式存储方法，其特征在于，当用户需求为写入数据时，客户端通过网络向分布式存储网络发起写入数据，所述分布式存储网络获取待写入数据与元数据作为对象并将...

【专利技术属性】
技术研发人员：李甫，张刚，
申请(专利权)人：国数集联上海技术有限公司，
类型：发明
国别省市：