用于分布式存储系统的存储方法、电子设备及存储介质技术方案

本发明专利技术实施例提供一种用于分布式存储系统的存储方法、电子设备及存储介质，分布式存储系统包括元数据中心和多个存储集群，该方法包括：获取待存储对象的存储请求，根据第一URL从元数据中心查找待存储对象存放的RealBucket，利用RealBucket所属的第一存储集群的集群类型重新组织所述第一URL以形成第二URL，并基于第二URL将待存储对象存放到第一存储集群。根据第一URL从元数据中心查找待存储对象存放的RealBucket，不仅可以快速确定出待存储对象存放的RealBucket，而且由于存储过程中并不需要引入待存储对象的数据索引，可以大大节约元数据的存储空间，降低存储规模以及复杂度。

【技术实现步骤摘要】
用于分布式存储系统的存储方法、电子设备及存储介质
本专利技术涉及数据存储
，尤其涉及一种用于分布式存储系统的存储方法、电子设备及存储介质。
技术介绍
由于大数据、人工智能(ArtificialIntelligence，AI)技术的高速发展，需要配置的存储系统具有更大的容量、更快的响应速度以及更大的带宽。现有大规模的对象存储系统通常可以包括云对象存储系统以及分布式存储系统，云对象存储系统通过一个集中式的数据中心再加上多个集群共同组建一个大规模集群，数据由集中式的数据中心分配至对应的集群进行存储，用户使用标准的S3接口就可以直接根据数据索引找到对应的集群并进行数据访问。现有技术中的云对象存储系统，由于每个数据均对应唯一的数据索引以及集群，不仅会增加元数据的存储空间，不利于系统扩容，使得系统性能急剧下降。而分布式存储系统，规模较大但是复杂度高，搭建及维护成本高。
技术实现思路
本专利技术实施例提供一种用于分布式存储系统的存储方法、电子设备及存储介质，用以解决现有技术中存在的缺陷。本专利技术实施例提供一种用于分布式存储系统的存储方法，所述分布式存储系统包括元数据中心和多个存储集群，包括：获取待存储对象的存储请求，其中，所述存储请求携带有所述待存储对象的第一URL；根据所述第一URL从所述元数据中心查找所述待存储对象存放的RealBucket，其中，所述RealBucket属于第一存储集群；利用所述第一存储集群的集群类型重新组织所述第一URL以形成第二URL，并基于所述第二URL将所述待存储对象存放到所述第一存储集群。根据本专利技术一个实施例的用于分布式存储系统的存储方法，所述根据所述第一URL从所述元数据中心查找所述待存储对象存放的RealBucket，包括：根据所述第一URL中的用户桶信息，确定所述待存储对象对应的虚拟存储位置；基于所述虚拟存储位置，从所述元数据中心中存储的预设映射关系中确定所述虚拟存储位置对应的RealBucket，并将所述虚拟存储位置对应的RealBucket作为所述待存储对象存放的RealBucket。根据本专利技术一个实施例的用于分布式存储系统的存储方法，所述利用所述第一存储集群的集群类型重新组织所述第一URL以形成第二URL，包括：利用所述第一存储集群的集群类型，或基于所述第一存储集群的集群类型和对用户进行身份认证所得的授权信息，结合所述待存储对象存放的RealBucket以及所述第一存储集群重新组织所述第一URL以形成所述第二URL。根据本专利技术一个实施例的用于分布式存储系统的存储方法，还包括：基于每个存储集群的运行状态信息，增加每个存储集群中RealBucket的数量，并为每个RealBucket分配若干虚拟存储位置。根据本专利技术一个实施例的用于分布式存储系统的存储方法，每个所述存储集群均具有优先级的属性；所述方法还包括：基于对象的存储时间信息以及属性信息，将优先级较高的存储集群中的对象迁移至优先级较低的存储集群中。根据本专利技术一个实施例的用于分布式存储系统的存储方法，所述基于对象的存储时间信息以及属性信息，将优先级较高的存储集群中的对象迁移至优先级较低的存储集群中，包括：基于对象的存储时间信息以及属性信息，将优先级较高的存储集群中的对象进行合并以及去重处理，并将处理后的对象迁移至优先级较低的存储集群中。根据本专利技术一个实施例的用于分布式存储系统的存储方法，所述预设映射关系包括虚拟存储位置与RealBucket之间的第一映射关系以及RealBucket与存储集群之间的第二映射关系。根据本专利技术一个实施例的用于分布式存储系统的存储方法，还包括：获取待访问对象的访问请求，其中，所述访问请求携带有所述待访问对象的第三URL；根据所述第三URL从所述元数据中心查找所述待访问对象存放的RealBucket，其中，所述RealBucket属于第二存储集群；利用所述第二存储集群的集群类型重新组织所述第三URL以形成第四URL，并基于所述第四URL在所述第二存储集群中读取所述待访问对象。本专利技术实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于分布式存储系统的存储方法的步骤。本专利技术实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于分布式存储系统的存储方法的步骤。本专利技术实施例提供的用于分布式存储系统的存储方法、电子设备及存储介质，分布式存储系统包括元数据中心和多个存储集群，该方法包括：获取待存储对象的存储请求，其中，所述存储请求携带有所述待存储对象的第一URL；根据所述第一URL从所述元数据中心查找所述待存储对象存放的RealBucket，其中，所述RealBucket属于第一存储集群；利用所述第一存储集群的集群类型重新组织所述第一URL以形成第二URL，并基于所述第二URL将所述待存储对象存放到所述第一存储集群。根据第一URL从元数据中心查找待存储对象存放的RealBucket，不仅可以快速确定出待存储对象存放的RealBucket，而且由于存储过程中并不需要引入待存储对象的数据索引，可以大大节约元数据的存储空间，降低存储规模以及复杂度，减少了搭建及维护成本。即使在需要对系统扩容的情况下，也可以在不影响系统性能的情况下实现对系统的扩容。尤其针对于万亿级别及以上量级的对象存储，本专利技术实施例中提供的用于分布式存储系统的存储方法，其优势更加凸显。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种用于分布式存储系统的存储方法的流程示意图；图2是本专利技术实施例提供的一种分布式存储系统在数据流层面的结构示意图；图3是本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。由于现有的云对象存储系统通过一个集中式的数据中心再加上多个集群共同组建一个大规模集群，存储的对象为数据，数据由集中式的数据中心分配至对应的集群进行存储，集群在对数据进行存储时，通常为每个数据提供一个数据索引，因此当用户访问数据时，可以直接使用标准的S3接口根据数据索引找到对应的集群并进行数据访问。这种方式虽然对应关系简单，但不仅会增加元数据的本文档来自技高网...

【技术保护点】
1.用于分布式存储系统的存储方法，所述分布式存储系统包括元数据中心和多个存储集群，其特征在于，包括：/n获取待存储对象的存储请求，其中，所述存储请求携带有所述待存储对象的第一URL；/n根据所述第一URL从所述元数据中心查找所述待存储对象存放的RealBucket，其中，所述RealBucket属于第一存储集群；/n利用所述第一存储集群的集群类型重新组织所述第一URL以形成第二URL，并基于所述第二URL将所述待存储对象存放到所述第一存储集群。/n

【技术特征摘要】
1.用于分布式存储系统的存储方法，所述分布式存储系统包括元数据中心和多个存储集群，其特征在于，包括：
获取待存储对象的存储请求，其中，所述存储请求携带有所述待存储对象的第一URL；
根据所述第一URL从所述元数据中心查找所述待存储对象存放的RealBucket，其中，所述RealBucket属于第一存储集群；
利用所述第一存储集群的集群类型重新组织所述第一URL以形成第二URL，并基于所述第二URL将所述待存储对象存放到所述第一存储集群。


2.根据权利要求1所述的用于分布式存储系统的存储方法，其特征在于，所述根据所述第一URL从所述元数据中心查找所述待存储对象存放的RealBucket，包括：
根据所述第一URL中的用户桶信息，确定所述待存储对象对应的虚拟存储位置；
基于所述虚拟存储位置，从所述元数据中心中存储的预设映射关系中确定所述虚拟存储位置对应的RealBucket，并将所述虚拟存储位置对应的RealBucket作为所述待存储对象存放的RealBucket。


3.根据权利要求2所述的用于分布式存储系统的存储方法，其特征在于，所述利用所述第一存储集群的集群类型重新组织所述第一URL以形成第二URL，包括：
利用所述第一存储集群的集群类型，或基于所述第一存储集群的集群类型和对用户进行身份认证所得的授权信息，结合所述待存储对象存放的RealBucket以及所述第一存储集群重新组织所述第一URL以形成所述第二URL。


4.根据权利要求1所述的用于分布式存储系统的存储方法，其特征在于，还包括：
基于每个存储集群的运行状态信息，增加每个存储集群中RealBucket的数量，并为每个RealBucket分配若干虚拟存储位置。


5.根据权利要求2所述的用于分布式存储系统的...

【专利技术属性】
技术研发人员：张致江，夏静霆，张明，王芝斌，刘年超，舒银东，殷奎，黄开元，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽;34