【技术实现步骤摘要】
配置数据处理方法、装置及相关设备
[0001]本申请涉及分布式存储
,尤其涉及配置数据处理方法、装置及相关设备。
技术介绍
[0002]目前,在分布式存储系统中,若需要对一个服务组件(如服务组件A)的配置文件进行发布,需要将该服务组件的配置文件发布到分布式存储系统的主数据管理节点,并且由主数据管理节点将配置文件同步到其他的数据管理节点中,由此可以在分布式存储系统所包括的各个数据管理节点中均存储该服务组件的配置文件,以便于服务组件A所运行在的服务设备可以从数据管理节点中获取配置文件。
[0003]专利技术人在实践过程中发现,对于每一个服务组件来说,均需要将对应的配置文件以文件的形式存储在每个数据管理节点中,并且,对于不同服务组件来说,需要在这些数据管理节点上独立存储不同服务组件的配置文件。一旦分布式存储系统中涉及到的服务组件的数量较多,则需要进行存储的配置文件的数据量就会较大,从而导致服务组件的配置数据对分布式存储系统造成较大的存储压力。
技术实现思路
[0004]本申请实施例提供了一种配置数据处理方法、装置及相关设备,能够将配置文件中,同一组件类型对应的配置数据存储为一个配置中心对象,有助于减少分布式存储系统中的服务组件的组件配置数据的存储量,缓解服务组件的配置数据对分布式存储系统造成的存储压力。
[0005]本申请实施例一方面提供了配置数据处理方法,方法由部署在分布式存储系统中的配置管理客户端执行,分布式存储系统包括Q个数据存储节点;Q个数据存储节点中的每个数据存储节点上均部署 ...
【技术保护点】
【技术特征摘要】
1.一种配置数据处理方法,其特征在于,所述方法由部署在分布式存储系统中的配置管理客户端执行,所述分布式存储系统包括Q个数据存储节点;所述Q个数据存储节点中的每个数据存储节点上均部署有对象存储空间;M为正整数;所述方法包括:在获取到服务配置文件时,从所述服务配置文件中解析得到N个配置数据段;一个组件配置数据段是针对一个组件类型所关联的服务组件所确定的;所述N个配置数据段包括配置数据段i;i为小于或者等于N的正整数;所述配置数据段i所对应的组件类型为目标组件类型;将从所述配置数据段i中解析得到的所述目标组件类型所关联的服务组件的组件名称作为目标组件名称,并将从所述配置数据段i中解析得到的所述目标组件类型所关联的服务组件的组件配置数据作为目标组件配置数据;在获取到所述Q个数据存储节点上所部署的对象存储空间所关联的空间分布信息时,基于所述空间分布信息和所述目标组件名称,从所述Q个数据存储节点上所部署的对象存储空间中,确定用于存储所述目标组件配置数据的对象存储空间,将确定出的对象存储空间作为与所述配置数据段i相关联的目标对象存储空间;在基于所述目标组件名称和所述目标组件配置数据,生成配置发布消息时,将所述配置发布消息发送给所述目标对象存储空间所在的数据存储节点,以使所述目标对象存储空间所在的数据存储节点,在所述目标对象存储空间中基于所述目标组件名称创建目标配置中心对象;所述目标配置中心对象为存储所述目标组件配置数据的配置中心对象。2.根据权利要求1所述的方法,其特征在于,所述分布式存储系统中划分有K个数据池,K为正整数;所述K个数据池中的每个数据池中均包括有数据映射存储单元,所述每个数据池中的数据映射存储单元用于映射到对应的对象存储空间;所述目标组件配置数据包括M个配置数据项;M为正整数;所述目标配置中心对象的对象类型包括全局对象类型;所述基于所述空间分布信息和所述目标组件名称,从所述Q个数据存储节点上所部署的对象存储空间中,确定用于存储所述目标组件配置数据的对象存储空间,包括:在M小于或等于配置项数量阈值时,确定所述目标配置中心对象的对象类型为所述全局对象类型,并确定所述目标配置中心对象为全局配置对象;所述全局配置对象用于存储所述目标组件配置数据中的全局配置数据;将所述K个数据池中用于发布所述服务配置文件的数据池,确定为目标数据池,基于所述空间分布信息确定所述目标数据池中的数据映射存储单元的单元数量;将所述目标组件名称确定为所述全局配置对象的全局对象名称,对所述全局对象名称进行哈希计算,得到所述全局配置对象对应的名称哈希值,基于所述全局配置对象对应的名称哈希值与所述单元数量,确定所述全局配置对象所对应的数据映射存储单元;基于所述全局配置对象所对应的数据映射存储单元,从所述Q个数据存储节点上所部署的对象存储空间中,确定所述全局配置对象所对应的对象存储空间。3.根据权利要求1所述的方法,其特征在于,所述目标组件配置数据包括M个配置数据项;M为正整数;M为所述目标组件配置数据组中的配置数据项的数据项数量;所述目标配置中心对象的对象类型包括分片对象类型;所述基于所述空间分布信息和所述目标组件名称,从所述Q个数据存储节点上所部署的对象存储空间中,确定用于存储所述目标组件配置数据的对象存储空间,包括:
在M大于配置项数量阈值时,确定所述目标配置中心对象的对象类型为所述分片对象类型,并确定所述目标配置中心对象包括L个分片对象;所述L个分片对象中的每个分片对象用于存储所述目标组件配置数据中的局部配置数据;L为所述目标配置中心对象所包括的分片对象的分片对象数量;L为大于1的正整数;基于所述目标组件名称确定所述L个分片对象的分片对象名称;所述每个分片对象的对象名称包括所述目标组件名称以及分片序号;不同分片对象对应不同的分片序号;基于所述空间分布信息和所述L个分片对象对应的分片对象名称,从所述Q个数据存储节点上所部署的对象存储空间中,确定所述每个分片对象对应的对象存储空间。4.根据权利要求3所述的方法,其特征在于,所述L个分片对象中包括分片对象j,j为小于或等于L的正整数;所述分布式存储系统中划分有K个数据池,K为正整数;所述K个数据池中的每个数据池中均包括有数据映射存储单元,所述每个数据池中的数据映射存储单元用于映射到对应的对象存储空间;所述基于所述空间分布信息和所述目标组件名称,从所述Q个数据存储节点上所部署的对象存储空间中,确定用于存储所述目标组件配置数据的对象存储空间,包括:将所述K个数据池中用于发布所述服务配置文件的数据池,确定为目标数据池,基于所述空间分布信息确定所述目标数据池中的数据映射存储单元的单元数量;对所述分片对象j的对象名称进行哈希计算,得到所述分片对象j对应的名称哈希值,基于所述分片对象j对应的名称哈希值与所述单元数量,确定所述分片对象j所对应的数据映射存储单元;基于所述分片对象j所对应的数据映射存储单元,从所述Q个数据存储节点上所部署的对象存储空间中,确定所述分片对象j所对应的对象存储空间。5.根据权利要求3所述的方法,其特征在于,所述M个配置数据项中的每个配置数据项均包括配置名;所述方法还包括:对所述每个配置数据项的配置名进行哈希计算,得到所述每个配置数据项对应的配置名哈希值;基于所述每个配置数据项对应的配置名哈希值与所述分片数量,将所述每个配置数据项映射到对应的分片对象;一个配置数据项用于映射到一个分片对象;基于所述每个配置数据项所映射到的分片对象,确定所述每个分片对象用于存储的配置数据项。6.根据权利要求1所述的方法,其特征在于,所述目标组件配置数据包括M个配置数据项;M为正整数;所述目标配置中心对象包括L个分片对象;L为大于1的正整数;所述L个分片对象中的每个分片对象用于存储所述目标组件配置数据中的局部配置数据;所述L个分片对象中包括分片对象j,j为小于或等于L的正整数;所述配置发布消息中包括所述分片对象j对应的配置发布子消息;所述基于所述目标组件名称和所述目标组件配置数据,生成配置发布消息,包括:获取基于所述目标组件名称确定的所述分片对象j的分片对象名称;在从所述M个配置数据项中确定所述分片对象j所用于存储的配置数据项时,基于所述分片对象j的分片对象名称和所述分片对象j所用于存储的配置数据项,生成所述分片对象
j对应的配置发布子消息;基于所述分片对象j对应的配置发布子消息确定配置发布消息。7.根据权利要求6所述的方法,其特征在于,所述目标对象存储空间中包括所述分片对象j对应的对象存储空间;所述目标对象存储空间所在的数据存储节点包括所述分片对象j对应的数据存储节点;所述将所述配置发布消息发送给所述目标对象存储空间所在的数据存储节点,包括:将所述分片对象j对应的配置发布子消息,发送给所述分片对象j对应的数据存储节点;所述分片对象j对应的配置发布子消息用于指示所述分片对象j对应的数据存储节点,在所述分片对象j对应的对象存储空间中,基于所述分片对象j的分片对象名称创建所述分片对象j;所述分片对象j的分片对象名称中包括所述目标组件名称;所述分片对象j用于存储所述分片对象j所用于存储的配置数据项。8.根据权利要求1所述的方法,其特征在于,所述目标组件配置数据中包括M个配置数据项;M为正整数;所述M个配置数据项中的每个配置数据项均包括配置名和配置值;所述每个配置数据项的配置名和配置值用于确定所述每个配置数据项对应的配置键值对;一个配置数据项对应一个配置键值对;在所述目标配置中心对象用于存储所述目标组件配置数据时,所述目标组件配置数据为所述M个配置数据项对应的配置键值对;所述M个配置数据项对应的配置键值对用于作为所述目标配置中心对象的对象映射数据;所述目标配置中心对象的对象映射数据是存储在所述目标对象存储空间的键值对数据库中的。9.根据权利要求1所述的方法,其特征在于,所述目标对象存储空间为用于存储所述目标组件配置数据的主存储空间;在确定用于存储所述目标组件配置数据的对象存储空间时,所述方法还包括:基于所述空间分布信息和所述目标组件名称,从所述Q个数据存储节点上所部署的对象存储空间中,确定用于备份所述目标组件配置数据的备份存储空间;将所述目标存储空间所在的数据存储节点作为目标数据存储节点,通知所述目标数据存储节点,将所述目标配置中心对象备份存储至所述备份存储空间。10.根据权利要求1所述的方法,其特征在于,所述分布式存储系统包括数据管理节点;所述方法还包括:在所述配置管理客户端与所述数据管理节点建立数据连接时,基于所述数据连接,从所述数据管理节点上获取所述Q个数据存储节点上所部署的对象存储空间所关联的空间分布信息。11.根据权利要...
【专利技术属性】
技术研发人员:葛凯凯,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。