配置数据处理方法、装置及相关设备制造方法及图纸

技术编号:38770038 阅读:14 留言:0更新日期:2023-09-10 10:43
本申请实施例公开了配置数据处理方法、装置及相关设备,可应用于分布式存储技术领域。其中方法包括:在获取到服务配置文件时,从服务配置文件中解析得到N个配置数据段;N个配置数据段包括配置数据段i;从配置数据段i中解析得到目标组件名称和目标组件配置数据;在获取到空间分布信息时,基于空间分布信息和目标组件名称,从Q个数据存储节点上所部署的对象存储空间中,确定用于存储目标组件配置数据的目标对象存储空间;在生成配置发布消息时,将配置发布消息发送给目标对象存储空间所在的数据存储节点,以使目标对象存储空间所在的数据存储节点,创建目标配置中心对象。采用本申请实施例,有助于缓解配置数据对分布式存储系统造成存储压力。造成存储压力。造成存储压力。

【技术实现步骤摘要】
配置数据处理方法、装置及相关设备


[0001]本申请涉及分布式存储
,尤其涉及配置数据处理方法、装置及相关设备。

技术介绍

[0002]目前,在分布式存储系统中,若需要对一个服务组件(如服务组件A)的配置文件进行发布,需要将该服务组件的配置文件发布到分布式存储系统的主数据管理节点,并且由主数据管理节点将配置文件同步到其他的数据管理节点中,由此可以在分布式存储系统所包括的各个数据管理节点中均存储该服务组件的配置文件,以便于服务组件A所运行在的服务设备可以从数据管理节点中获取配置文件。
[0003]专利技术人在实践过程中发现,对于每一个服务组件来说,均需要将对应的配置文件以文件的形式存储在每个数据管理节点中,并且,对于不同服务组件来说,需要在这些数据管理节点上独立存储不同服务组件的配置文件。一旦分布式存储系统中涉及到的服务组件的数量较多,则需要进行存储的配置文件的数据量就会较大,从而导致服务组件的配置数据对分布式存储系统造成较大的存储压力。

技术实现思路

[0004]本申请实施例提供了一种配置数据处理方法、装置及相关设备,能够将配置文件中,同一组件类型对应的配置数据存储为一个配置中心对象,有助于减少分布式存储系统中的服务组件的组件配置数据的存储量,缓解服务组件的配置数据对分布式存储系统造成的存储压力。
[0005]本申请实施例一方面提供了配置数据处理方法,方法由部署在分布式存储系统中的配置管理客户端执行,分布式存储系统包括Q个数据存储节点;Q个数据存储节点中的每个数据存储节点上均部署有对象存储空间;M为正整数;方法包括:在获取到服务配置文件时,从服务配置文件中解析得到N个配置数据段;一个组件配置数据段是针对一个组件类型所关联的服务组件所确定的;N个配置数据段包括配置数据段i;i为小于或者等于N的正整数;配置数据段i所对应的组件类型为目标组件类型;将从配置数据段i中解析得到的目标组件类型所关联的服务组件的组件名称作为目标组件名称,并将从配置数据段i中解析得到的目标组件类型所关联的服务组件的组件配置数据作为目标组件配置数据;在获取到Q个数据存储节点上所部署的对象存储空间所关联的空间分布信息时,基于空间分布信息和目标组件名称,从Q个数据存储节点上所部署的对象存储空间中,确定用于存储目标组件配置数据的对象存储空间,将确定出的对象存储空间作为与配置数据段i相关联的目标对象存储空间;在基于目标组件名称和目标组件配置数据,生成配置发布消息时,将配置发布消息发送给目标对象存储空间所在的数据存储节点,以使目标对象存储空间所在的数据存储节点,在目标对象存储空间中基于目标组件名称创建目标配置中心对象;目标配置中心对
象为存储目标组件配置数据的配置中心对象。
[0006]本申请实施例一方面提供了一种配置数据处理装置,装置由部署在分布式存储系统中的配置管理客户端运行,分布式存储系统包括Q个数据存储节点;Q个数据存储节点中的每个数据存储节点上均部署有对象存储空间;M为正整数;装置包括:文件解析模块,用于在获取到服务配置文件时,从服务配置文件中解析得到N个配置数据段;一个组件配置数据段是针对一个组件类型所关联的服务组件所确定的;N个配置数据段包括配置数据段i;i为小于或者等于N的正整数;配置数据段i所对应的组件类型为目标组件类型;数据确定模块,用于将从配置数据段i中解析得到的目标组件类型所关联的服务组件的组件名称作为目标组件名称,并将从配置数据段i中解析得到的目标组件类型所关联的服务组件的组件配置数据作为目标组件配置数据;存储空间确定模块,用于在获取到Q个数据存储节点上所部署的对象存储空间所关联的空间分布信息时,基于空间分布信息和目标组件名称,从Q个数据存储节点上所部署的对象存储空间中,确定用于存储目标组件配置数据的对象存储空间,将确定出的对象存储空间作为与配置数据段i相关联的目标对象存储空间;发布消息发送模块,用于在基于目标组件名称和目标组件配置数据,生成配置发布消息时,将配置发布消息发送给目标对象存储空间所在的数据存储节点,以使目标对象存储空间所在的数据存储节点,在目标对象存储空间中基于目标组件名称创建目标配置中心对象;目标配置中心对象为存储目标组件配置数据的配置中心对象。
[0007]本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设备执行本申请实施例提供的方法。
[0008]本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例提供的方法。
[0009]采用本申请实施例,可以从配置文件中解析得到N个组件类型对应的配置数据段,进而可以分别确定每个配置数据段所关联的对象存储空间,从而在相应的对象存储空间中,创建用于存储组件配置数据的配置中心对象。在本申请实施例中,可以以对象的形式存储服务组件的组件配置数据,且相同组件类型关联的服务组件的组件配置数据可以通过同一个配置中心对象进行集中配置存储,不需要对每个服务组件的配置文件单独进行存储,有助于减少分布式存储系统所需存储的服务组件的配置数据的数据量,从而缓解配置数据对于分布式存储系统的存储压力。应当理解,一个服务配置文件中的不同组件类型对应的配置数据段,可以采用不同的配置中心对象进行存储,从而可以将组件配置文件分摊到相应的对象空间中进行存储,有助于缓解配置数据对分布式存储系统造成的存储压力。
附图说明
[0010]为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普
通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0011]图1是本申请实施例提供的一种分布式存储系统的架构示意图;图2是本申请实施例提供的一种基于分布式存储系统的配置数据处理方法的场景示意图;图3是本申请实施例提供的一种配置数据处理方法应用于的服务场景的架构图;图4是本申请实施例提供的一种配置数据处理方法的流程示意图;图5是本申请实施例提供的一种配置文件的效果示意图;图6是本申请实施例提供的一种对象存储的效果示意图;图7是本申请实施例提供的一种备份存储的示意图;图8是本申请实施例提供的一种配置数据发布的场景示意图;图9是本申请实施例提供的一种组件配置数据的存储示意图;图10是本申请实施例提供的一种观察点注册的场景示意图;图11是本申请实施例提供的一种取消观察点的场景示意图;图12是本申请实施例提供的一种配置数据的全量下发过程的场景示意图;图13是本申请实施例提供的另一种配置数据处理方法的流程示意图;图14是本申请实施例提供的又一种配置数据处理方法的流程示意图;图15是本申请实施例提供的一种确定配置数据项所对应的分片对象的流程示意图;图16是本申请本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种配置数据处理方法,其特征在于,所述方法由部署在分布式存储系统中的配置管理客户端执行,所述分布式存储系统包括Q个数据存储节点;所述Q个数据存储节点中的每个数据存储节点上均部署有对象存储空间;M为正整数;所述方法包括:在获取到服务配置文件时,从所述服务配置文件中解析得到N个配置数据段;一个组件配置数据段是针对一个组件类型所关联的服务组件所确定的;所述N个配置数据段包括配置数据段i;i为小于或者等于N的正整数;所述配置数据段i所对应的组件类型为目标组件类型;将从所述配置数据段i中解析得到的所述目标组件类型所关联的服务组件的组件名称作为目标组件名称,并将从所述配置数据段i中解析得到的所述目标组件类型所关联的服务组件的组件配置数据作为目标组件配置数据;在获取到所述Q个数据存储节点上所部署的对象存储空间所关联的空间分布信息时,基于所述空间分布信息和所述目标组件名称,从所述Q个数据存储节点上所部署的对象存储空间中,确定用于存储所述目标组件配置数据的对象存储空间,将确定出的对象存储空间作为与所述配置数据段i相关联的目标对象存储空间;在基于所述目标组件名称和所述目标组件配置数据,生成配置发布消息时,将所述配置发布消息发送给所述目标对象存储空间所在的数据存储节点,以使所述目标对象存储空间所在的数据存储节点,在所述目标对象存储空间中基于所述目标组件名称创建目标配置中心对象;所述目标配置中心对象为存储所述目标组件配置数据的配置中心对象。2.根据权利要求1所述的方法,其特征在于,所述分布式存储系统中划分有K个数据池,K为正整数;所述K个数据池中的每个数据池中均包括有数据映射存储单元,所述每个数据池中的数据映射存储单元用于映射到对应的对象存储空间;所述目标组件配置数据包括M个配置数据项;M为正整数;所述目标配置中心对象的对象类型包括全局对象类型;所述基于所述空间分布信息和所述目标组件名称,从所述Q个数据存储节点上所部署的对象存储空间中,确定用于存储所述目标组件配置数据的对象存储空间,包括:在M小于或等于配置项数量阈值时,确定所述目标配置中心对象的对象类型为所述全局对象类型,并确定所述目标配置中心对象为全局配置对象;所述全局配置对象用于存储所述目标组件配置数据中的全局配置数据;将所述K个数据池中用于发布所述服务配置文件的数据池,确定为目标数据池,基于所述空间分布信息确定所述目标数据池中的数据映射存储单元的单元数量;将所述目标组件名称确定为所述全局配置对象的全局对象名称,对所述全局对象名称进行哈希计算,得到所述全局配置对象对应的名称哈希值,基于所述全局配置对象对应的名称哈希值与所述单元数量,确定所述全局配置对象所对应的数据映射存储单元;基于所述全局配置对象所对应的数据映射存储单元,从所述Q个数据存储节点上所部署的对象存储空间中,确定所述全局配置对象所对应的对象存储空间。3.根据权利要求1所述的方法,其特征在于,所述目标组件配置数据包括M个配置数据项;M为正整数;M为所述目标组件配置数据组中的配置数据项的数据项数量;所述目标配置中心对象的对象类型包括分片对象类型;所述基于所述空间分布信息和所述目标组件名称,从所述Q个数据存储节点上所部署的对象存储空间中,确定用于存储所述目标组件配置数据的对象存储空间,包括:
在M大于配置项数量阈值时,确定所述目标配置中心对象的对象类型为所述分片对象类型,并确定所述目标配置中心对象包括L个分片对象;所述L个分片对象中的每个分片对象用于存储所述目标组件配置数据中的局部配置数据;L为所述目标配置中心对象所包括的分片对象的分片对象数量;L为大于1的正整数;基于所述目标组件名称确定所述L个分片对象的分片对象名称;所述每个分片对象的对象名称包括所述目标组件名称以及分片序号;不同分片对象对应不同的分片序号;基于所述空间分布信息和所述L个分片对象对应的分片对象名称,从所述Q个数据存储节点上所部署的对象存储空间中,确定所述每个分片对象对应的对象存储空间。4.根据权利要求3所述的方法,其特征在于,所述L个分片对象中包括分片对象j,j为小于或等于L的正整数;所述分布式存储系统中划分有K个数据池,K为正整数;所述K个数据池中的每个数据池中均包括有数据映射存储单元,所述每个数据池中的数据映射存储单元用于映射到对应的对象存储空间;所述基于所述空间分布信息和所述目标组件名称,从所述Q个数据存储节点上所部署的对象存储空间中,确定用于存储所述目标组件配置数据的对象存储空间,包括:将所述K个数据池中用于发布所述服务配置文件的数据池,确定为目标数据池,基于所述空间分布信息确定所述目标数据池中的数据映射存储单元的单元数量;对所述分片对象j的对象名称进行哈希计算,得到所述分片对象j对应的名称哈希值,基于所述分片对象j对应的名称哈希值与所述单元数量,确定所述分片对象j所对应的数据映射存储单元;基于所述分片对象j所对应的数据映射存储单元,从所述Q个数据存储节点上所部署的对象存储空间中,确定所述分片对象j所对应的对象存储空间。5.根据权利要求3所述的方法,其特征在于,所述M个配置数据项中的每个配置数据项均包括配置名;所述方法还包括:对所述每个配置数据项的配置名进行哈希计算,得到所述每个配置数据项对应的配置名哈希值;基于所述每个配置数据项对应的配置名哈希值与所述分片数量,将所述每个配置数据项映射到对应的分片对象;一个配置数据项用于映射到一个分片对象;基于所述每个配置数据项所映射到的分片对象,确定所述每个分片对象用于存储的配置数据项。6.根据权利要求1所述的方法,其特征在于,所述目标组件配置数据包括M个配置数据项;M为正整数;所述目标配置中心对象包括L个分片对象;L为大于1的正整数;所述L个分片对象中的每个分片对象用于存储所述目标组件配置数据中的局部配置数据;所述L个分片对象中包括分片对象j,j为小于或等于L的正整数;所述配置发布消息中包括所述分片对象j对应的配置发布子消息;所述基于所述目标组件名称和所述目标组件配置数据,生成配置发布消息,包括:获取基于所述目标组件名称确定的所述分片对象j的分片对象名称;在从所述M个配置数据项中确定所述分片对象j所用于存储的配置数据项时,基于所述分片对象j的分片对象名称和所述分片对象j所用于存储的配置数据项,生成所述分片对象
j对应的配置发布子消息;基于所述分片对象j对应的配置发布子消息确定配置发布消息。7.根据权利要求6所述的方法,其特征在于,所述目标对象存储空间中包括所述分片对象j对应的对象存储空间;所述目标对象存储空间所在的数据存储节点包括所述分片对象j对应的数据存储节点;所述将所述配置发布消息发送给所述目标对象存储空间所在的数据存储节点,包括:将所述分片对象j对应的配置发布子消息,发送给所述分片对象j对应的数据存储节点;所述分片对象j对应的配置发布子消息用于指示所述分片对象j对应的数据存储节点,在所述分片对象j对应的对象存储空间中,基于所述分片对象j的分片对象名称创建所述分片对象j;所述分片对象j的分片对象名称中包括所述目标组件名称;所述分片对象j用于存储所述分片对象j所用于存储的配置数据项。8.根据权利要求1所述的方法,其特征在于,所述目标组件配置数据中包括M个配置数据项;M为正整数;所述M个配置数据项中的每个配置数据项均包括配置名和配置值;所述每个配置数据项的配置名和配置值用于确定所述每个配置数据项对应的配置键值对;一个配置数据项对应一个配置键值对;在所述目标配置中心对象用于存储所述目标组件配置数据时,所述目标组件配置数据为所述M个配置数据项对应的配置键值对;所述M个配置数据项对应的配置键值对用于作为所述目标配置中心对象的对象映射数据;所述目标配置中心对象的对象映射数据是存储在所述目标对象存储空间的键值对数据库中的。9.根据权利要求1所述的方法,其特征在于,所述目标对象存储空间为用于存储所述目标组件配置数据的主存储空间;在确定用于存储所述目标组件配置数据的对象存储空间时,所述方法还包括:基于所述空间分布信息和所述目标组件名称,从所述Q个数据存储节点上所部署的对象存储空间中,确定用于备份所述目标组件配置数据的备份存储空间;将所述目标存储空间所在的数据存储节点作为目标数据存储节点,通知所述目标数据存储节点,将所述目标配置中心对象备份存储至所述备份存储空间。10.根据权利要求1所述的方法,其特征在于,所述分布式存储系统包括数据管理节点;所述方法还包括:在所述配置管理客户端与所述数据管理节点建立数据连接时,基于所述数据连接,从所述数据管理节点上获取所述Q个数据存储节点上所部署的对象存储空间所关联的空间分布信息。11.根据权利要...

【专利技术属性】
技术研发人员:葛凯凯
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1