数据处理方法技术

本申请提供了一种分布式系统的数据处理方法

【技术实现步骤摘要】
数据处理方法、系统、装置、设备、存储介质及程序产品


[0001]本申请涉及计算机技术，尤其涉及一种分布式系统的数据处理方法
、
系统
、
装置
、
电子设备
、
计算机可读存储介质及计算机程序产品
。

技术介绍

[0002]云技术
(Cloud technology)
是指在广域网或局域网内将硬件
、
软件
、
网络等系列资源统一起来，实现数据的计算
、
储存
、
处理和共享的一种托管技术
。
[0003]面对海量园区的配置文件管理，相关技术中的配置管理系统主要依赖于大量的人工操作维护管理配置文件，例如当多个单机上本地的配置文件需要更新时，需要通过人工操作一一更新每个单机上本地的配置文件，这种更新方式依赖大量的人力，更新效率比较低
。

技术实现思路

[0004]本申请实施例提供一种分布式系统的数据处理方法
、
系统
、
装置
、
电子设备
、
计算机可读存储介质及计算机程序产品，能够自动更新本地的配置文件，提高配置文件的更新效率
。
[0005]本申请实施例的技术方案是这样实现的：
[0006]本申请实施例提供一种分布式系统的数据处理方法，包括：
[0007]所述分布式系统包括：对象存储设备
、
键值数据存储设备/>、
节点服务器以及代理客户端；
[0008]所述方法包括：
[0009]所述节点服务器接收所述代理客户端发送的心跳请求，并从所述键值数据存储设备中获取目标配置文件的元数据信息；
[0010]其中，所述心跳请求包括所述代理客户端本地的配置文件的元数据信息；
[0011]所述节点服务器基于所述心跳请求以及所述目标配置文件的元数据信息，生成配置更新请求，并发送所述配置更新请求至所述代理客户端；
[0012]其中，所述配置更新请求用于指示所述代理客户端更新所述本地的配置文件；
[0013]所述代理客户端基于所述配置更新请求，从所述对象存储设备中获取所述目标配置文件，并基于所述目标配置文件更新所述本地的配置文件
。
[0014]本申请实施例提供一种分布式系统的数据处理装置，包括：
[0015]节点服务模块，用于接收代理模块发送的心跳请求，并从键值数据存储设备中获取目标配置文件的元数据信息；
[0016]其中，所述心跳请求包括所述代理模块本地的配置文件的元数据信息；
[0017]所述节点服务模块，还用于基于所述心跳请求以及所述目标配置文件的元数据信息，生成配置更新请求，并发送所述配置更新请求至所述代理模块；
[0018]其中，所述配置更新请求用于指示所述代理模块更新所述本地的配置文件；
[0019]所述代理模块，用于基于所述配置更新请求，从对象存储设备中获取所述目标配置文件，并基于所述目标配置文件更新所述本地的配置文件
。
[0020]上述技术方案中，所述装置还包括主服务模块；所述将所述心跳请求中的元数据信息与所述目标配置文件的元数据信息进行比对之前，所述主服务模块用于响应于所述目标配置文件的配置请求，生成所述目标配置文件以及所述目标配置文件的元数据信息；
[0021]将所述目标配置文件存储于所述对象存储模块；
[0022]将所述目标配置文件的元数据信息存储于所述键值数据存储模块；
[0023]将所述目标配置文件的配置项键值存储于所述键值数据存储模块
。
[0024]上述技术方案中，所述主服务模块是从多个服务模块中被预先配置的，或者是所述多个服务模块中通过选举产生的一个服务模块；所述主服务模块用于将所述目标配置文件以及所述目标配置文件的元数据信息同步至其他服务模块；
[0025]其中，所述其他服务模块为所述多个服务模块中除所述主服务模块之外的服务模块
。
[0026]上述技术方案中，所述键值数据存储模块存储有第一版本的配置文件，所述目标配置文件为第二版本的所述配置文件；所述元数据信息包括所述配置文件的版本信息以及当前版本信息；所述主服务模块还用于将所述配置文件的第二版本信息存储于所述键值数据存储模块；
[0027]将所述配置文件的当前版本信息由所述第一版本更新为所述第二版本
。
[0028]上述技术方案中，所述基于所述心跳请求以及所述目标配置文件的元数据信息，生成配置更新请求之前，所述节点服务模块查询所述配置文件的当前版本信息；
[0029]当确定所述当前版本信息发生更新时，将执行所述生成配置更新请求的操作
。
[0030]上述技术方案中，所述代理模块本地的配置文件的元数据信息包括所述本地的配置文件的版本信息，所述目标配置文件的元数据信息包括所述目标配置文件的版本信息；所述节点服务模块还用于将所述心跳请求中的版本信息与所述目标配置文件的版本信息进行比对；
[0031]当所述心跳请求中的版本信息与所述目标配置文件的版本信息不同时，基于所述目标配置文件在所述对象存储模块的存储位置，生成所述配置更新请求
。
[0032]上述技术方案中，所述代理模块本地的配置文件的元数据信息包括所述本地的配置文件的第一加密信息，所述目标配置文件的元数据信息包括所述目标配置文件的第二加密信息；所述节点服务模块还用于将所述心跳请求中的第一加密信息与所述第二加密信息进行比对；
[0033]当所述第一加密信息与所述第二加密信息不同时，基于所述目标配置文件在所述对象存储模块的存储位置，生成所述配置更新请求
。
[0034]上述技术方案中，所述元数据信息包括设定的代理模块集合，所述代理模块集合中的代理模块用于更新所述本地的配置文件；所述节点服务模块还用于当所述代理模块集合中存在与所述节点服务器连接的所述代理模块时，所述节点服务器将所述配置更新请求发送至与所述节点服务器连接的所述代理模块
。
[0035]上述技术方案中，所述元数据信息包括更新灰度百分比；所述节点服务模块还用于所述节点服务器基于所述更新灰度百分比，对与所述节点服务器连接的所述代理模块进
行选举处理，得到需要更新所述本地的配置文件的所述代理模块；
[0036]其中，需要更新所述本地的配置文件的所述代理模块的数量
、
与与所述节点服务器连接的所述代理模块的数量的比值为所述更新灰度百分比；
[0037]将所述配置更新请求发送至需要更新所述本地的配置文件的所述代理模块
。
[0038]上述技术方案中，所述接收所述代理模块发送的心跳请求之前，所述代理模块还用于解析本地的配置管理文件，得到所述配置管理文件的配置项键值；
[0039]其中，所述配置管理文件的配置项键值为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种分布式系统的数据处理方法，其特征在于，所述分布式系统包括：对象存储设备
、
键值数据存储设备
、
节点服务器以及代理客户端；所述方法包括：所述节点服务器接收所述代理客户端发送的心跳请求，并从所述键值数据存储设备中获取目标配置文件的元数据信息；其中，所述心跳请求包括所述代理客户端本地的配置文件的元数据信息；所述节点服务器基于所述心跳请求以及所述目标配置文件的元数据信息，生成配置更新请求，并发送所述配置更新请求至所述代理客户端；其中，所述配置更新请求用于指示所述代理客户端更新所述本地的配置文件；所述代理客户端基于所述配置更新请求，从所述对象存储设备中获取所述目标配置文件，并基于所述目标配置文件更新所述本地的配置文件
。2.
根据权利要求1所述的方法，其特征在于，所述分布式系统还包括主服务器；所述节点服务器将所述心跳请求中的元数据信息与所述目标配置文件的元数据信息进行比对之前，所述方法还包括：所述主服务器响应于所述目标配置文件的配置请求，生成所述目标配置文件以及所述目标配置文件的元数据信息；将所述目标配置文件存储于所述对象存储设备；将所述目标配置文件的元数据信息存储于所述键值数据存储设备；将所述目标配置文件的配置项键值存储于所述键值数据存储设备
。3.
根据权利要求2所述的方法，其特征在于，所述主服务器是从多个服务器中被预先配置的，或者是所述多个服务器中通过选举产生的一个服务器；所述方法还包括：所述主服务器将所述目标配置文件以及所述目标配置文件的元数据信息同步至其他服务器；其中，所述其他服务器为所述多个服务器中除所述主服务器之外的服务器
。4.
根据权利要求2所述的方法，其特征在于，所述键值数据存储设备存储有第一版本的配置文件，所述目标配置文件为第二版本的所述配置文件；所述元数据信息包括所述配置文件的版本信息以及当前版本信息；所述将所述目标配置文件的元数据信息存储于所述键值数据存储设备，包括：将所述配置文件的第二版本信息存储于所述键值数据存储设备；将所述配置文件的当前版本信息由所述第一版本更新为所述第二版本
。5.
根据权利要求4所述的方法，其特征在于，所述节点服务器基于所述心跳请求以及所述目标配置文件的元数据信息，生成配置更新请求之前，所述方法还包括：所述节点服务器查询所述配置文件的当前版本信息；当确定所述当前版本信息发生更新时，将执行所述生成配置更新请求的操作
。
6.
根据权利要求1或5所述的方法，其特征在于，所述代理客户端本地的配置文件的元数据信息包括所述本地的配置文件的版本信息，所述目标配置文件的元数据信息包括所述目标配置文件的版本信息；所述节点服务器基于所述心跳请求以及所述目标配置文件的元数据信息，生成配置更新请求，包括：所述节点服务器将所述心跳请求中的版本信息与所述目标配置文件的版本信息进行比对；当所述心跳请求中的版本信息与所述目标配置文件的版本信息不同时，基于所述目标配置文件在所述对象存储设备的存储位置，生成所述配置更新请求
。7.
根据权利要求1所述的方法，其特征在于，所述代理客户端本地的配置文件的元数据信息包括所述本地的配置文件的第一加密信息，所述目标配置文件的元数据信息包括所述目标配置文件的第二加密信息；所述节点服务器基于所述心跳请求以及所述目标配置文件的元数据信息，生成配置更新请求，包括：所述节点服务器将所述心跳请求中的第一加密信息与所述第二加密信息进行比对；当所述第一加密信息与所述第二加密信息不同时，基于所述目标配置文件在所述对象存储设备的存储位置，生成所述配置更新请求
。8.
根据权利要求...

【专利技术属性】
技术研发人员：佟明达，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：