数据处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、计算机设备及存储介质。该方法包括接收配置资源中心发送的包括目标插件标识的服务配置信息，根据插件标识和数据配置插件的关联信息，获取与目标插件标识对应的目标数据配置插件；通过目标数据配置插件，确定与服务配置信息对应的待同步配置关系数据，向与第一资源池所在的对等网络中的至少一个第二资源池的配置数据中心服务发送与待同步配置关系数据对应的数据同步指令，数据同步指令包括描述事件数据，数据同步指令用于指示第二资源池的配置数据中心服务更新描述事件数据。如此，通过分布式多点部署配置数据中心服务，以完成数据的实时同步与更新，避免浪费数据调度时的人工资源，提高数据调度效率。高数据调度效率。高数据调度效率。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备及存储介质


[0001]本申请属于计算机
，具体涉及一种数据处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]在相关技术中，数据调度方式为通过配置资源中心建立的中心数据库保存全部配置关系数据，各个分支的资源池集群建立节点数据库，数据关系数据由中心数据库下发到各个节点数据库。每当配置关系数据发生变化时，需要先更新中心数据库，在更新完成后调度数据库的快照同步功能，将中心数据库更新的数据同步到各个节点数据库中，使得各个分支的资源池的应用程序通过查询本地的节点数据库获取变化后的配置关系数据。
[0003]然而，中心数据库和节点数据库之间的数据同步是基于快照同步功能，当失去与快照同步功能对应的数据库的刷新功能后，会导致数据同步失败，以及，当数据同步失败后，需要重新进行数据刷新，否则会出现配置关联数据不一致导致业务交易失败的情况，另外，维护配置关系数据需要有专门人员对刷新与同步快照进行操作，如此，在浪费人工资源的同时，降低了数据调度效率。

技术实现思路

[0004]本申请实施例提供一种数据处理方法、装置、计算机设备及存储介质，能够解决现有技术中数据调度方式浪费人工资源、数据调度效率低的问题。
[0005]第一方面，本申请实施例提供一种数据处理方法，该方法可以包括：
[0006]接收配置资源中心发送的服务配置信息，服务配置信息包括目标插件标识，服务配置信息由配置资源中心接收到的数据同步请求确定；
[0007]根据插件标识和数据配置插件的关联信息，获取与目标插件标识对应的目标数据配置插件；
[0008]通过目标数据配置插件，确定与服务配置信息对应的待同步配置关系数据；
[0009]向与第一资源池所在的对等网络中的至少一个第二资源池的配置数据中心服务发送数据同步指令；其中，数据同步指令包括描述事件数据，数据同步指令用于指示第二资源池的配置数据中心服务更新描述事件数据，描述事件数据由待同步配置关系数据经过内容序列化处理得到。
[0010]第二方面，本申请实施例提供了一种数据处理装置，该装置可以包括：
[0011]接收模块，用于接收配置资源中心发送的服务配置信息，服务配置信息包括目标插件标识，服务配置信息由配置资源中心接收到的数据同步请求确定；
[0012]获取模块，用于根据插件标识和数据配置插件的关联信息，获取与目标插件标识对应的目标数据配置插件；
[0013]确定模块，用于通过目标数据配置插件，确定与服务配置信息对应的待同步配置关系数据；
[0014]发送模块，用于向与第一资源池所在的对等网络中的至少一个第二资源池的配置数据中心服务发送数据同步指令；其中，数据同步指令包括描述事件数据，数据同步指令用于指示第二资源池的配置数据中心服务更新描述事件数据，描述事件数据由待同步配置关系数据经过内容序列化处理得到。
[0015]第三方面，本申请实施例提供了一种数据处理系统，该系统可以包括：配置资源中心和至少一个资源池，至少一个资源池中每个资源池包括配置数据中心服务；其中，
[0016]配置资源中心，用于接收数据同步请求，并基于数据同步请求，生成服务配置信息，服务配置信息包括与数据同步请求对应的目标插件标识；以及，向至少一个资源池发送服务配置信息，至少一个资源池包括第一资源池；
[0017]第一资源池，用于在接收到配置资源中心发送的服务配置信息的情况下，根据插件标识和数据配置插件的关联信息，获取与目标插件标识对应的目标数据配置插件；通过目标数据配置插件，确定与服务配置信息对应的待同步配置关系数据；向与第一资源池所在的对等网络中的至少一个第二资源池的配置数据中心服务发送数据同步指令；
[0018]其中，数据同步指令包括描述事件数据，数据同步指令用于指示第二资源池的配置数据中心服务更新描述事件数据，描述事件数据由待同步配置关系数据经过内容序列化处理得到。
[0019]第四方面，本申请实施例提供了一种计算设备，该计算设备包括：处理器以及存储有计算机程序指令的存储器；
[0020]处理器执行计算机程序指令时实现如第一方面所示的数据处理方法。
[0021]第五方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面所示的数据处理方法。
[0022]第六方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面所示的数据处理方法。
[0023]第七方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面、所示的数据处理方法。
[0024]本申请实施例的数据处理方法、装置、计算机设备及存储介质，接收配置资源中心发送的包括目标插件标识的服务配置信息，根据插件标识和数据配置插件的关联信息，获取与目标插件标识对应的目标数据配置插件，接着，通过目标数据配置插件，确定与服务配置信息对应的待同步配置关系数据，向与第一资源池所在的对等网络中的至少一个第二资源池的配置数据中心服务发送数据同步指令，其中，数据同步指令包括描述事件数据，数据同步指令用于指示第二资源池的配置数据中心服务更新描述事件数据，描述事件数据由待同步配置关系数据经过内容序列化处理得到。这样，通过在各资源池部署配置数据中心服务，以提供插件标识和数据配置插件的关联信息，从而根据多种类型目标插件标识，获取目标数据配置插件，通过目标数据配置插件在其资源池中确定待同步配置关系数据，并对其待同步配置关系数据进行内容序列化处理，得到标准化的描述事件数据，保证在对等网络中，各资源池可以通过各资源池的配置数据中心服务可以读取到其描述事件数据，以完成数据的实时同步与更新，实现了分布式的多点部署服务，避免了数据调度过程中掉点的问题。本申请实施例中与第一资源池所在的对等网络中的各个资源池配置中心服务均视为对等者，各资源池的资源池配置中心服务之间可以进行任务流转和数据同步，各资源池配置
中心服务间的数据同步不依赖配置资源中心，如此，在单一或部分集群服务故障时，均不影响数据整体调度和可用性，从而保障通过各个资源池都可以获取到所需更新数据，提高数据调度效率。另外，各个资源池中的配置数据中心服务可以实时并发调用量自动实现配置数据中心服务的自动伸缩和弹性扩容，节省了数据同步与维护的人力成本，提高了跨资源池间配置数据中心服务同步的准确性、完整性和安全性。
附图说明
[0025]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1为一种数据调度的结构示意图；
[0027]图2为本申请实施例提供的一种数据处理系统的结构示意图之一；
[0028]图3为本申请实施例提供的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于第一资源池，包括：接收配置资源中心发送的服务配置信息，所述服务配置信息包括目标插件标识，所述服务配置信息由所述配置资源中心接收到的数据同步请求确定；根据插件标识和数据配置插件的关联信息，获取与所述目标插件标识对应的目标数据配置插件；通过所述目标数据配置插件，确定与所述服务配置信息对应的待同步配置关系数据；向与所述第一资源池所在的对等网络中的至少一个第二资源池的配置数据中心服务发送数据同步指令；其中，所述数据同步指令包括描述事件数据，所述数据同步指令用于指示所述第二资源池的配置数据中心服务更新所述描述事件数据，所述描述事件数据由所述待同步配置关系数据经过内容序列化处理得到。2.根据权利要求1所述的方法，其特征在于，所述通过所述目标数据配置插件，确定与所述服务配置信息对应的待同步配置关系数据，包括：通过所述目标数据配置插件，读取所述服务配置信息中的插件配置信息，所述插件配置信息包括与所述服务配置信息对应的待同步配置关系数据的数据源；对所述数据源的配置数据进行加载，得到所述待同步配置关系数据。3.根据权利要求2所述的方法，其特征在于，所述通过所述目标数据配置插件，读取所述服务配置信息中的插件配置信息之后，所述方法还包括：在通过所述目标数据配置插件未能读取到所述服务配置信息中的插件配置信息的情况下，通过所述第一资源池的配置数据中心服务，将所述数据源的异常状态信息发送到目标群组，所述目标群组包括处理所述异常状态信息的管理员帐户。4.根据权利要求1所述的方法，其特征在于，所述向与所述第一资源池所在的对等网络中的至少一个第二资源池的配置数据中心服务发送数据同步指令之前，所述方法还包括：通过所述目标数据配置插件，对所述待同步配置关系数据进行内容序列化处理，得到标准化封装后的描述事件数据，所述描述事件数据包括序列化后的待同步配置关系数据、所述待同步配置关系数据的数据类型和溯源信息。5.根据权利要求4所述的方法，其特征在于，所述向与所述第一资源池所在的对等网络中的至少一个第二资源池的配置数据中心服务发送数据同步指令之前，所述方法还包括：将所述描述事件数据添加到所述第一资源池中的数据对象列表；在接收到与所述第一资源池关联的至少一个用户端的数据订阅请求的情况下，向所述用户端发送所述数据对象列表中的描述事件数据。6.根据权利要求1所述的方法，其特征在于，所述描述事件数据存储在所述第一资源池中的数据对象列表；所述向与所述第一资源池所在的对等网络中的至少一个第二资源池的配置数据中心服务发送数据同步指令之前，所述方法还包括：获取所述数据对象列表中所述待同步配置关系数据的数据类型；在所述数据类型表征为所述待同步配置关系数据为非关键类数据的情况下，确定与所述待同步配置关系数据对应的描述事件数据在所述数据对象列表中的存储时长是否超过预设阈值；在所述描述事件数据在所述数据对象列表中的存储时长超过预设阈值、且所述待同步
配置关系数据的压缩方式服务预设压缩方式的情况下，通过预设持久标签，对所述描述事件数据进行标记；将标记后的所述描述事件数据存储到所述数据对象列表。7.根据权利要求6所述的方法，其特征在于，所述获取所述数据对象列表中所述待同步配置关系数据的数据类型之后，所述方法还包括：在所述数据类型表征为所述待同步配置关系数据为关键类数据的情况下，通过所述第一资源池中至少一种对称和非对称加密算法，对与所述待同步配置关系数据对应的描述事件数据进行加密；获取与加密后的描述事件数据对应的持久标...

【专利技术属性】
技术研发人员：张辉，于洋，李全松，任耀耀，张廉，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：