数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取各源系统中的增量源数据；将增量源数据与源系统快照数据进行匹配，识别增量源数据的数据状态，源系统快照数据包括有获取增量源数据之前，从各源系统中获取的源数据的属性信息；根据增量源数据的数据状态，修正增量源数据，获得修正源数据；基于配置的业务元数据，将修正源数据进行规范化处理，获得规范化后的修正源数据，并发布规范化后的修正源数据，业务元数据包括修正源数据的元数据及其属性元数据。采用本申请实施例的方法，能够确保数据的规范性和有效性，提高数据处理的效率。提高数据处理的效率。提高数据处理的效率。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备和存储介质


[0001]本申请涉及数据处理
，特别是涉及一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]为了满足核电各类业务的需要，建立了大量的业务源系统，产生了各种各样的业务数据。随着核电各类业务的深入开展，往往需要应用某一对象的跨业务主题的数据，而这些数据可能会来自不同的源系统。
[0003]目前，为了获取分散在各源系统之间的数据，一般是在源系统之间进行数据层面的同步，建立很多数据同步的接口，以使各源系统之间的数据能够流转，然而，这种方式的接口数量与源系统数量呈指数关系，数据开发和维护的工作量很大，而且无法确保数据的规范性和有效性，导致数据处理效率不高。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]一种数据处理方法，所述方法包括：
[0006]获取各源系统中的增量源数据；
[0007]将所述增量源数据与源系统快照数据进行匹配，识别所述增量源数据的数据状态，所述源系统快照数据包括有获取所述增量源数据之前，从各所述源系统中获取的源数据的属性信息；
[0008]根据所述增量源数据的数据状态，修正所述增量源数据，获得修正源数据；
[0009]基于配置的业务元数据，将所述修正源数据进行规范化处理，获得规范化后的修正源数据，并发布规范化后的所述修正源数据，所述业务元数据包括所述修正源数据的元数据及其属性元数据。
[0010]在其中一个实施例中，所述获取各源系统中的增量源数据，包括：
[0011]确定技术元数据中配置的增量数据同步方案；
[0012]根据所述增量数据同步方案，从各所述源系统中获取所述增量源数据。
[0013]在其中一个实施例中，所述将所述增量源数据与源系统快照数据进行匹配，识别所述增量源数据的数据状态，包括：
[0014]确定所述增量源数据的属性信息；
[0015]将所述增量源数据的属性信息，与所述源系统快照数据进行匹配，确定所述增量源数据的数据状态，所述数据状态包括是否更新、主键是否变化、是否为物理删除中的任意一种。
[0016]在其中一个实施例中，所述根据所述增量源数据的数据状态，修正所述增量源数据，获得修正源数据，包括：
[0017]若所述增量源数据的数据状态为主键变化，根据所述源系统快照数据，确定所述增量源数据对应的更新前数据；
[0018]恢复所述更新前数据，并将所述更新前数据的数据状态设置为删除，所述修正源数据包括所述增量源数据与所述更新前数据。
[0019]在其中一个实施例中，在所述获得规范化后的修正源数据之后，在所述发布规范化后的所述修正源数据之前，包括：
[0020]对所述规范化后的所述修正源数据进行数据预处理，得到预处理后的规范化后的所述修正源数据，所述数据预处理包括数据去重处理和数据清洗处理中的至少一种。
[0021]在其中一个实施例中，所述增量源数据存储在数据缓存区，所述源系统快照数据存储在数据快照区；
[0022]在所述获得修正源数据之后，所述方法还包括：
[0023]将所述修正源数据更新至所述数据快照区，并清空所述数据缓存区。
[0024]一种数据处理装置，所述装置包括：
[0025]获取模块，用于获取各源系统中的增量源数据；
[0026]识别模块，用于将所述增量源数据与源系统快照数据进行匹配，识别所述增量源数据的数据状态，所述源系统快照数据包括有获取所述增量源数据之前，从各所述源系统中获取的源数据的属性信息；
[0027]修正模块，用于根据所述增量源数据的数据状态，修正所述增量源数据，获得修正源数据；
[0028]发布模块，用于基于配置的业务元数据，将所述修正源数据进行规范化处理，获得规范化后的修正源数据，并发布规范化后的所述修正源数据，所述业务元数据包括所述修正源数据的元数据及其属性元数据。
[0029]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的数据处理方法的步骤。
[0030]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的数据处理方法的步骤。
[0031]一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的数据处理方法的步骤。
[0032]上述数据处理方法、装置、计算机设备、存储介质和计算机程序产品，获取各源系统中的增量源数据；将增量源数据与源系统快照数据进行匹配，识别增量源数据的数据状态，源系统快照数据包括有获取增量源数据之前，从各源系统中获取的源数据的属性信息；根据增量源数据的数据状态，修正增量源数据，获得修正源数据；基于配置的业务元数据，将修正源数据进行规范化处理，获得规范化后的修正源数据，并发布规范化后的修正源数据，业务元数据包括修正源数据的元数据及其属性元数据。采用上述实施例的方法，通过获取源系统增量更新的增量源数据并进行后续处理，能够避免在源系统中进行数据转换，减轻源系统的负载，提高数据集成的效率，通过源系统快照数据识别增量源数据的具体变化情况，并对增量源数据进行规范化处理后发布，能够确保数据的规范性和有效性，提高数据处理的效率。
附图说明
[0033]图1为一个实施例中数据处理方法的应用环境图；
[0034]图2为一个实施例中数据处理方法的流程示意图；
[0035]图3为一个实施例中获取源系统中的增量源数据的示意图；
[0036]图4为一个实施例中对数据进行数据清洗的示意图；
[0037]图5为一个实施例中对数据进行参数化和配置化的示意图；
[0038]图6为一个具体实施例中计算机设备的内部层次划分的示意图；
[0039]图7为一个具体实施例中数据处理方法的整体方案的示意图；
[0040]图8为一个具体实施例中数据处理方法的示意图；
[0041]图9为另一个具体实施例中数据处理方法的示意图；
[0042]图10为一个实施例中数据处理装置的结构框图；
[0043]图11为一个实施例中计算机设备的内部结构图。
具体实施方式
[0044]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0045]在其中一个实施例中，本申请提供的数据处理方法，可以应用于如图1所示的应用环境中。其中，设备102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。
[0046]具体地，服务器104获取设备102中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取各源系统中的增量源数据；将所述增量源数据与源系统快照数据进行匹配，识别所述增量源数据的数据状态，所述源系统快照数据包括有获取所述增量源数据之前，从各所述源系统中获取的源数据的属性信息；根据所述增量源数据的数据状态，修正所述增量源数据，获得修正源数据；基于配置的业务元数据，将所述修正源数据进行规范化处理，获得规范化后的修正源数据，并发布规范化后的所述修正源数据，所述业务元数据包括所述修正源数据的元数据及其属性元数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述获取各源系统中的增量源数据，包括：确定技术元数据中配置的增量数据同步方案；根据所述增量数据同步方案，从各所述源系统中获取所述增量源数据。3.根据权利要求2所述的数据处理方法，其特征在于，所述将所述增量源数据与源系统快照数据进行匹配，识别所述增量源数据的数据状态，包括：确定所述增量源数据的属性信息；将所述增量源数据的属性信息，与所述源系统快照数据进行匹配，确定所述增量源数据的数据状态，所述数据状态包括是否更新、主键是否变化、是否为物理删除中的任意一种。4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述增量源数据的数据状态，修正所述增量源数据，获得修正源数据，包括：若所述增量源数据的数据状态为主键变化，根据所述源系统快照数据，确定所述增量源数据对应的更新前数据；恢复所述更新前数据，并将所述更新前数据的数据状态设置为删除，所述修正源数据包括所述增量源数据与所述更新前数据。5.根据权利要求1所述的数据处理方法，其特征在于，在所述获得规范化后的修正源数据之后，...

【专利技术属性】
技术研发人员：吴祥勇，王云福，涂红兵，侯斌，刘鹤敏，
申请(专利权)人：深圳中广核工程设计有限公司中国广核集团有限公司中国广核电力股份有限公司，
类型：发明
国别省市：