数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取各源系统中的增量源数据；将增量源数据与源系统快照数据进行匹配，识别增量源数据的数据状态，源系统快照数据包括有获取增量源数据之前，从各源系统中获取的源数据的属性信息；根据增量源数据的数据状态，修正增量源数据，获得修正源数据；基于配置的业务元数据，将修正源数据进行规范化处理，获得规范化后的修正源数据，并发布规范化后的修正源数据，业务元数据包括修正源数据的元数据及其属性元数据。采用本申请实施例的方法，能够确保数据的规范性和有效性，提高数据处理的效率。提高数据处理的效率。提高数据处理的效率。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备和存储介质


[0001]本申请涉及数据处理
，特别是涉及一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]为了满足核电各类业务的需要，建立了大量的业务源系统，产生了各种各样的业务数据。随着核电各类业务的深入开展，往往需要应用某一对象的跨业务主题的数据，而这些数据可能会来自不同的源系统。
[0003]目前，为了获取分散在各源系统之间的数据，一般是在源系统之间进行数据层面的同步，建立很多数据同步的接口，以使各源系统之间的数据能够流转，然而，这种方式的接口数量与源系统数量呈指数关系，数据开发和维护的工作量很大，而且无法确保数据的规范性和有效性，导致数据处理效率不高。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]一种数据处理方法，所述方法包括：
[0006]获取各源系统中的增量源数据；r/>[0007]将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取各源系统中的增量源数据；将所述增量源数据与源系统快照数据进行匹配，识别所述增量源数据的数据状态，所述源系统快照数据包括有获取所述增量源数据之前，从各所述源系统中获取的源数据的属性信息；根据所述增量源数据的数据状态，修正所述增量源数据，获得修正源数据；基于配置的业务元数据，将所述修正源数据进行规范化处理，获得规范化后的修正源数据，并发布规范化后的所述修正源数据，所述业务元数据包括所述修正源数据的元数据及其属性元数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述获取各源系统中的增量源数据，包括：确定技术元数据中配置的增量数据同步方案；根据所述增量数据同步方案，从各所述源系统中获取所述增量源数据。3.根据权利要求2所述的数据处理方法，其特征在于，所述将所述增量源数据与源系统快照数据进行匹配，识别所述增量源数据的数据状态，包括：确定所述增量源数据的属性信息；将所述增量源数据的属性信息，与所述源系统快照数据进行匹配，确定所述增量源数据的数据状态，所述数据状态包括是否更新、主键是否变化、是否为物理删除中的任意一种。4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述增量源数据的数据状态，修正所述增量源数据，获得修正源数据，包括：若所述增量源数据的数据状态为主键变化，根据所述源系统快照数据，确定所述增量源数据对应的更新前数据；恢复所述更新前数据，并将所述更新前数据的数据状态设置为删除，所述修正源数据包括所述增量源数据与所述更新前数据。5.根据权利要求1所述的数据处理方法，其特征在于，在所述获得规范化后的修正源数据之后，...

【专利技术属性】
技术研发人员：吴祥勇，王云福，涂红兵，侯斌，刘鹤敏，
申请(专利权)人：深圳中广核工程设计有限公司中国广核集团有限公司中国广核电力股份有限公司，
类型：发明
国别省市：