数据中心分析域数据同步优化提升方法技术

本发明专利技术涉及一种数据中心分析域数据同步优化提升方法。经分析相关业务系统数据特性，对历史数据的同步进行设计，通过OGG的逻辑更新、逻辑删除操作，迅速对需要更新、删除的历史数据进行定位，对MPP数据进行相应的操作，极大的提升了历史数据同步效率，降低了任务执行时间，满足了对大表数据同步的配置要求，同时通过对数据进质量规则的配置，有效提升了全业务统一数据中心分析域数据质量，为后续基于分析域建设的分析类应用的数据使用奠定了坚实基础。

【技术实现步骤摘要】
数据中心分析域数据同步优化提升方法
本专利技术属于全业务统一数据中心分析域，实现对数据的逻辑更新和删除操作的快速定位记录，提升了历史数据同步效率，具体涉及一种数据中心分析域数据同步优化提升方法。
技术介绍
根据国网全业务数据统一数据中心分析域的建设要求，国网福建电力公司已逐步开展24套业务系统的接入工作。在数据接入及后续流转过程中，需要应用OGG和ETL工具进行数据的同步，发现对历史数据的更新及删除操作无法进行同步，且更新操作效率比较低等问题。删除操作无法同步：利用OGG进行数据同步，可实现数据的增删改操作，使数据同步的两端实现数据镜像；但是，由于两端数据镜像，即源端删除，目标端也删除；后续的数据流转若采用ETL方式同步，则无法获取源端删除操作，导致两端数据不一致。更新操作无法同步：按照国网分析域数据架构，数据缓冲区仅保留增量数据。当业务系统对历史数据进行更新操作时，分析域数据缓冲区已将历史数据删除，无法获取更新操作，后续的数据流转同样无法对历史数据进行更新。经过福建公司实际配置和探索研究，优化了相关方法，实现了对数据的逻辑更新和删除操作的快速定位记录，数据同步效率提升36%，降低了任务执行时间。
技术实现思路
本专利技术的目的在于提供一种数据中心分析域数据同步优化提升方法，实现对数据的逻辑更新和删除操作的快速定位记录，提升了历史数据同步效率。为实现上述目的，本专利技术的技术方案是：一种数据中心分析域数据同步优化提升方法，包括如下步骤，（1）对OGG进行配置，数据表分别增加操作标记、序列、操作时间字段，对源业务系统的增量数据进行正常增量同步，并填上对应的操作标志；（2）OGG对源系统删除数据与更新数据操作分别进行解析，做逻辑删除与逻辑更新操作，并分别填上对应的操作标志；（3）数据经过逻辑删除或逻辑更新操作同步到缓冲区后，通过数据抽取工具同步到MPP数据库；针对同步过来的数据利用数据同步工具配置过滤组件、数据更新组件进行操作；（4）从缓冲区到MPP数据仓库用数据抽取工具进行数据同步。相较于现有技术，本专利技术具有以下有益效果：本专利技术实现了对数据的逻辑更新和删除操作的快速定位记录，数据同步效率提升36%，降低了任务执行时间，让大表的历史数据同步成为了可能，同时极大地提高了全业务统一数据中心的数据质量，具有对全业务数据中心分析域的数据接入工作具有一定的推广价值，为全业务数据中心后续系统的后续奠定了一定的基础。附图说明图1为OGG配置流程。图2为OGG配置代码。图3为缓冲区到MPP数据仓库区连线。图4为数据抽取工具进行数据同步流程。图5为UPDTRANS组件。图6为FILTRANS组件。具体实施方式下面结合附图，对本专利技术的技术方案进行具体说明。本专利技术的一种数据中心分析域数据同步优化提升方法，包括如下步骤，（1）对OGG进行配置，数据表分别增加操作标记、序列、操作时间字段，对源业务系统的增量数据进行正常增量同步，并填上对应的操作标志；（2）OGG对源系统删除数据与更新数据操作分别进行解析，做逻辑删除与逻辑更新操作，并分别填上对应的操作标志；（3）数据经过逻辑删除或逻辑更新操作同步到缓冲区后，通过数据抽取工具同步到MPP数据库；针对同步过来的数据利用数据同步工具配置过滤组件、数据更新组件进行操作；（4）从缓冲区到MPP数据仓库用数据抽取工具进行数据同步。以下为本专利技术的具体实例。本专利技术的数据中心分析域数据同步优化提升方法，共分为两个步骤来实现对数据同步的优化，详细的过程如下：1、逻辑更新/删除解决数据同步问题：通过对OGG进行配置，对数据表增加“操作标记”、“序列”、“操作时间”字段，对源业务系统的增量数据进行正常增量同步，并在“操作标记”字段填上“I”。OGG对源系统删除数据与更新数据操作分别进行解析，做逻辑删除与逻辑更新操作，并在“操作标记”字段填上“D”与“U”。如图1所示：（1）“数据6”为增量数据，OGG同步到缓冲区，在“操作标记”字段填上“I”，并填上序列号与操作时间；（2）“数据2”为历史数据删除，OGG解析后将要删除的数据复制到在缓冲区，在“操作标记”字段填上“D”，并填上序列号与操作时间；（3）“数据1”为历史数据更新，OGG解析后将更新后的数据复制到在缓冲区，在“操作标记”字段填上“U”，并填上序列号与操作时间。OGG逻辑更新逻辑删除操作配置代码如图2所示，其中需添加标黄部分代码，对“flag”进行设置。2、通过“删除+插入”替代更新操作解决更新效率问题数据经过逻辑删除或逻辑更新操作同步到缓冲区后，通过数据抽取工具同步到MPP数据库。针对同步过来的数据利用数据同步工具配置过滤组件、数据更新组件进行操作。如图3，缓冲区到MPP数据仓库区连线所示：（1）“数据6”为增量数据，通过数据抽取工具增量抽取；（2）“数据2”为要删除的历史数据，通过数据抽取工具识别他的“操作标记字段”的“D”标志，通过其主键在MPP数据库中进行删除；（3）“数据1”为要更新的历史数据，通过数据抽取工具识别他的“操作标记字段”的“U”标志，通过其主键在MPP数据库中进行更新，更新方案为先删除旧数据，在插入新数据。从缓冲区到MPP数据仓库用数据抽取工具进行数据同步，如图4所示。其中关键主键配置1，UPDTRANS组件,如图5所示，标记为U与D的数据与MPP数据库进行比对，进行DD_DELETE(删除操作)；关键组件配置2，FILTRANS组件,如图6所示，将标识为I,U的数据过滤出来,数据通过LOAD方式加载进MPP数据仓库。以上是本专利技术的较佳实施例，凡依本专利技术技术方案所作的改变，所产生的功能作用未超出本专利技术技术方案的范围时，均属于本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种数据中心分析域数据同步优化提升方法，其特征在于：包括如下步骤，（1）对OGG进行配置，数据表分别增加操作标记、序列、操作时间字段，对源业务系统的增量数据进行正常增量同步，并填上对应的操作标志；（2）OGG对源系统删除数据与更新数据操作分别进行解析，做逻辑删除与逻辑更新操作，并分别填上对应的操作标志；（3）数据经过逻辑删除或逻辑更新操作同步到缓冲区后，通过数据抽取工具同步到MPP数据库；针对同步过来的数据利用数据同步工具配置过滤组件、数据更新组件进行操作；（4）从缓冲区到MPP数据仓库用数据抽取工具进行数据同步。

【技术特征摘要】
1.一种数据中心分析域数据同步优化提升方法，其特征在于：包括如下步骤，（1）对OGG进行配置，数据表分别增加操作标记、序列、操作时间字段，对源业务系统的增量数据进行正常增量同步，并填上对应的操作标志；（2）OGG对源系统删除数据与更新数据操作分别进行解析，做逻辑...

【专利技术属性】
技术研发人员：付婷，蔡宇翔，苏运东，潘丹，王雪晶，朱碧钦，张航，黄文思，李金湖，林海玉，
申请(专利权)人：国网福建省电力有限公司，国家电网公司，国网福建省电力有限公司信息通信分公司，
类型：发明
国别省市：福建,35