大数据环境下实现数据同步优化处理的系统及其方法技术方案

本发明专利技术涉及一种大数据环境下实现数据同步优化处理的系统，包括初始化模块用于进行数据库初始化以及数据平台配置安装；动态监控数据设计模块用于通过模拟成为数据库的从机的方式，监听数据库的日志来获取数据；实时任务配置模块用于根据所述的动态监控数据设计模块中的配置实时监听数据源；数据变更数据同步模块用于结合所述的动态监控数据设计模块实现目标数据库和数据源数据的实时更新同步。本发明专利技术还涉及一种实现大数据环境下的数据同步优化处理方法。采用了本发明专利技术的大数据环境下实现数据同步优化处理的系统及其方法，通过模拟成为主从设备的方式，监听源库的日志来获取数据，获取到执行的每一个增删改的脚本、修改前和修改后的数据来实现数据及时同步变更。

The system and method of realizing data synchronization and optimization processing in big data environment

【技术实现步骤摘要】
大数据环境下实现数据同步优化处理的系统及其方法
本专利技术涉及数据资产管理领域，尤其涉及数据同步优化领域，具体是指一种大数据环境下实现数据同步优化处理的系统及其方法。
技术介绍
数据服务共享平台定位于企业数据资源“纵向贯通”、“横向互联”的共享通道，使其成为企业、组织、部门的数据工厂，主要从安全管控、服务治理、服务消费、服务开发效率等系列问题入手，提供统一平台对多源、多类型数据进行统一的服务化管控，帮助企业更加有效、可靠的使用数据。数据共享平台是处理数据交换的一种重要方式，是将数据规划整理后提供出去的一种管理方式，包括整个数据的流程和走向，通过有效的管理实现数据价值。其中，数据源和目标库数据同步数据的及时程度是数据平台同步数据的一个重要方面，在系统的使用过程中，及时的同步数据直接影响数据共享平台的数据提取效率、可否满足业务场景、用户体验度等方面，一定程度影响着数据资产管理的效率。目前，在数据平台的使用中，支持数据同步的使用，即数据源的数据库数据根据同步作业的配置信息，然后通过手动执行作业或者定时任务实现的，将其中的数据同步到目标数据库中，具体的实现步骤如下：1、初始化环境，配置数据库，初始化数据库；2、配置数据源、目标库信息资源；3、配置数据同步任务；4、根据同步要求配置日历、频度等定时信息；5、执行数据同步任务。根据如上步骤在数据平台中的数据同步任务，只满足常规的数据同步要求，但是在实际项目使用中，数据同步的管理更加精细，手动执行任务或者定时任务执行后数据源中的数据不一定有变更，此时存在浪费资源的问题，在没有手动执行任务或者定时任务的时候，数据源中的信息可能存在数据变更，此时没能够同步数据，不能满足数据的实时变更，使用当前的数据同步的方法显然不能完全满足当前的需求，使得数据平台的用户体验度下降。现有的数据平台中可以选择当前的数据同步的办法，通过配置作业实现数据库的同步功能是通过配置数据源与目标库的的作业信息，然后通过手动执行作业或者定时任务实现的，但是实际项目使用中，数据同步的管理更加精细，手动执行任务或者定时任务执行后数据源中的数据不一定有变更，此时存在浪费资源的问题，在没有手动执行任务或者定时任务的时候，数据源中的信息可能存在数据变更，此时没能够同步数据，不能满足数据的实时变更，使用当前的数据同步的方法显然不能完全满足当前的需求，使得数据共享平台的用户体验度下降。
技术实现思路
本专利技术的目的是克服了上述现有技术的缺点，提供了一种满足效率高、操作简便、适用范围广泛的大数据环境下实现数据同步优化处理的系统及其方法。为了实现上述目的，本专利技术的大数据环境下实现数据同步优化处理的系统及其方法如下：该大数据环境下实现数据同步优化处理的系统，其主要特点是，所述的系统包括：初始化模块，用于进行数据库初始化以及数据平台配置安装；动态监控数据设计模块，与所述的初始化模块相连接，用于通过模拟成为数据库的从机的方式，设置日志模式，监听数据库的日志来获取数据，监控数据源数据变更；实时任务配置模块，与所述的动态监控数据设计模块相连接，用于根据所述的动态监控数据设计模块中的配置实时监听数据源，配置任务参数；数据变更数据同步模块，与所述的实时任务配置模块和动态监控数据设计模块相连接，用于根据实时任务配置模块的配置，并结合所述的动态监控数据设计模块实现目标数据库和数据源数据的实时更新与同步。较佳地，所述的初始化模块包括：表创建单元，与所述的动态监控数据设计模块相连接，用于数据库表信息初始完成后创建所需的表；数据增加单元，与所述的动态监控数据设计模块相连接，用于根据创建的表增加数据。较佳地，所述的动态监控数据设计模块通过模拟成为数据库的从机的方式，设置日志模式，监听数据库的日志来获取数据，监控数据源数据变更。较佳地，所述的动态监控数据设计模块中的数据源为MySQL数据库，目标数据库为hbase，MySQL的日志为二进制日志binlog。较佳地，所述的实时任务配置模块的实时任务配置的参数包含同步任务模板、数据库映射关系和表映射关系。该利用上述系统实现大数据环境下的数据同步优化处理方法，其主要特点是，所述的方法包括以下步骤：(1)所述的初始化模块进行数据库初始化以及数据平台配置安装；(2)所述的动态监控数据设计模块监听日志获取数据；(3)所述的实时任务配置模块根据所述的动态监控数据设计模块中的配置实时监听数据源，配置任务参数；(4)所述的数据变更数据同步模块根据实时任务配置模块的配置，并结合所述的动态监控数据设计模块实现目标数据库和数据源数据的实时更新与同步。较佳地，所述的步骤(2)具体为：所述的动态监控数据设计模块通过模拟成为数据库的从机的方式，设置日志模式，监听数据库的日志来获取数据，监控数据源数据变更。较佳地，所述的步骤(3)具体为：根据数据源和目标库的信息配置在线任务。较佳地，所述的步骤(4)具体为：配置在线任务和动态监听参数后，开启在线任务，修改数据源中的数据。采用了本专利技术的大数据环境下实现数据同步优化处理的系统及其方法，通过模拟成为主从设备的方式，监听源库的日志来获取数据，获取到执行的每一个增删改的脚本、修改前和修改后的数据来实现数据及时同步变更。附图说明图1为本专利技术的大数据环境下实现数据同步优化处理的系统的结构图。图2为本专利技术的实现大数据环境下的数据同步优化处理方法的流程图。具体实施方式为了能够更清楚地描述本专利技术的
技术实现思路
，下面结合具体实施例来进行进一步的描述。本专利技术的该大数据环境下实现数据同步优化处理的系统，其中包括：初始化模块，用于进行数据库初始化以及数据平台配置安装；动态监控数据设计模块，与所述的初始化模块相连接，用于通过模拟成为数据库的从机的方式，设置日志模式，监听数据库的日志来获取数据，监控数据源数据变更；实时任务配置模块，与所述的动态监控数据设计模块相连接，用于根据所述的动态监控数据设计模块中的配置实时监听数据源，配置任务参数；数据变更数据同步模块，与所述的实时任务配置模块和动态监控数据设计模块相连接，用于根据实时任务配置模块的配置，并结合所述的动态监控数据设计模块实现目标数据库和数据源数据的实时更新与同步。作为本专利技术的优选实施方式，所述的初始化模块包括：表创建单元，与所述的动态监控数据设计模块相连接，用于数据库表信息初始完成后创建所需的表；数据增加单元，与所述的动态监控数据设计模块相连接，用于根据创建的表增加数据。作为本专利技术的优选实施方式，所述的动态监控数据设计模块通过模拟成为数据库的从机的方式，设置日志模式，监听数据库的日志来获取数据，监控数据源数据变更。作为本专利技术的优选实施方式，所述的动态监控数据设计模块中的数据源为MySQL数据库，目标数据本文档来自技高网...

【技术保护点】
1.一种大数据环境下实现数据同步优化处理的系统，其特征在于，所述的系统包括：/n初始化模块，用于进行数据库初始化以及数据平台配置安装；/n动态监控数据设计模块，与所述的初始化模块相连接，用于通过模拟成为数据库的从机的方式，设置日志模式，监听数据库的日志来获取数据，监控数据源数据变更；/n实时任务配置模块，与所述的动态监控数据设计模块相连接，用于根据所述的动态监控数据设计模块中的配置实时监听数据源，配置任务参数；/n数据变更数据同步模块，与所述的实时任务配置模块和动态监控数据设计模块相连接，用于根据实时任务配置模块的配置，并结合所述的动态监控数据设计模块实现目标数据库和数据源数据的实时更新与同步。/n

【技术特征摘要】
1.一种大数据环境下实现数据同步优化处理的系统，其特征在于，所述的系统包括：
初始化模块，用于进行数据库初始化以及数据平台配置安装；
动态监控数据设计模块，与所述的初始化模块相连接，用于通过模拟成为数据库的从机的方式，设置日志模式，监听数据库的日志来获取数据，监控数据源数据变更；
实时任务配置模块，与所述的动态监控数据设计模块相连接，用于根据所述的动态监控数据设计模块中的配置实时监听数据源，配置任务参数；
数据变更数据同步模块，与所述的实时任务配置模块和动态监控数据设计模块相连接，用于根据实时任务配置模块的配置，并结合所述的动态监控数据设计模块实现目标数据库和数据源数据的实时更新与同步。


2.根据权利要求1所述的大数据环境下实现数据同步优化处理的系统，其特征在于，所述的初始化模块包括：
表创建单元，与所述的动态监控数据设计模块相连接，用于数据库表信息初始完成后创建所需的表；
数据增加单元，与所述的动态监控数据设计模块相连接，用于根据创建的表增加数据。


3.根据权利要求1所述的大数据环境下实现数据同步优化处理的系统，其特征在于，所述的动态监控数据设计模块通过模拟成为数据库的从机的方式，设置日志模式，监听数据库的日志来获取数据，监控数据源数据变更。


4.根据权利要求3所述的大数据环境下实现数据同步优化处理的系统，其特征在于，所述的动态监控数据设计模块中的数据源为MySQL数据库，目标数据库为hbase，MySQL的日志...

【专利技术属性】
技术研发人员：徐明明，
申请(专利权)人：普元信息技术股份有限公司，
类型：发明
国别省市：上海;31