【技术实现步骤摘要】
一种基于流计算的跨网段数据同步的构建系统和方法
[0001]本专利技术涉及跨网段数据同步
，特别涉及本专利技术提供的一种基于流计算的跨网段数据同步的构建系统和方法。
技术介绍
[0002]在网络技术飞速发展和分布式项目广泛应用的今天，许多企业及政府部门对数据权限严格管控，既要求各机构的局部控制和分散管理，又要求各机构之间的信息能够灵活交流和共享。考虑到网络传输的安全性，往往在传输通道上添加物理隔离网闸，将两者隔离，建立单项连接，来保证信息传递的安全。同时网闸还需要保证各网段的数据同步与交换，实现基于触发器的SQL文件级别数据库同步方案。
[0003]基本思想就是为源数据库创建触发器，当源数据库发生变化时，触发器在变更表中通过SQL语句的重组，记录目标库能够直接执行的SQL语句，然后将SQL语句定时导出到文件，并即通过网闸将文件传输到目标端，目标库定时执行SQL文件将源库中的变更数据更新到目标库。同时在生成SQL文件，文件传输，数据更新等步骤完成后，还会向源数据库端反馈同步状态，针对不同的失败状态会有不同的措施以...
【技术保护点】
【技术特征摘要】
1.一种基于流计算的跨网段数据同步的构建系统，其特征在于，包括：SQL处理模块，用于根据实时的SQL数据对源数据库执行对应操作产生执行事件，并利用执行事件生成消息队列；消息队列同步模块，用于将所述消息队列跨网段同步到目标数据库端的数据同步模块；数据同步模块，用于根据所述消息队列对SQL数据进行重新排列，并根据重新排列后的SQL数据执行源数据库到目标数据库的数据同步处理。2.根据权利要求1所述的一种基于流计算的跨网段数据同步的构建系统，其特征在于，所述SQL处理模块包括：SQL解析单元，用于将所述SQL数据进行解析，并确定其中的多项参数；SQL过滤单元，用于根据所述SQL数据中的多项参数基于预设的过滤规则对SQL数据进行过滤；SQL执行单元，用于对过滤后的SQL数据进行执行产生变更数据，并将所述变更数据存入源数据库，同时产生执行事件，并利用执行事件生成消息队列。3.根据权利要求1所述的一种基于流计算的跨网段数据同步的构建系统，其特征在于，所述消息队列同步模块包括：消息队列存储单元，用于将所述消息队列进行临时存储，或者将所述消息队列发送至源数据库所对应的网段的第一MQ服务器；第一MQ服务器，用于将所述消息队列发送至网闸；网闸，用于将所述第一MQ服务器内的消息队列同步至目标数据库所对应的网段的第二MQ服务器；第二MQ服务器，用于将所述消息队列发送到所述数据同步模块。4.根据权利要求1所述的一种基于流计算的跨网段数据同步的构建系统，其特征在于，所述数据同步模块包括：队列处理单元，用于对所述消息队列进行消费方配置以及数据校验；窗口生成单元，用于根据所述消息队列中的多个执行事件生成事件滚动窗口，设定窗口计算的触发条件，并确定事件滚动窗口中的迟到数据；窗口计算单元，用于在窗口计算被触发后对事件滚动窗口内执行事件中的SQL数据进行数据分组后重新排列，并将重新排列后的SQL数据输出到数据处理单元；数据处理单元，用于执行重新排序后的SQL数据到目标数据库，并确定其中的错误数据；异常数据处理单元，用于将所述迟到数据和所述错误数据合并生成异常数据，再次尝试执行所述异常数据到目标数据库，并将执行失败的异常数据输出到第二MQ服务器进行记录。5.根据权利要求4所述的一种基于流计算的跨网段数据同步的构建系统，其特征在于，所述队列处理单元包括：消费方配置子单元，用于对所述消息队列进行消费方配置；KAFKA数据源创建子单元，用于基于消费方配置创建KAFKA数据源，并根据所述消费方配置对KAFKA数据源中指定topic的SQL数据进行消费；
对象转换子单元，用于将所述KAFKA数据源中的SQL数据进行读取后进行对象转换；数据过滤子单元，用于过滤SQL数据中的结构错误数据。6.根据权利要求4所述的一种基于流计算的跨网段数据同步的构建系统，其特征...
【专利技术属性】
技术研发人员：白一博，王合，王昆，叶智慧，陈成斌，苏胜林，马军亮，
申请(专利权)人：中睿信数字技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。