一种关于实时同步实施方案制造技术

本发明专利技术涉及大数据领域，尤其涉及一种关于实时同步实施方案，包括：数据采集，通过Flink cdc采集binlog日志；字段变更事件识别，根据是否存在字段变更事件生成下游二段kafka，或，将变更前的数据写入sink端；质量稽核，由Flink实时读取/写入时对行/列数据进行类型匹配、数值判空、格式校对，以确定符合稽核策略的数据；算子编排，将每行所包含的字段数值进行加工，对每个算子设置下标，方案对用户多个算子下标进行排序，下放到RTS Engine以策略形式植入数据链路；脏数据策略与恢复，针对异常数据设置异常策略，每一种异常策略对应一种异常类型，将确定的脏数据进行处理操作；资源管理监控，以kafka为中继，缓冲用户数据。

【技术实现步骤摘要】

本专利技术涉及大数据领域，尤其涉及一种关于实时同步实施方案。

技术介绍

1、在大数据领域，flink作为社区比较活跃的分布式处理框架，凭借其相对简单的编程模型加上其高吞吐、低延迟、高性能以及支持exactly-once语义的特性，现已发展成为企业内部主流的数据处理框架。但在企业应用在对数据的加工处理方面则相对较弱，如质量稽核策略、脏数据策略、动态字段增减下的实时同步、资源监控等方面。

技术实现思路

1、为此，本专利技术提供一种关于实时同步实施方案，用以克服现有技术中企业应用在对数据的加工处理方面相对较弱导致质量稽核策略、脏数据策略、动态字段增减下的实时同步、资源监控的问题。

2、为实现上述目的，本专利技术提供一种关于实时同步实施方案，包括：

3、数据采集，通过flink cdc采集binlog日志；

4、字段变更事件识别，根据是否存在字段变更事件生成下游二段kafka，或，将变更前的数据写入sink端；

5、质量稽核，由flink实时读取/写入时对行/列数据进行本文档来自技高网...

【技术保护点】

1.一种关于实时同步实施方案，其特征在于，包括：

2.根据权利要求1所述的关于实时同步实施方案，其特征在于，源端通过Flink cdc采集binlog日志，将变化的数据和变化的字段捕获写入一段kafka，RTS Engine判断是否有字段变更事件。

3.根据权利要求2所述的关于实时同步实施方案，其特征在于，无变更字段时，将数据写入下游二段kafka入sink端；存在变更字段时，先将变更前的数据写入sink端，未变更的数据先暂停写入，待执行构建ddl-->执行ddl-->构建dml完成后，从新消费再入二段kafka后进入sink端。</p>

4.根据...

【技术特征摘要】

1.一种关于实时同步实施方案，其特征在于，包括：

2.根据权利要求1所述的关于实时同步实施方案，其特征在于，源端通过flink cdc采集binlog日志，将变化的数据和变化的字段捕获写入一段kafka，rts engine判断是否有字段变更事件。

3.根据权利要求2所述的关于实时同步实施方案，其特征在于，无变更字段时，将数据写入下游二段kafka入sink端；存在变更字段时，先将变更前的数据写入sink端，未变更的数据先暂停写入，待执行构建ddl-->执行ddl-->构建dml完成后，从新消费再入二段kafka后进入sink端。

4.根据权利要求3所述的关于实时同步实施方案，其特征在于，提供以作业、库表粒度的策略配置，随作业自身下放到rts engine，数据经由flink实时读取、写入时对行/列数据进行类型匹配、数值判空...

【专利技术属性】
技术研发人员：高海玲，高经郡，宋东喜，
申请(专利权)人：北京科杰科技有限公司，
类型：发明
国别省市：