一种实现数据一致性实时监控方法技术

本发明专利技术公开了一种实现数据一致性实时监控方法，采用元数据系统当中配置的rowkey字段作为每条记录的唯一标识，对与rowkey的值进行hash生成每条记录对应的id，在数据源端即CSourse端对每个Destination的数据生成相应的Root_id和每条记录对应的idl，并将其发送到中间件即Kafka和监控任务当中。本发明专利技术使用比通用的历史存储数据比对和校验方案更专业和更高效监控实时数据一致性技术避免严重耗内存、严重依赖CPU，减轻系统资源的压力，同时提升了数据的实时性和吞吐量，可以定制化监控更多的数据满足更多的业务需求。

【技术实现步骤摘要】
一种实现数据一致性实时监控方法
本专利技术涉及网络通讯领域，具体是一种实现数据一致性实时监控方法。
技术介绍
Storm是一个开源的分布式实时计算系统，其中对于Tuple发送成功或失败使用的是Ack机制,Spout每发送一个Tuple，则会发送一个tuple_id和随机的消息id到AckBolt当中，同时将id发送到下游接受该条消息的Bolt当中，在该Bolt接受到id，若其下游存在Bolt在生成新的id，将从上游接收到的id和自产生的id进行异或发送到AckBolt当中，否则仅将接收到的id发送到AckBolt当中去，在AckBolt当中如果对流当中的id异或结果不为0,那么就调用fail方法通知上游该条消息处理失败，从而形成一个Tuple树。市面上的实时数据一致性监控实现方案，都是基于存量数据比对和采样比对进行监控的，都是属于一种离线操作，无法满足实时监控的场景要求，严重影响了监控整个系统当中数据同步的质量时效性。
技术实现思路
本专利技术的目的在于提供一种实现数据一致性实时监控方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种实现数据一致性实时监本文档来自技高网...

【技术保护点】
1.一种实现数据一致性实时监控方法，其特征在于，包括以下步骤，1)CSource数据源订阅：根据元数据，将不同业务线的不同表同步时拆分成不同的Root_id和消息id并将两部分封装为Msg对象；2)MetaData管理模块:将表、索引配置项、rowkey三者之间的关系维护到redis中，索引同步到elasticsearch中；(原资料描述：索引表示需同步到elasticsearch)3)PDeal数据处理和同步模块：4)MAlarm监控任务适配器模块：5)ABnorDeal异常处理池。

【技术特征摘要】
1.一种实现数据一致性实时监控方法，其特征在于，包括以下步骤，1)CSource数据源订阅：根据元数据，将不同业务线的不同表同步时拆分成不同的Root_id和消息id并将两部分封装为Msg对象；2)MetaData管理模块:将表、索引配置项、rowkey三者之间的关系维护到redis中，索引同步到elasticsearch中；(原资料描述：索引表示需同步到elasticsearch)3)PDeal数据处理和同步模块：4)MAlarm监控任务适配器模块：5)ABnorDeal异常处理池。2.根据权利要求1所述的一种实现数据一致性实时监控方法，其特征在于，CSource数据源订阅包括以下步骤：a.获取元数据，解析rowkey配置；b.业务线拆分，获取业务线名、table名、topic名等；c.生成相应业务线下对应表的Root_id和记录id1；d.将c当中的内容封装到待发送的记录当中；e.发送数据到中间件；f.发送监控项到监控任务适配器当中。3.根据权利要求1所述的一种实现数据一致性实时监控方法，其特征在于，PDeal数据处理和同步模块包括以下步骤：a.拉取中间件的数据；b.解析数据；c.拆分出上游的Root_id...

【专利技术属性】
技术研发人员：韩晓川，
申请(专利权)人：北京中关村科金技术有限公司，
类型：发明
国别省市：北京,11