一种跨机房数据比对系统及方法技术方案

本发明专利技术提供了一种跨机房数据比对系统及方法，系统包括数据采集模块、分布式比对子系统、消息队列和数据中心；每一机房的数据采集模块，用于获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将字符串存储至该机房的消息队列；每一机房的分布式比对子系统，用于向数据中心发送用于请求比对规则的比对请求，接收数据中心返回的比对规则；从该机房的消息队列中获得字符串，按照比对规则对字符串进行比对，将比对结果存储至该机房的消息队列；数据中心，用于在接收到比对请求后，向该比对请求的发送者返回比对规则；从每一机房的消息队列中获得比对结果。应用本发明专利技术实施例，提高了比对计算的时效性。

A Cross-room Data Comparing System and Method

【技术实现步骤摘要】
一种跨机房数据比对系统及方法
本专利技术涉及数据处理
，尤其涉及一种跨机房数据比对系统及方法。
技术介绍
随着大数据时代的到来，越来越多的业务系统需要进行数据比对。现有的数据比对流程通常为：通过ETL(Extract-Transform-Load)由从各业务系统抽取实时数据，将实时数据与比对规则进行比对，得到实时数据是否符合比对规则的比对结果。由于各业务系统的数据类型通常不同，可能需经过多次ETL抽取，导致中间环节较多，数据的实时性较弱，并且数据比对方法通常是基于单平台进行比对处理，从获得实时数据到完成数据比对需要耗费较长的时间，而且随着待比对的数据量增多，比对计算的时效性会明显降低。因此有必要设计一种新的跨机房数据比对系统及方法，以克服上述问题。
技术实现思路
本专利技术的目的在于克服现有技术之缺陷，提供了一种跨机房数据比对系统及方法，以实现提高比对计算的时效性。本专利技术是这样实现的：第一方面，本专利技术提供一种跨机房数据比对系统，所述系统包括数据采集模块、分布式比对子系统、消息队列和数据中心，其中，数据采集模块、分布式比对子系统和消息队列以机房为单位进行部署；每一机房的数据采集模块，用于获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将所得的字符串存储至该机房的消息队列；每一机房的分布式比对子系统，用于向所述数据中心发送用于请求比对规则的比对请求，接收所述数据中心针对所述比对请求返回的比对规则；从该机房的消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，将比对结果存储至该机房的消息队列；所述数据中心，用于在接收到比对请求后，向该比对请求的发送者返回该比对请求所请求的比对规则；从每一机房的消息队列中获得比对结果。可选的，所述数据中心还用于：在接收到比对请求后，在向该比对请求的发送者返回该比对请求所请求的比对规则之前，判断该比对请求是否通过审批；若判定通过审批，则向该比对请求的发送者返回该比对请求所请求的比对规则；若判定未通过审批，则不向该比对请求的发送者返回该比对请求所请求的比对规则。可选的，所述数据中心还用于：在接收到比对请求后，判断该比对请求的发送者所处机房的计算资源是否大于预设阈值；若不大于预设阈值，则从该机房的消息队列中获得字符串，并确定该比对请求所请求的比对规则；按照所确定的比对规则对所得的字符串进行比对，得到比对结果，并将所得的比对结果推送至该机房的消息队列。可选的，所述数据中心还用于：将所得的比对结果存储至自身的数据库。可选的，所述系统还包括数据统计模块，用于：统计不同机房的比对流程异常总量、每天采集的实时数据总量、所获得的比对规则总量、比对结果总量中的至少一种，其中，比对流程异常总量为超过预设时长没有获得比对结果的次数。可选的，每一机房的分布式比对子系统还用于：在检测到查询指令后，显示本地已录入的比对规则和来自数据中心的比对规则；在检测到删除指令后，从本地已存储的比对规则中删除所述删除指令所指定的比对规则。可选的，每一机房的分布式比对子系统从该机房的消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，具体为：通过Spout组件从该机房的消息队列中读取字符串，通过Bolt组件按照所接收的比对规则对所得的字符串进行比对。可选的，所述字符串为json串。第二方面，本专利技术提供一种跨机房数据比对方法，应用于上述任一所述的系统，所述方法包括：获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将所得的字符串存储至消息队列；向数据中心发送用于请求比对规则的比对请求，接收所述数据中心针对所述比对请求返回的比对规则；从消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，将比对结果存储至该消息队列，以使所述数据中心从消息队列中获得比对结果。可选的，从消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，包括：通过Spout组件从消息队列中读取字符串，通过Bolt组件按照所接收的比对规则对所得的字符串进行比对。本专利技术具有以下有益效果：应用本专利技术实施例，可以通过数据采集模块获得各业务系统的实时数据并进行数据清洗、标准化转化为字符串，写入本地消息队列，然后通过分布式比对子系统依据数据中心下发的比对规则进行比对，将比对结果推送给消息队列，从而数据中心可以从各机房的消息队列中获得比对结果，实现了机房与数据中心的数据共享，并且通过标准化转换为统一格式的字符串，实现了适应各类数据源输入，提供了统一的输出接口，从而提高了采集数据的实时性；各机房在采集到实时数据后由各机房自行进行比对计算，降低了由于数据流转而造成的延迟，并且通过分布式计算可以提高计算效率，从而提升了跨机房比对计算的时效性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术实施例提供的一种跨机房数据比对系统的结构示意图；图2为本专利技术实施例提供的一种跨机房数据比对方法的流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。为解决现有技术问题，本专利技术实施例提供了一种跨机房数据比对系统及方法。下面首先对本专利技术所提供的一种跨机房数据比对系统进行说明。参见图1，图1为本专利技术实施例提供的一种跨机房数据比对系统，所述系统包括数据采集模块11、分布式比对子系统12、消息队列13和数据中心14，其中，数据采集模块11、分布式比对子系统12和消息队列13以机房为单位进行部署；每一机房的数据采集模块11，用于获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将所得的字符串存储至该机房的消息队列13；每一机房的分布式比对子系统12，用于向所述数据中心14发送用于请求比对规则的比对请求，接收所述数据中心14针对所述比对请求返回的比对规则；从该机房的消息队列13中获得字符串，按照所接收的比对规则对所得的字符串进行比对，将比对结果存储至该机房的消息队列13；所述数据中心14，用于在接收到比对请求后，向该比对请求的发送者返回该比对请求所请求的比对规则；从每一机房的消息队列13中获得比对结果。每个机房可以一台或多台服务器，可以在服务器上部署数据采集模块、分布式比对子系统和消息队列。数据采集模块可以是具有多源数据采集功能的程序代码或者数据采集工具，可以支持Oracle、Mysql、DMDB、Ftp文件、服务接口等多种数据源的采集、清洗和转换。数据采集模块可以通过配置JDBC连接参数、服务器IP信息、服务器登陆信息、文件路径信息、服务接口Url信息等与各业务系统建立通信连接，从而可以获得各业务系统的实时数据，实时数据可以包括车辆数据、人员身份信息数据等等。实时数据可以是多维数据本文档来自技高网...

【技术保护点】
1.一种跨机房数据比对系统，其特征在于，所述系统包括数据采集模块、分布式比对子系统、消息队列和数据中心，其中，数据采集模块、分布式比对子系统和消息队列以机房为单位进行部署；每一机房的数据采集模块，用于获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将所得的字符串存储至该机房的消息队列；每一机房的分布式比对子系统，用于向所述数据中心发送用于请求比对规则的比对请求，接收所述数据中心针对所述比对请求返回的比对规则；从该机房的消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，将比对结果存储至该机房的消息队列；所述数据中心，用于在接收到比对请求后，向该比对请求的发送者返回该比对请求所请求的比对规则；从每一机房的消息队列中获得比对结果。

【技术特征摘要】
1.一种跨机房数据比对系统，其特征在于，所述系统包括数据采集模块、分布式比对子系统、消息队列和数据中心，其中，数据采集模块、分布式比对子系统和消息队列以机房为单位进行部署；每一机房的数据采集模块，用于获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将所得的字符串存储至该机房的消息队列；每一机房的分布式比对子系统，用于向所述数据中心发送用于请求比对规则的比对请求，接收所述数据中心针对所述比对请求返回的比对规则；从该机房的消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，将比对结果存储至该机房的消息队列；所述数据中心，用于在接收到比对请求后，向该比对请求的发送者返回该比对请求所请求的比对规则；从每一机房的消息队列中获得比对结果。2.根据权利要求1所述的系统，其特征在于，所述数据中心还用于：在接收到比对请求后，在向该比对请求的发送者返回该比对请求所请求的比对规则之前，判断该比对请求是否通过审批；若判定通过审批，则向该比对请求的发送者返回该比对请求所请求的比对规则；若判定未通过审批，则不向该比对请求的发送者返回该比对请求所请求的比对规则。3.根据权利要求1所述的系统，其特征在于，所述数据中心还用于：在接收到比对请求后，判断该比对请求的发送者所处机房的计算资源是否大于预设阈值；若不大于预设阈值，则从该机房的消息队列中获得字符串，并确定该比对请求所请求的比对规则；按照所确定的比对规则对所得的字符串进行比对，得到比对结果，并将所得的比对结果推送至该机房的消息队列。4.根据权利要求3所述的系统，其特征在于，所述数据中心还用于：将所得的比对结果存储至自身的数据库。5.根据权...

【专利技术属性】
技术研发人员：田野，冯前，罗小磊，杨犀，李巍，徐龙，
申请(专利权)人：武汉市公安局，武汉烽火众智数字技术有限责任公司，
类型：发明
国别省市：湖北,42