【技术实现步骤摘要】
一种数据准确性监控系统和方法
[0001]本专利技术实施例涉及数据处理
，尤其涉及一种数据准确性监控系统和方法。
技术介绍
[0002]随着数据处理
的发展，对大量数据进行数据处理的需求不断增多。在对大量数据进行数据处理时，需要对大量数据进行数据监控，以便在大量数据中发现数据丢失或数据不一致的问题。
[0003]现有技术中，对数据的准确性监控通常更关注实时数据的准确性和数据链路的稳定性等，采取自动扩容、主备链路的方法提高数据链路的稳定性，而当主数据链路发生故障启动备数据链路时，可能会发生数据丢失，但现有技术中更关注实时数据的准确性，无法对丢失的数据进行定位，使数据监控的准确性降低。故，如何提高对数据进行监控的准确性是当前亟待解决的技术问题。
技术实现思路
[0004]本专利技术提供了一种数据准确性监控系统和方法，提高了对数据进行监控的准确性。
[0005]第一方面，本专利技术实施例提供了一种数据准确性监控系统，包括：
[0006]数据统计模块，用于从生产系统所包括的数据库集...
【技术保护点】
【技术特征摘要】
1.一种数据准确性监控系统，其特征在于，包括：数据统计模块，用于从生产系统所包括的数据库集群中，确定待统计的租户库中第一待统计表的第一数据信息；从生产系统所包括的实时数仓中确定与所述第一待统计表对应的第二待统计表的第二数据信息；日志收集模块，用于实时采集数据链路上的每个节点所包括的日志信息；数据分析模块，用于分别连接所述数据统计模块和所述日志收集模块；通过对比所述数据统计模块所确定的所述第一数据信息和所述第二数据信息，确定数据统计结果信息；通过对比所述日志收集模块所采集的各节点的日志信息，确定日志统计结果信息；其中，所述数据库集群的数量为一个或多个，各所述数据库集群中包括一个或多个租户库，各租户库中包括一个或多个第一待统计表；所述第二待统计表为所述第一待统计表经数据链路传输至所述实时数仓的表。2.根据权利要求1所述的系统，其特征在于，所述数据统计模块包括：数据统计子模块和数据存储子模块；所述数据统计子模块用于，从生产系统所包括的数据库集群中，确定待统计的租户库中第一待统计表的第一数据信息；从生产系统所包括的实时数仓中确定与所述第一待统计表对应的第二待统计表的第二数据信息；所述数据存储子模块用于，分别连接所述数据统计子模块和所述数据分析模块；存储所述数据统计子模块所确定的所述第一数据信息和所述第二数据信息；将所述第一数据信息和所述第二数据信息发送至所述数据分析模块。3.根据权利要求2所述的系统，其特征在于，所述数据统计子模块包括：服务接口单元，用于为所述第一待统计表和所述第二待统计表提供接入所述系统的接口；任务队列单元，用于存放等待处理的统计需求任务，所述统计需求任务为确定第一待统计表的第一数据信息，和/或确定第二待统计表的第二数据信息；租户库管理单元，用于从生产系统中同步各数据库集群中各租户库的配置，并将同一数据库集群中的各租户库分为同一组；业务抽象单元，用于对所述第一待统计表和/或所述第二待统计表中的数据进行抽象处理；任务执行管理单元，用于管理并发处理的统计需求任务，和/或管理连接所述系统的租户库的数量；任务执行单元，用于将所述业务抽象单元抽象处理后的数据具体化为可执行的语句，并确定所述第一数据信息和/或所述第二数据信息；结果输出单元，用于将所述第一数据信息和/或所述第二数据信息发送至所述数据存储子模块。4.根据权利要求3所述的系统，其特征在于，所述任务执行管理单元具体用于：通过线程管理器集中管理并发处理的统计需求任务，并发处理的统计需求任务的数量与租户库的数量呈线性关系；通过数据库连接管理器结合所述租户库管理单元，管理连接所述系统的租户库的数量。
5.根据权利要求4所述的系统，其特征在于，所述任务执行管理单元具体用于：通过数据库连接管理器释放没...
【专利技术属性】
技术研发人员：何涛，陆学尹，徐允东，
申请(专利权)人：舟谱数据技术南京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。