一种针对于数仓的数据处理监控系统技术方案

本发明专利技术公开了一种针对于数仓的数据处理监控系统，涉及数仓管理技术领域。数仓流转监控模块用于统计数仓各层数据的字段数和表个数；数据量监控模块用于对原始数据层采集的数据总数、当日新增的数据量进行统计和每日新增数据量趋势的统计；任务监控模块用于对数仓整个流程每天所跑的任务进行统计分析；元数据监控模块用于监控数仓整个流程所有表名和字段的备注；异常监控警告模块用于在任务监控模块监控到任务出现失败时、元数据监控模块监控到存在空的备注时发出告警；还用于对原始数据层采集的源头端数据量和进入数仓的数据量进行校验，若不一致则发出告警。通过本发明专利技术提供的系统，可以查看整个数据处理的全流程，保证团队整体工作有迹可寻。队整体工作有迹可寻。队整体工作有迹可寻。

【技术实现步骤摘要】
一种针对于数仓的数据处理监控系统


[0001]本专利技术涉及数仓管理
，特别是一种针对于数仓的数据处理监控系统。

技术介绍

[0002]公司在数字化的转型过程中，进行数据中台的搭建，让每个事业平台的数据入到数据中台，构建专属的数仓。那怎么样确定数仓的数据来源有多少，质量怎么样，如何进行分析，输出的数据应用有多少，全程的数据质量怎么样等问题。以往是在整个数仓的数据质量情况只能通过运行任务错误来判断，单一和不够全面。数据来源、分析和输出只能通过去查看数仓系统后，不能全视野看到。还有重要的指标只能通过数仓统计后才能查看。

技术实现思路

[0003]针对上述缺陷，本专利技术的目的在于提出一种针对于数仓的数据处理监控系统。
[0004]为达此目的，本专利技术采用以下技术方案：
[0005]一种针对于数仓的数据处理监控系统，数仓包括原始数据层、明细数据层、宽表数据层和数据应用层；包括数仓流转监控模块、任务监控模块、元数据监控模块、数据量监控模块和异常监控警告模块；
[0006]所述数仓流转监控模块用于统计数仓各层数据的字段数和表个数；
[0007]所述数据量监控模块用于对原始数据层采集的数据总数、当日新增的数据量进行统计和每日新增数据量趋势的统计；
[0008]所述任务监控模块用于对数仓整个流程每天所跑的任务进行统计分析；
[0009]所述元数据监控模块用于对数仓整个流程所有表名和字段的备注进行监控；
[0010]所述异常监控警告模块用于在所述任务监控模块监控到任务出现失败时、所述元数据监控模块监控到存在空的备注时发出告警；所述异常监控警告模块还用于对原始数据层采集的源头端数据量和进入数仓的数据量进行校验，若校验结果为不一致则发出告警。
[0011]进一步，所述数仓流转模块包括数据来源表、主题/应用表、模型/维度表，所述任务监控设有每日任务量表，数据量监控模块设有数据量表，所述异常监控报警模块设有告警明细表，各个模块均还设有重要指标表；
[0012]任务监控模块通过Java程序实现逻辑通过查询后统计出实时的任务量，然后更新到每日任务量表；
[0013]异常监控模块通过Java程序实现逻辑通过查询原数据表的数据量和数仓表的数据量进行校验，如果有异常，则记录一条数据到告警明细表；
[0014]在异常监控进行告警实现过程中，通过Java程序实现逻辑读取告警明细表，若有数据丢失或者是实时任务挂掉比较重要指标异常的时，则进行邮箱告警。
[0015]进一步，所述数仓流转监控模块包括：
[0016]数据分析单元，所述数据分析单元用于对数据来源进行统计和分析，查看原始数据层的表个数和字段数；
[0017]主题分析单元，所述主题分析单元用于对主题建设的统计和分析，查看明细数据层的DWD的表个数和字段数；
[0018]维度分析单元，所述维度分析单元用于对维度表建设的统计和分析，查看明细数据层的DIM的字段数；
[0019]模型分析单元，所述模型分析单元用于对宽度表建设的统计和分析，查看宽表数据层的字段数；
[0020]应用分析单元，所述应用分析单元用于对数据应用建设的统计和分析，查看数据应用层的表个数和字段数。
[0021]进一步，所述异常监控警告模块还用于对数仓整个流程进行分析，以得到整个数仓的开发进度和数据质量情况。
[0022]本专利技术提供的技术方案可以包括以下有益效果：
[0023]1、通过本专利技术提供的系统，可以查看整个数据处理的全流程，保证团队整体的工作是有迹可寻的。
[0024]2、本系统通过多种的数据监控方法，保证整个数据处理的数据质量是可靠的。
[0025]3、通过系统可以更全面看到对数据的处理和分析情况，为后续数据驱动业务增加更多的维度。
附图说明
[0026]图1是本专利技术的一个实施例的流程示意图；
[0027]图2是本专利技术的一个实施例的系统示意图；
[0028]图3是本专利技术的一个实施例的系统效果图。
具体实施方式
[0029]下面结合附图并通过具体实施方式来进一步说明本专利技术的技术方案。
[0030]如图1
‑
3所示，本专利技术公开了一种针对于数仓的数据处理监控系统，数仓包括原始数据层、明细数据层、宽表数据层和数据应用层；包括数仓流转监控模块、任务监控模块、元数据监控模块、数据量监控模块和异常监控警告模块；
[0031]所述数仓流转监控模块用于统计数仓各层数据的字段数和表个数；主要作用是查看数仓整体处理情况。
[0032]所述数据量监控模块用于对原始数据层采集的数据总数、当日新增的数据量进行统计和每日新增数据量趋势的统计。主要作用是想通过对数量来判断数据同步情况和间接了解每日的业务量。
[0033]所述任务监控模块用于对数仓整个流程每天所跑的任务进行统计分析；主要是统计其任务的运行情况，从而来判断其数据的完整情况。
[0034]所述元数据监控模块用于对数仓整个流程所有表名和字段的备注进行监控；主要作用的是想查看异常值后让相应的人员进行补录，和查看数据入口字段量。
[0035]所述异常监控警告模块用于在所述任务监控模块监控到任务出现失败时发出告警；主要作用是保证数据能实时任务挂掉之后，能准时收到信息后进行修复，保证数据能准时进来。
[0036]所述异常监控警告模块用于在所述元数据监控模块监控到存在空的备注时发出告警。作用是监督开发者必须把元数据备注信息了解清楚填补好，也为方便后面的开发者清晰知道其中的含义。
[0037]所述异常监控警告模块还用于对原始数据层采集的源头端数据量和进入数仓的数据量进行校验，若校验结果为不一致则发出告警。其作用是保证数据同步过来是一致性的。
[0038]通过本专利技术提供的系统，可以查看整个数据处理的全流程，保证团队整体的工作是有迹可寻的。本系统通过多种的数据监控方法，保证整个数据处理的数据质量是可靠的。通过系统可以更全面看到对数据的处理和分析情况，为后续数据驱动业务增加更多的维度。
[0039]具体地，所述数仓流转模块包括数据来源表、主题/应用表、模型/维度表，所述任务监控设有每日任务量表，数据量监控模块设有数据量表，所述异常监控报警模块设有告警明细表，各个模块均还设有重要指标表；
[0040]任务监控模块通过Java程序实现逻辑通过查询后统计出实时的任务量，然后更新到每日任务量表。因为实时任务是使用RoutineLoad，目前在Doris上只能查询其任务，暂还不能直接统计，所以使用了Java程序开发；程序实现逻辑通过查询后统计出实时的任务量，然后更新到每日任务量表。
[0041]异常监控模块通过Java程序实现逻辑通过查询原数据表的数据量和数仓表的数据量进行校验，如果有异常，则记录一条数据到告警明细表；
[0042]在异常监控进行告警实现过程中，通过Java程序实现逻辑读取告警明细表，若有数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对于数仓的数据处理监控系统，数仓包括原始数据层、明细数据层、宽表数据层和数据应用层；其特征在于：包括数仓流转监控模块、任务监控模块、元数据监控模块、数据量监控模块和异常监控警告模块；所述数仓流转监控模块用于统计数仓各层数据的字段数和表个数；所述数据量监控模块用于对原始数据层采集的数据总数、当日新增的数据量进行统计和每日新增数据量趋势的统计；所述任务监控模块用于对数仓整个流程每天所跑的任务进行统计分析；所述元数据监控模块用于对数仓整个流程所有表名和字段的备注进行监控；所述异常监控警告模块用于在所述任务监控模块监控到任务出现失败时、所述元数据监控模块监控到存在空的备注时发出告警；所述异常监控警告模块还用于对原始数据层采集的源头端数据量和进入数仓的数据量进行校验，若校验结果为不一致则发出告警。2.根据权利要求1所述的一种针对于数仓的数据处理监控系统，其特征在于：所述数仓流转模块包括数据来源表、主题/应用表、模型/维度表，所述任务监控设有每日任务量表，数据量监控模块设有数据量表，所述异常监控报警模块设有告警明细表，各个模块均还设有重要指标表；任务监控模块通过Java程序实现逻辑通过查询后统计出实时的任务...

【专利技术属性】
技术研发人员：梁英林，孔令超，林国友，
申请(专利权)人：西藏众陶联供应链服务有限公司林周佳住家网络科技有限公司林周利利佳供应链服务有限公司共青城市众陶联供应链服务有限公司，
类型：发明
国别省市：