一种城市交通大数据平台的数仓监测系统技术方案

本发明专利技术公开了一种城市交通大数据平台的数仓监测系统，包括数据采集系统、数据剖析系统、交通数据总控平台、预期质量导入系统、数据分类评估系统、数据质量验证系统和质量问题分析系统，本发明专利技术的有益效果是：通过加入数据剖析系统可以对交通数据进行基础属性的剖析，从而获得对数据和环境的了解，并对数据的状况进行描述；通过加入数据质量验证系统对数据进行完整性、一致性、完备性、有效性和及时性的质量问题进行验证，发现交通数据存在的问题；通过加入质量问题分析系统可以根据数据的质量问题，对问题的根源进行发现，方便进行后续的数据处理；实现对交通数据的全方位监测，并发现数据问题的源头，方便做出对应的处理措施。方便做出对应的处理措施。方便做出对应的处理措施。

【技术实现步骤摘要】
一种城市交通大数据平台的数仓监测系统


[0001]本专利技术涉及数仓监测
，具体为一种城市交通大数据平台的数仓监测系统。

技术介绍

[0002]城市交通是指在城市道路系统中进行的公众出行和客货输送等，在人类把车辆作为交通工具之前，城市公众出行以步行为主，或以骑牲畜、乘轿等代步，货物转移多靠肩挑或利用简单的运送工具运输，为了方便对城市交通状况进行实时监测，都会建设以城市交通大数据为基础的终端平台，而这些数据都会储存在平台内的数据仓库中，为了保证这些数据的质量，且保证数据不会出现错误，我们提出一种城市交通大数据平台的数仓监测系统。

技术实现思路

[0003]本专利技术的目的在于提供一种城市交通大数据平台的数仓监测系统，以解决上述
技术介绍
中提出的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：包括数据采集系统、数据剖析系统、交通数据总控平台、预期质量导入系统、数据分类评估系统、数据质量验证系统和质量问题分析系统，所述数据采集系统输出端与数据剖析系统电性连接，所述数据剖析系统输出端与交通数据总控平台电性连接，所述预期质量导入系统输出端与交通数据总控平台电性连接，所述交通数据总控平台输出端与数据分类评估系统电性连接，所述数据分类评估系统输出端与数据质量验证系统电性连接，所述数据质量验证系统输出端与质量问题分析系统电性连接；
[0005]所述数据采集系统用于对城市交通的大数据进行多源采集；
[0006]所述数据剖析系统用于对数据采集系统得到的数据进行以属性为基础的剖析；
[0007]所述交通数据总控平台用于对整个系统进行控制和中转；
[0008]所述预期质量导入系统用于将预期的数据质量导入至交通数据总控平台；
[0009]所述数据分类评估系统用于对数据进行分析和初步评估，并将数据分为重要数据和非重要数据；
[0010]所述数据质量验证系统用于对分类后的数据进行各种质量分类的验证；
[0011]所述质量问题分析系统用于对有质量问题的数据进行其存在的问题进行分析。
[0012]作为本专利技术的一种优选方案：所述交通数据总控平台输出端电性连接有监测结果处理系统，所述质量问题分析系统输出端电性连接有监测结果反馈系统，所述监测结果反馈系统输出端与监测结果处理系统电性连接，所述监测结果处理系统输出端电性连接有终端展示系统；
[0013]所述监测结果反馈系统用于对数据的质量问题和问题分析的结果进行反馈；
[0014]所述监测结果处理系统用于对数据的监测结果进行处理，并生成对应的便于观察
的列表和图表；
[0015]所述终端展示系统用于对监测结果处理系统生成的列表和图表进行展示。
[0016]作为本专利技术的一种优选方案：所述质量问题分析系统包括源系统问题分析模块、ETL问题分析模块、调度系统问题分析模块和业务需求问题分析模块。
[0017]作为本专利技术的一种优选方案：所述源系统问题分析模块用于对源数据系统中的结构变更、业务流程变更、数据录入、数据演变和数据震荡中存在的问题进行分析；
[0018]所述ETL问题分析模块用对ETL系统中的数据需求、映射规则、程序错误和数据及时性中存在的问题进行分析；
[0019]所述调度系统问题分析模块用于对定时调度系统中对调度系统因数据延迟问题和自身故障问题进行分析；
[0020]所述业务需求问题分析模块用于根据数据需求的变化和系统与业务之间的冲突问题进行分析。
[0021]作为本专利技术的一种优选方案：所述数据质量验证系统包括完整性验证模块、一致性验证模块、完备性验证模块、有效性验证模块和及时性验证模块。
[0022]作为本专利技术的一种优选方案：所述完整性验证模块用于对数据关系规则的符合程度进行验证；
[0023]所述一致性验证模块用于对数据集之间数据变更和变异的程度进行验证；
[0024]所述完备性验证模块用于对数据存在、属性和数量是否完备进行验证；
[0025]所述有效性验证模块用于数据对一组业务规则的符合程度进行验证；
[0026]所述及时性验证模块用于数据处理的及时程度进行验证。
[0027]作为本专利技术的一种优选方案：所述数据剖析系统包括列属性剖析模块和结构属性剖析模块。
[0028]作为本专利技术的一种优选方案：所述列属性剖析模块用于对数据的列类型、列格式、列长度、高频值列、低频值列、日期列、列有效性、列值域、列默认值、列模式、列空值和重复记录进行剖析；
[0029]所述结构属性剖析模块用于对数据的参考完整性、列之间的依赖关系、数据粒度、数据精度、数据层次结构和业务规则进行剖析。
[0030]作为本专利技术的一种优选方案：所述数据采集系统包括元数据采集模块和仓库数据采集模块。
[0031]作为本专利技术的一种优选方案：所述元数据采集模块用于对交通数据中的基础元数据进行采集和获取；
[0032]所述仓库数据采集模块用于对数据仓库中的储存数据进行采集和获取。
[0033]与现有技术相比，本专利技术的有益效果是：通过加入数据采集系统可以对流经交通大数据平台的元数据和数据仓库中的储存数据进行获取，全方位的对交通数据进行监控；通过加入数据剖析系统可以对交通数据进行基础属性的剖析，从而获得对数据和环境的了解，并对数据的状况进行描述；通过加入数据质量验证系统对数据进行完整性、一致性、完备性、有效性和及时性的质量问题进行验证，发现交通数据存在的问题；通过加入质量问题分析系统可以根据数据的质量问题，对问题的根源进行发现，方便进行后续的数据处理；实现对交通数据的全方位监测，并发现数据问题的源头，方便做出对应的处理措施。
附图说明
[0034]图1为本专利技术的系统框图；
[0035]图2为本专利技术的数据采集系统系统框图；
[0036]图3为本专利技术的数据剖析系统系统框图；
[0037]图4为本专利技术的数据质量验证系统系统框图；
[0038]图5为本专利技术的质量问题分析系统系统框图。
具体实施方式
[0039]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0040]请参阅图1、图2、图3、图4和图5，本专利技术提供一种技术方案：包括数据采集系统、数据剖析系统、交通数据总控平台、预期质量导入系统、数据分类评估系统、数据质量验证系统和质量问题分析系统，所述数据采集系统输出端与数据剖析系统电性连接，所述数据剖析系统输出端与交通数据总控平台电性连接，所述预期质量导入系统输出端与交通数据总控平台电性连接，所述交通数据总控平台输出端与数据分类评估系统电性连接，所述数据分类评估系统输出端与数据质量验证系统电性连接，所述数据质量验证系统输出端与质量问题分析系统电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种城市交通大数据平台的数仓监测系统，包括数据采集系统、数据剖析系统、交通数据总控平台、预期质量导入系统、数据分类评估系统、数据质量验证系统和质量问题分析系统，其特征在于，所述数据采集系统输出端与数据剖析系统电性连接，所述数据剖析系统输出端与交通数据总控平台电性连接，所述预期质量导入系统输出端与交通数据总控平台电性连接，所述交通数据总控平台输出端与数据分类评估系统电性连接，所述数据分类评估系统输出端与数据质量验证系统电性连接，所述数据质量验证系统输出端与质量问题分析系统电性连接；所述数据采集系统用于对城市交通的大数据进行多源采集；所述数据剖析系统用于对数据采集系统得到的数据进行以属性为基础的剖析；所述交通数据总控平台用于对整个系统进行控制和中转；所述预期质量导入系统用于将预期的数据质量导入至交通数据总控平台；所述数据分类评估系统用于对数据进行分析和初步评估，并将数据分为重要数据和非重要数据；所述数据质量验证系统用于对分类后的数据进行各种质量分类的验证；所述质量问题分析系统用于对有质量问题的数据进行其存在的问题进行分析。2.根据权利要求1所述的一种城市交通大数据平台的数仓监测系统，其特征在于：所述交通数据总控平台输出端电性连接有监测结果处理系统，所述质量问题分析系统输出端电性连接有监测结果反馈系统，所述监测结果反馈系统输出端与监测结果处理系统电性连接，所述监测结果处理系统输出端电性连接有终端展示系统；所述监测结果反馈系统用于对数据的质量问题和问题分析的结果进行反馈；所述监测结果处理系统用于对数据的监测结果进行处理，并生成对应的便于观察的列表和图表；所述终端展示系统用于对监测结果处理系统生成的列表和图表进行展示。3.根据权利要求2所述的一种城市交通大数据平台的数仓监测系统，其特征在于：所述质量问题分析系统包括源系统问题分析模块、ETL问题分析模块、调度系统问题分析模块和业务需求问题分析模块。4.根据权利要求3所述的一种城市交通大数据平台的数仓监测系统，其特征在于：所述源系统问题分析模块用于对源...

【专利技术属性】
技术研发人员：赵先明，林昀，
申请(专利权)人：北京红山信息科技研究院有限公司，
类型：发明
国别省市：