数据监控方法及平台技术

本公开涉及数据处理技术领域，提供了一种数据监控方法，包括：采集与业务数据对应的信令数据；对信令数据进行解析以得出业务数据的数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标；分别生成数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标与历史正常指标间的差异值；基于差异值生成数据质量指标；当判断出数据质量指标小于预设阈值时，发出业务数据异常告警信号。相应地，本公开还提供了一种数据监控平台。

Data Monitoring Method and Platform

【技术实现步骤摘要】
数据监控方法及平台
本公开涉及数据处理
，特别涉及数据监控方法及平台。
技术介绍
在运营商的业务发展过程中，其所积累的数据量和数据种类会越来越多，且各个数据采集源头多需实时采集和处理数据。由于数据量过大且处理流程复杂，如何对数据采集和处理过程进行实时监控，以便及时掌握数据质量并在监控出异常时发出预警成为亟需解决的问题。应该注意，上面对技术背景的介绍只是为了方便对本公开的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本公开的
技术介绍
部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
技术实现思路
本公开旨在至少解决现有技术中存在的技术问题之一，提出了数据监控方法及平台。第一方面，本公开实施例提供了一种数据监控方法，包括：采集与业务数据对应的信令数据；对所述信令数据进行解析以得出所述业务数据的数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标；分别生成所述数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标与历史正常指标间的差异值；基于所述差异值生成数据质量指标；当判断出所述数据质量指标小于预设阈值时，发出业务数据异常告警信号。在一些实施例中，分别生成数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标与历史正常指标间的差异值的步骤具体包括：根据数据文件大小指标和历史正常数据文件大小指标生成数据文件大小差异值、及根据数据文件记录数指标和历史正常数据文件记录数指标生成数据文件记录数差异值、及根据LAC_CI记录数指标和历史正常LAC_CI记录数指标生成LAC_CI记录数差异值。在一些实施例中，通过公式生成数据文件大小差异值，其中，Δs表示数据文件大小差异值，s表示数据文件大小指标，表示历史正常数据文件大小指标；通过公式生成数据文件记录数差异值，其中，Δr表示数据文件记录数差异值，r表示数据文件记录数指标，表示历史正常数据文件记录数指标；通过公式生成LAC_CI记录数差异值，其中，Δk表示LAC_CI记录数差异值，k表示LAC_CI记录数指标，表示历史正常LAC_CI记录数指标。在一些实施例中，基于差异值生成数据质量指标的步骤具体包括：根据所述数据文件大小差异值和数据文件记录数差异值生成数据量指标；根据LAC_CI记录数差异值生成数据准确性指标；对所述数据量指标和数据准确性指标分别加权后求和以生成与所述业务数据对应的数据质量指标；当所述业务数据为该业务所包括的多种业务数据中的一种时，所述数据量指标的加权系数包括所述数据量指标的权重值及所述业务数据对应的预设业务权重值，所述数据准确性指标的加权系数包括所述数据准确性指标的权重值及所述业务数据对应的预设业务权重值。在一些实施例中，通过公式Δq＝ps*Δs+pr*Δr生成数据量指标，其中，Δq表示数据量指标，Δs表示数据文件大小差异值，Δr表示数据文件记录数差异值，ps表示数据文件大小差异值的权重值，pr表示数据文件记录数差异值的权重值，ps+pr＝1；通过公式Q＝Σw*pi*Δi生成数据质量指标，其中，Q表示数据质量指标，i＝(q,k)，且Σpi＝1，Δq表示数据量指标，pq表示数据量指标的权重值，Δk表示数据准确性指标，pk表示数据准确性指标的权重值，pq+pk＝1，w表示与业务数据对应的预设业务权重值。在一些实施例中，所述预设阈值为60％。第二方面，本公开实施例提供了一种数据监控平台，包括：采集模块，用于采集与业务数据对应的信令数据；解析模块，用于对所述信令数据进行解析以得出所述业务数据的数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标；生成模块，用于分别生成所述数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标与历史正常指标间的差异值，基于所述差异值生成数据质量指标；判断模块，用于判断所述数据质量指标是否小于预设阈值；发出模块，用于当判断出所述数据质量指标小于预设阈值时，发出业务数据异常告警信号。在一些实施例中，所述生成模块具体用于根据数据文件大小指标和历史正常数据文件大小指标生成数据文件大小差异值、及根据数据文件记录数指标和历史正常数据文件记录数指标生成数据文件记录数差异值、及根据LAC_CI记录数指标和历史正常LAC_CI记录数指标生成LAC_CI记录数差异值。在一些实施例中，所述生成模块具体用于根据所述数据文件大小差异值和数据文件记录数差异值生成数据量指标，根据LAC_CI记录数差异值生成数据准确性指标，对所述数据量指标和数据准确性指标分别加权后求和以生成与所述业务数据对应的数据质量指标，当所述业务数据为该业务所包括的多种业务数据中的一种时，所述数据量指标的加权系数包括所述数据量指标的权重值及所述业务数据对应的预设业务权重值，所述数据准确性指标的加权系数包括所述数据准确性指标的权重值及所述业务数据对应的预设业务权重值。在一些实施例中，所述生成模块具体用于通过公式Δq＝ps*Δs+pr*Δr生成数据量指标，其中，Δq表示数据量指标，Δs表示数据文件大小差异值，Δr表示数据文件记录数差异值，ps表示数据文件大小差异值的权重值，pr表示数据文件记录数差异值的权重值，ps+pr＝1；通过公式Q＝Σw*pi*Δi生成数据质量指标，其中，Q表示数据质量指标，i＝(q,k)，且Σpi＝1，Δq表示数据量指标，pq表示数据量指标的权重值，Δk表示数据准确性指标，pk表示数据准确性指标的权重值，pq+pk＝1，w表示与业务数据对应的预设业务权重值。本公开具有以下有益效果：本公开提供的数据监控方法，采集与业务数据对应的信令数据，对信令数据进行解析以得出业务数据的数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标，并分别生成数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标与历史正常指标间的差异值，再基于该差异值生成数据质量指标，当判断出数据质量指标小于预设阈值时，发出业务数据异常告警信号。能够对大数据量的运营商业务数据进行实时监控，并根据业务数据的数据质量及时发出预警。参照后文的说明和附图，详细公开了本公开的特定实施方式，指明了本公开的原理可以被采用的方式。应该理解，本公开的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本公开的实施方式包括许多改变、修改和等同。针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本公开实施例提供的第一种数据监控方法的流程示意图；图2为本公开实施例提供的第二种数据监控方法的流程示意图；图3为本公开实施例提供的数据监控平台的结构示意图。具体实施方式为使本领域的技术人员更好地理解本公开的技术方案，下面本文档来自技高网...

【技术保护点】
1.一种数据监控方法，其特征在于，包括：采集与业务数据对应的信令数据；对所述信令数据进行解析以得出所述业务数据的数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标；分别生成所述数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标与历史正常指标间的差异值；基于所述差异值生成数据质量指标；当判断出所述数据质量指标小于预设阈值时，发出业务数据异常告警信号。

【技术特征摘要】
1.一种数据监控方法，其特征在于，包括：采集与业务数据对应的信令数据；对所述信令数据进行解析以得出所述业务数据的数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标；分别生成所述数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标与历史正常指标间的差异值；基于所述差异值生成数据质量指标；当判断出所述数据质量指标小于预设阈值时，发出业务数据异常告警信号。2.根据权利要求1所述的数据监控方法，其特征在于，分别生成数据文件大小指标、数据文件记录数指标和LAC_CI记录数指标与历史正常指标间的差异值的步骤具体包括：根据数据文件大小指标和历史正常数据文件大小指标生成数据文件大小差异值、及根据数据文件记录数指标和历史正常数据文件记录数指标生成数据文件记录数差异值、及根据LAC_CI记录数指标和历史正常LAC_CI记录数指标生成LAC_CI记录数差异值。3.根据权利要求2所述的数据监控方法，其特征在于，通过公式生成数据文件大小差异值，其中，Δs表示数据文件大小差异值，s表示数据文件大小指标，表示历史正常数据文件大小指标；通过公式生成数据文件记录数差异值，其中，Δr表示数据文件记录数差异值，r表示数据文件记录数指标，表示历史正常数据文件记录数指标；通过公式生成LAC_CI记录数差异值，其中，Δk表示LAC_CI记录数差异值，k表示LAC_CI记录数指标，表示历史正常LAC_CI记录数指标。4.根据权利要求2所述的数据监控方法，其特征在于，基于差异值生成数据质量指标的步骤具体包括：根据所述数据文件大小差异值和数据文件记录数差异值生成数据量指标；根据LAC_CI记录数差异值生成数据准确性指标；对所述数据量指标和数据准确性指标分别加权后求和以生成与所述业务数据对应的数据质量指标；当所述业务数据为该业务所包括的多种业务数据中的一种时，所述数据量指标的加权系数包括所述数据量指标的权重值及所述业务数据对应的预设业务权重值，所述数据准确性指标的加权系数包括所述数据准确性指标的权重值及所述业务数据对应的预设业务权重值。5.根据权利要求4所述的数据监控方法，其特征在于，通过公式Δq＝ps*Δs+pr*Δr生成数据量指标，其中，Δq表示数据量指标，Δs表示数据文件大小差异值，Δr表示数据文件记录数差异值，ps表示数据文件大小差异值的权重值，pr表示数据文件记录数差异值的权重值，ps+pr＝1；通过公式Q＝Σw*pi*Δi生成数据质量指标，其中，Q表示数据质量指标，i＝(q,k...

【专利技术属性】
技术研发人员：胡森一，孙志海，
申请(专利权)人：中国联合网络通信集团有限公司，联通大数据有限公司，
类型：发明
国别省市：北京,11