一种基于海量大数据平台的实时数据接入质量监测方法技术

本发明专利技术旨在提供一种基于海量大数据平台的实时数据接入质量监测方法，以解决现有技术方案中没有检测方法可以对数据接入质量进行检测。包括：实时监控大数据平台与数据源端，当数据源端发送数据给大数据平台时，进行如下步骤：根据大数据平台从数据源端接收的数据计算获得大数据平台接收数据的数据条数作为接收量；获取由数据源端统计的发送数据的数据条数作为对比量；根据接收量与对比量计算获得实际数据漏点率；根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警。有益效果：根据数据源端统计的数据条数与大数据平台获取的数据条数进行比较，进而得出实际数据漏点率，并根据实际数据漏点率进行预警，进而实现对数据接入质量的监测。

A real-time data access quality monitoring method based on massive large data platform

The aim of the invention is to provide a real-time data access quality monitoring method based on massive large data platform, so as to solve the problem that no detection method can detect data access quality in the existing technology plan. Including: data real-time monitoring platform and data source, when the data source sends data to the big data platform, make the following steps: according to the big data platform is received from a data source of the data obtained large data platform to receive data as the number of receiving quantity; access to send data from the data source to the end of statistics the number of data for comparison; according to the received amount compared with the amount calculated from actual data leak rate; according to the actual data leakage rate and the preset data leak rate threshold to judge whether the alarm. Beneficial effect: according to the data number of data source end statistics, compared with the data bar obtained by big data platform, we get the actual data leak point rate, and early warning according to the actual data leakage rate, so as to achieve data access quality monitoring.

【技术实现步骤摘要】
一种基于海量大数据平台的实时数据接入质量监测方法
本专利技术涉及一种数据接入质量监测方法，具体涉及一种基于海量大数据平台的实时数据接入质量监测方法。
技术介绍
伴随着能源互联网、互联网+行动计划、电力市场改革等业务形态的发展，要求企业信息技术支撑具有弹性高可用、快速迭代、数据深度分析挖掘及多渠道可视化展现的特征。国网浙江电力基于阿里私有云环境，构建可柔性扩展新一代基础架构平台，提升大数据计算分析能力和公共技术服务能力，提供一个的统一基础技术支撑平台。同时，对企业统一数据模型的梳理，建设企业级统一大数据库，汇集包含业务数据、量测数据及外部数据等数据，实现数据充分共享，为大数据分析应用提供统一数据支撑。阿里云是一个具有大数据处理能力的云平台，基于这个平台将存量业务应用的数据同步到大数据平台中做数据的全量汇集，利用大数据的海量数据存储能力存储和管理这些数据，基于这些数据，按照我们设计的企业统一模型，进行数据仓库建设。通过数仓建设解决数据质量，数据同源，数据编码统一等数据问题，利用这些数据支撑上层大数据应用。随着项目开展，大量的实时数据测点接入到了阿里云大数据平台HBASE组件中，业务应用对数据质量要求越来越高，需要一种方法能够对数据接入的质量进行实时监控，并在出现问题时能够向维护人员发出告警信息。
技术实现思路
本专利技术旨在提供一种基于海量大数据平台的实时数据接入质量监测方法，以解决现有技术方案中没有检测方法可以对数据接入质量进行检测。为了实现所述目的，本专利技术一种基于海量大数据平台的实时数据接入质量监测方法，包括：实时监控大数据平台与数据源端，当数据源端发送数据给大数据平台时，进行如下步骤：根据大数据平台从数据源端接收的数据计算获得大数据平台接收数据的数据条数作为接收量；获取由数据源端统计的发送数据的数据条数作为对比量；根据接收量与对比量计算获得实际数据漏点率；根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警。优选的，所述根据接收量与对比量计算获得实际数据漏点率包括：通过如下公式计算实际数据漏点率：实际数据漏点率＝(接收量-对比量)÷对比量。优选的，所述根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警包括：比较实际数据漏点率与预设的数据漏点率阈值之间的大小，如果实际数据漏点率小于预设的数据漏点率阈值，则报警。优选的，所述根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警包括：获取第一设定时间段内的所有实际数据漏点率，计算该第一设定时间内的所有实际数据漏点率的平均值，如果该平均值小于预设的数据漏点率阈值，则报警。优选的，所述第一设定时间段的终点为当前时间，所述第一设定时段的起点为当前时间的24小时前。优选的，获取由数据源端统计的发送数据的数据条数作为对比量包括：当由数据源端统计的发送数据的数据条数未获取到时，将对应的接收量作为对比量，并对该接收量进行标记；计算出第一设定时间内的所有实际数据漏点率的平均值后，如果当前数据的对比量为标记后的对比量，则将第一设定时间内的所有实际数据漏点率的平均值作为当前数据的对比量以供后续使用。优选的，获取大数据平台在第二设定时间段内的设定数据更新次数和大数据平台在第二设定时间段内的实际数据更新次数，根据实际数据更新次数和设定数据更新次数计算获得中断率，根据中断率和预设的中断率阈值判断是否进行报警。优选的，所述中断率阈值为20％优选的，所述获取大数据平台在第二设定时间段内的设定数据更新次数包括：获取设定数据更新频率，通过如下公式获取大数据平台在第二设定时间段内的设定数据更新次数：大数据平台在第二设定时间段内的设定数据更新次数＝(第二设定时间段的终点-第二设定时间段的起点)÷设定数据更新频率。优选的，所述根据实际数据更新次数和设定数据更新次数计算获得中断率包括：通过如下公式计算中断率：中断率＝(设定数据更新次数-实际数据更新次数)÷设定数据更新次数。通过实施本专利技术可以取得以下有益技术效果：根据数据源端统计的数据条数与大数据平台获取的数据条数进行比较，进而得出实际数据漏点率，并根据实际数据漏点率进行预警，进而实现对数据接入质量的监测。具体实施方式为了便于本领域技术人员的理解，下面结合具体实施例对本专利技术作进一步的说明：实施例1：本专利技术提供了一种基于海量大数据平台的实时数据接入质量监测方法，包括：实时监控大数据平台与数据源端，当数据源端发送数据给大数据平台时，进行如下步骤：根据大数据平台从数据源端接收的数据计算获得大数据平台接收数据的数据条数作为接收量；获取由数据源端统计的发送数据的数据条数作为对比量；根据接收量与对比量计算获得实际数据漏点率；根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警。根据数据源端统计的数据条数与大数据平台获取的数据条数进行比较，进而得出实际数据漏点率，并根据实际数据漏点率进行预警，进而实现对数据接入质量的监测；其中。具体的，根据接收量与对比量计算获得实际数据漏点率包括：通过如下公式计算实际数据漏点率：实际数据漏点率＝(接收量-对比量)÷对比量。具体的，根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警包括：比较实际数据漏点率与预设的数据漏点率阈值之间的大小，如果实际数据漏点率小于预设的数据漏点率阈值，则报警。实施例2：与实施例1的区别在于：根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警包括：获取第一设定时间段内的所有实际数据漏点率，计算该第一设定时间内的所有实际数据漏点率的平均值，如果该平均值小于预设的数据漏点率阈值，则报警。第一设定时间段的终点为当前时间，第一设定时段的起点为当前时间的24小时前。可以知道的，第一设定时间段也可以根据需要设定。获取由数据源端统计的发送数据的数据条数时，数据条数有可能因为各种原因而出现有几次获取不到的情况，为了降低这种情况对本方法的影响，获取由数据源端统计的发送数据的数据条数作为对比量包括：当由数据源端统计的发送数据的数据条数未获取到时，将对应的接收量作为对比量，并对该接收量进行标记；计算出第一设定时间内的所有实际数据漏点率的平均值后，如果当前数据的对比量为标记后的对比量，则将第一设定时间内的所有实际数据漏点率的平均值作为当前数据的对比量以供后续使用。其优点在于：首先将获取不到的对比量由接收量代替，进而消除当前次因获取不到由数据源端统计的发送数据的数据条数而实际数据漏点率计算的邮箱，同时由于第一设定时间段的终点为当前时间，第二设定时段的起点为当前时间的24小时前，所以本专利技术通过在计算出第一设定时间内的所有实际数据漏点率的平均值后，将第一设定时间内的所有实际数据漏点率的平均值作为当前数据的对比量以供后续使用，使得后续计算第一设定时间内的所有实际数据漏点率的平均值时，更接近实际的平均值，进而降低误报警的概率。实施例三：与实施例1或实施例2的区别在于：本实施例在实施例1或实施例2的基础上做了进一步改进，一种基于海量大数据平台的实时数据接入质量监测方法还包括获取大数据平台在第二设定时间段内的设定数据更新次数和大数据平台在第二设定时间段内的实际数据更新次数，根据实际数据更新次数和设定数据更新次数计算获得中断率，根据中断率和预设的中断率阈值判断是否进行报警。第二设定时间段的终点为当前时间，第二设本文档来自技高网...

【技术保护点】
一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，包括：实时监控大数据平台与数据源端，当数据源端发送数据给大数据平台时，进行如下步骤：根据大数据平台从数据源端接收的数据计算获得大数据平台接收数据的数据条数作为接收量；获取由数据源端统计的发送数据的数据条数作为对比量；根据接收量与对比量计算获得实际数据漏点率；根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警。

【技术特征摘要】
1.一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，包括：实时监控大数据平台与数据源端，当数据源端发送数据给大数据平台时，进行如下步骤：根据大数据平台从数据源端接收的数据计算获得大数据平台接收数据的数据条数作为接收量；获取由数据源端统计的发送数据的数据条数作为对比量；根据接收量与对比量计算获得实际数据漏点率；根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警。2.如权利要求1所述的一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，所述根据接收量与对比量计算获得实际数据漏点率包括：通过如下公式计算实际数据漏点率：实际数据漏点率＝(接收量-对比量)÷对比量。3.如权利要求1所述的一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，所述根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警包括：比较实际数据漏点率与预设的数据漏点率阈值之间的大小，如果实际数据漏点率小于预设的数据漏点率阈值，则报警。4.如权利要求1所述的一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，所述根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警包括：获取第一设定时间段内的所有实际数据漏点率，计算该第一设定时间内的所有实际数据漏点率的平均值，如果该平均值小于预设的数据漏点率阈值，则报警。5.如权利要求4所述的一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，所述第一设定时间段的终点为当前时间，所述第一设定时段的起点为当前时间的24小时前。6.如权利要求4所述的一种基于海量大数据平台的...

【专利技术属性】
技术研发人员：戴波，汤亿则，江樱，刘鸿宁，黄海潮，王剑，阳东，周洋，
申请(专利权)人：国网浙江省电力公司信息通信分公司，国网浙江省电力公司，
类型：发明
国别省市：浙江,33