一种电力时序数据实时清洗方法和系统技术方案

本发明专利技术提出一种电力时序数据实时清洗方法和系统。其中，方法包括：利用属性Id、Key、历史数据构建数据异常判断临时表；获取已通过协议解析，并经IOT设备实时传输的实时时序数据；消息中间件Kafka接收到时序数据后，Flink组件实时获取实时时序数据，并与数据异常判断临时表进行比较计算，得出实时时序数据的有效性进行判断，应用判断结果对数据进行字段标识。本发明专利技术提出的方案，通过构建数据异常判断临时表并动态更新，实现了实时数据的异常清洗仅依赖于临时表和上一条数据，节省了实时计算资源，满足高速数据流下的性能要求。满足高速数据流下的性能要求。满足高速数据流下的性能要求。

【技术实现步骤摘要】
一种电力时序数据实时清洗方法和系统


[0001]本专利技术属于电力数据预处理领域，尤其涉及一种电力时序数据实时清洗方法和系统。

技术介绍

[0002]随着工业互联网的发展，信息化、数字化技术在电力企业生产过程中的应用逐渐普及，需要电力企业可以在用户侧和电网侧采集大量的时序数据。同时，随着采集装置、通信网络等基础设施的更新迭代，数据的采集频率、颗粒度及精准度有所提升，但由于电磁干扰等因素原因，依旧存在着大量的数据质量问题，如缺失值、异常值等。
[0003]特别的，电力数据进行展示、应用的系统存在对数据实时性的要求，即随着数据传输的频率，实时更新所需要展示或是应用的结果。那么就需要对收取的电力数据进行实时的清洗。

技术实现思路

[0004]为解决上述技术问题，本专利技术提出一种电力时序数据实时清洗方法的技术方案，以解决上述技术问题。
[0005]本专利技术第一方面公开了一种电力时序数据实时清洗方法，所述方法包括：
[0006]步骤S1、获取预接收的时序数据的属性Id和所述时序数据的指标名称Key，对每一个所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电力时序数据实时清洗方法，其特征在于，所述方法包括：步骤S1、获取预接收的时序数据的属性Id和所述时序数据的指标名称Key，对每一个所述时序数据的指标名称Key进行预设增量数据或预设随机数据的分类，以属性Id和数据的指标名称Key作为查询条件，调取电力历史数据，构建包括：属性Id、数据的指标名称Key、分类、均值、标准差、时间和Value值的数据异常临时表；步骤S2、实时接收数据结构为属性Id、时间和数据的指标名称Key以及Value值的实时时序数据；步骤S3、根据接收的实时时序数据中的属性Id和数据的指标名称Key，查询所述数据异常临时表，判断查询到的数据异常临时表中的数据的分类，根据所述分类，应用实时时序数据的Value值、数据异常临时表的Value值、实时时序数据的时间、数据异常临时表的时间、均值和标准差，计算数据异常标识统计量Z；步骤S4、如果数据异常标识统计量Z大于预设阈值，则所述实时时序数据为异常数据，否则，所述实时时序数据为正常数据。2.根据权利要求1所述的一种电力时序数据实时清洗方法，其特征在于，在所述步骤S1中，所述对每一个所述时序数据的指标名称Key进行预设增量数据或预设随机数据的分类的方法包括：如果数据随着时间的增加，数据值持续增加，直至到达所述数据的最大值后，再从0重新递增，则数据定义为预设增量数据；如果数据随着时间的增加，数据值不存在单调性，表现出为无序状态，则数据定义为预设随机数据。3.根据权利要求2所述的一种电力时序数据实时清洗方法，其特征在于，在所述步骤S1中，所述构建包括：属性Id、数据的指标名称Key、分类、均值、标准差、时间和Value值的数据异常临时表的方法包括：步骤S11、获取预接收的时序数据的属性Id和数据的指标名称数据指标名称Key；步骤S12、对每一个数据的指标名称Key进行预设增量数据或预设随机数据的分类；步骤S13、以属性Id和数据的指标名称Key作为查询条件，调取一年的电力历史数据；步骤S14、依据预接收的时序数据的每一个数据的指标名称Key的预设增量数据或预设随机数据的数据类型，计算均值和标准差，并对应填入所述数据异常临时表中的均值和标准差的字段中；步骤S15、将所述数据异常临时表中的时间和Value值的字段赋值为空。4.根据权利要求3所述的一种电力时序数据实时清洗方法，其特征在于，在所述步骤S1中，所述均值的计算方法包括：所述均值包括预设增量数据的均值和预设随机数据的均值；对于分类为预设增量数据，其中，AVG(
·
)为均值计算函数，N为调取数据的指标名称数据的指标名称Key字段的数据的数量，Xi为当前时间Ti对应数据的指标名称Key字段的数据，X(i
‑
1)为当前一时刻T(i
‑
1)对应数据的指标名称Key字段的数据；对于分类为预设随机数据的数据，
5.根据权利要求3所述的一种电力时序数据实时清洗方法，其特征在于，在所述步骤S1中，所述标准差的计算方法包括：所述标准差包括预设增量数据的标准差和预设随机数据的标准差；对于分类为预设增量数据，其中STDEVP(
·
)为标准差计算函数；对于分类为预设随机数据的数据，对于分类为预设随机数据的数据，6.根据权利要求1所述...

【专利技术属性】
技术研发人员：郑平，曹洋，吴冬绪，吕小晴，杨培环，
申请(专利权)人：中能融合智慧科技有限公司，
类型：发明
国别省市：