一种能耗历史数据的校准方法技术

本发明专利技术公开了一种能耗历史数据的校准方法，首先通过把能耗数据时序化，再结合离群因子LOF原理筛选出在同一时间的不可信数据，再代入异常数据中的有效信息，通过模型预测算法模拟出中间的校准数据。本发明专利技术具有能够有效提高异常数据判断的准确性以及能够充分利用异常数据中的有效信息的特点。常数据中的有效信息的特点。常数据中的有效信息的特点。

【技术实现步骤摘要】
一种能耗历史数据的校准方法


[0001]本专利技术涉及一种能源管理系统实时历史数据领域，特别是一种能耗历史数据的校准方法。

技术介绍

[0002]能源管理系统对接几种常见的表具，包括电表、水表、气表、能量表，通过采集表具数据来进行监测、管理、统计、分析、节能策略执行等。根据实际项目的需求数据采集的周期一般为1分钟到15分钟之间较为合理。为了实现业务需要，会把采集到的实时数据进行存储，即为历史数据。在实际项目实施和使用过程中，容易出现几种问题：
[0003](1)采集器无法保障提供365
×
24小时服务，不排除会因为设备损坏、断电、断网等原因导致数据丢失。
[0004](2)无法保障工程实施配置和用户使用过程中0错误发生，这些配置、使用问题，就有可能导致采集上的数据出现异常，且随着时间的推移，数据在持续积累，最终导致异常数据难以被发现、发现后难以修复。
[0005]为了解决上述技术问题，研究人员开始采用各种方法来尝试解决。如专利名称“一种用电采集数据缺失值填充方法、系统及装置”。该方案用电采集数据利用平均值
‑
方差法检测用电采集数据中的异常值，然后将异常的用电采集数据删除；接着利用用电采集数据去训练降噪自编码器模型，基于训练好的降噪自编码器网络模型去重构原始的用电样本数据，利用重构数据来填充缺失的用电采集样本数据；防止模型过拟合，提出了新的Depreciation
‑
FourOrder正则化项；为了获得较佳的噪声衰减比，根据网络层的单元数降低噪声水平；然后，结合k
‑
means聚类方法、邻近数据点到类簇中心的平均距离并利用数据的标准差来矫正填充的数据值，其缺点在于：
[0006]1)该专利依据平均值
‑
方差法检测用电采集数据中的异常值，直接删除，但实际上这种判断异常数据是存在错判的。
[0007]2)异常数据直接丢弃，导致某些有效信息无法被提取和利用。
[0008]因此，现有的技术存在着易发生错判以及异常数据中的有效信息无法利用的问题。

技术实现思路

[0009]本专利技术的目的在于，提供一种能耗历史数据的校准方法。本专利技术具有能够有效提高异常数据判断的准确性以及能够充分利用异常数据中的有效信息的特点。
[0010]本专利技术的技术方案：一种能耗历史数据的校准方法，首先通过把能耗数据时序化，再结合离群因子LOF原理筛选出在同一时间的不可信数据，再代入异常数据中的有效信息，通过模型预测算法模拟出中间的校准数据。
[0011]前述的一种能耗历史数据的校准方法中，包括以下具体步骤：
[0012]A、获取单个表具的历史能耗数据，并转换成时间序列，计算出每个时刻的读值和
对应时区的增量，得到表具每个时刻的数据点；
[0013]B、基于时间序列的LOF算法，量化每个数据点的异常程度；
[0014]C、用户确认数据点的异常程度并回填有效信息；
[0015]D、通过同期历史数据走势模拟出校准数据；
[0016]E、用户确认后生效。
[0017]前述的一种能耗历史数据的校准方法中，步骤B包括以下具体过程：
[0018]b1、对于每个数据点，计算它与其它所有数据点之间的距离，并按从近到远排序；
[0019]b2、然后根据排序，对每个数据点找到它的k
‑
nearest
‑
neighbor，计算LOF得分。
[0020]前述的一种能耗历史数据的校准方法中，LOF得分，即局部异常因子的具体计算公式为：
[0021]点p的局部异常因子表示为：
[0022][0023]点p的局部可达密度表示为：
[0024][0025]其中，点p的第k距离邻域Nk(p)就是p的第k距离即以内的所有点，包括第k距离；p的第k邻域点的个数|Nk(p)|>＝k；
[0026]点o到点p的第k可达距离定义为：
[0027]reach
‑
distance
k
(p，o)＝max{k
‑
distance(o)，d(p，o)}，
[0028]其中，d(p,o)表示两点P和O之间的距离；K
‑
distance表示第k距离，在距离数据点p最近的几个点中，第k个最近的点跟点p之间的距离为点p的K
‑
邻近距离，记为K
‑
distance(p)；
[0029]对于点p的第k距离dk(p)定义如下：dk(p)＝d(p,o)。
[0030]前述的一种能耗历史数据的校准方法中，步骤C中，有效信息包括某个时刻的读值、某段时间宽度的增量。
[0031]与现有技术相比，本专利技术基于密度的经典算法Local Outlier Factor，加入时间因子，对每个表的能耗数据进行按时间序列排布，通过给每个时刻能耗数据点都分配一个依赖于邻域密度的离群因子(局部异常因子)LOF，进而判断该时刻能耗数据点是否为离群点。对有效的历史数据进行建模，通过带入异常数据的有效信息，来预测缺失的数据和重新分配异常数据。优点如下：
[0032]1)可以量化每个数据点的异常程度(outlierness)；
[0033]2)异常数据仅用于标识可能存在的异常数据及异常程度，便于用户快速定位，允许人工确认，避免过度矫正；
[0034]3)充分利用异常数据中的有效信息，带入到模型通过预测分析，对中间缺失数据、异常数据进行按时间序列的排布。
[0035]综上所述，本专利技术具有能够有效提高异常数据判断的准确性以及能够充分利用异
常数据中的有效信息的特点。
附图说明
[0036]图1是本专利技术的具体步骤流程图；
[0037]图2是本专利技术的某个表具异常能耗增量数据趋势图。
[0038]图3是本专利技术的该表具异常能耗增量数据校准后趋势图；
[0039]图4是点o到点p的第k可达距离的原理示意图。
具体实施方式
[0040]下面结合附图和实施例对本专利技术作进一步的说明，但并不作为对本专利技术限制的依据。
[0041]实施例。本专利技术提供了一种用水、用电、用气、用能历史数据的异常检测及数据校准的方法，附图1所示为该方法的流程图，主要包括以下步骤：
[0042]S1：获取单个表具的历史能耗数据，并转换成时间序列，计算出每个时刻的读值和对应时区的增量。
[0043]S2：对于每个数据点，计算它与其它所有点的距离，并按从近到远排序。
[0044]S3：对于每个数据点，找到它的k
‑
nearest
‑
neighbor(K最邻近，所谓K最近邻，就是K个最近的邻居的意思)，计算LOF得分。
[0045]LOF得分，即局部异常因子的具体计算公式为：
[0046]d(p,o)表示两本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种能耗历史数据的校准方法，其特征在于：首先通过把能耗数据时序化，再结合离群因子LOF原理筛选出在同一时间的不可信数据，再代入异常数据中的有效信息，通过模型预测算法模拟出中间的校准数据。2.根据权利要求1所述的一种能耗历史数据的校准方法，其特征在于，包括以下具体步骤：A、获取单个表具的历史能耗数据，并转换成时间序列，计算出每个时刻的读值和对应时区的增量，得到表具每个时刻的数据点；B、基于时间序列的LOF算法，量化每个数据点的异常程度；C、用户确认数据点的异常程度并回填有效信息；D、通过同期历史数据走势模拟出校准数据；E、用户确认后生效。3.根据权利要求2所述的一种能耗历史数据的校准方法，其特征在于，步骤B包括以下具体过程：b1、对于每个数据点，计算它与其它所有数据点之间的距离，并按从近到远排序；b2、然后根据排序，对每个数据点找到它的k
‑
nearest
‑
neighbor，计算LOF得分。4.根据权利要求3所述的一种能耗历史数据的校准方法，其特征在于...

【专利技术属性】
技术研发人员：汪红亮，刘钢，罗鹏鑫，李沁贇，谭灿，祝娟，
申请(专利权)人：浙江源创智控技术有限公司，
类型：发明
国别省市：