一种基于孤立森林算法的用电数据异常检测模型制造技术

本发明专利技术公开了一种基于孤立森林算法的用电数据异常检测模型，包括特征提取模块、特征降维模块、孤立森林计算模块、构建专家样本模块和二次训练模块，特征提取模块从原始数据集中提取用户的用电数据的时间序列作为初始特征集，然后对初始特征集进行无量纲化和特征选择处理；特征降维模块采用主成分分析法和自编码网络法对初始特征集进行降维得到有效特征集；孤立森林计算模块采用孤立森林算法计算出每个用户的异常分数以判定用户数据有无异常。本发明专利技术的基于孤立森林算法的用电数据异常检测模型，是一种无监督的用电数据异常检测模型，不仅能够快速地处理大量的数据，而且能够适应缺乏训练样本的情况，能够更好地满足于电力部门的实践需求。

【技术实现步骤摘要】
一种基于孤立森林算法的用电数据异常检测模型
本专利技术涉及一种基于孤立森林算法的用电数据异常检测模型，涉及电力数据分析、电力数据异常预测、电力数据挖掘和数技术和智能电网

技术介绍
近年来，围绕用电侧的异常模式检测问题，发展了基于统计、基于距离和基于学习的三大类技术方法。从数据的角度看，并借鉴机器学习领域的常用概念，可以将这些方法分成两大类：有监督和无监督的。有监督的方法通常需要足够的带标签的训练样本，这意味着用电数据中需要包含用户的类型信息，即该用户是否为异常用户。这样的数据需要人类专家鉴定，并且无法形成较大的规模。因此有监督的方法虽然大多数情况下能够达到理论上的最佳性能，却很难广泛应用于没有标签数据的异常用电模式识别。无监督的方法则不需要知道用户本身的类型信息，它能够从大量的用电数据中学习到特定的知识，并用于寻找异常的用电模式。随着智能电表的普及和配用电大数据的发展，电网的用电侧数据逐步表现出海量数据和高复杂度的特征。传统的用电异常检测模式已经难以满足现有的要求，而近年来被广泛应用于异常检测的神经网络和机器学习的方法，绝大多数对于训练样本的需求较高，无法很好地应用于缺少样本标签的用电数据集上。
技术实现思路
本专利技术的目的是克服现有技术的缺陷，提供一种基于孤立森林算法的用电数据异常检测模型，是一种无监督的用电数据异常检测模型，通过分析用户用电数据之间的内在联系，给出代表每一个用户的异常分数以评估该用户的疑似异常概率，这些异常分数将成为电力公司的重要参考，以提高用电异常排查工作的效率，降低运营成本，在进行用电数据的异常检测时，不仅能够快速地处理大量的数据，而且能够适应缺乏训练样本的情况，能够更好地满足于电力部门的实践需求。实现上述目的的技术方案是：一种基于孤立森林算法的用电数据异常检测模型，包括特征提取模块、特征降维模块、孤立森林计算模块、构建专家样本模块和二次训练模块，其中：所述特征提取模块从原始数据集中提取用户的用电数据的时间序列作为初始特征集，然后对初始特征集进行无量纲化和特征选择处理；所述特征降维模块采用主成分分析法和自编码网络法对初始特征集进行降维得到有效特征集；所述孤立森林计算模块采用孤立森林算法计算出每个用户的异常分数以判定用户数据有无异常；所述构建专家样本模块通过电力专家的经验筛选标准异常样本；所述二次训练模块将所述标准异常样本加入到所述原始数据集中，然后进行二次训练，得到最终的用户异常分数排序。上述的一种基于孤立森林算法的用电数据异常检测模型，其中，所述特征提取模块的特征提取过程包括以下步骤：S11,预处理：原始数据集中存在着大量的明显的错误的数据，如数据为负值、零值和异常大值，这些为负值、零值和异常大值的数据将在预处理中被清洗，最终我们得到清洗后的数据集；S12,提取基于均值的指标：由于用户的用电量通常有按工作日周期分布的趋势，我们将统计原始数据集中每个用户工作日和非工作日的平均用电量，即周一到周五的平均用电量、周六的平均用电量和周日的平均用电量，这样可以得到新的7个特征值；S13,提取基于趋势的指标：通过研究一些通过人工辨别的窃电用户的用电曲线，采用滑动窗口的思想，提取用电曲线的上升和下降趋势指标。上述的一种基于孤立森林算法的用电数据异常检测模型，其中，所述提取基于趋势的指标中，采用滑动窗口的思想，将一个用户的用电数据看作一个时间序列，并将其分成三个相邻的窗口，依次记为w1，w2和w3；其中w2的长度是固定的，我们将其看作是主要的滑动窗口，然后我们计算w1和w3中数据的平均值和标准差，w1的平均值记为avg1，w3的平均值记为avg3，w1的标准差记为std1，w1的标准差记为std3；然后我们计算下降趋势d的公式如下：计算上升趋势r的公式如下：我们计算窗口w2在滑动过程中下降趋势d和上升趋势r的最大值，并将其作为这段时间序列的下降趋势指标和上升趋势指标。上述的一种基于孤立森林算法的用电数据异常检测模型，其中，所述孤立森林计算模块的计算过程为：S21，从训练集中进行采样，并根据算法构建孤立树，孤立树的建立过程如下：S211，从训练数据点随机抽取子样本作为孤立树中的根节点；S212，随机指定某个维度，在当前节点数据中生成一个切割点p，切割点p是在当前节点的指定维度的最大值和最小值之间随机生成的；S213当前节点数据空间被切割点p划分为2个子空间：指定维度小于切割点p的数据被放在当前节点的左子树，大于或等于切割点p的数据被放在当前节点的右子树；S214，在子节点中，重复步骤S212和步骤S213构造新的子节点，直到子节点中只有一个数据或子节点达到定义的高度；S22，将训练样本带入孤立森林中的每颗孤立树进行测试，记录路径长度，然后计算每个样本的异常分数。本专利技术的基于孤立森林算法的用电数据异常检测模型，是一种无监督的用电数据异常检测模型，通过分析用户用电数据之间的内在联系，给出代表每一个用户的异常分数以评估该用户的疑似异常概率，这些异常分数将成为电力公司的重要参考，以提高用电异常排查工作的效率，降低运营成本，在进行用电数据的异常检测时，不仅能够快速地处理大量的数据，而且能够适应缺乏训练样本的情况，能够更好地满足于电力部门的实践需求。附图说明图1为本专利技术的基于孤立森林算法的用电数据异常检测模型的框图；图2为孤立森林算法分析出的异常点示意图；图3a为典型的窃电曲线示意图；图3b为典型的窃电曲线示意图。具体实施方式为了使本
的技术人员能更好地理解本专利技术的技术方案，下面结合附图对其具体实施方式进行详细地说明：请参阅图1和图2，本专利技术的最佳实施例，一种基于孤立森林算法的用电数据异常检测模型，包括特征提取模块1、特征降维模块2、孤立森林计算模块3、构建专家样本模块4和二次训练模块5。特征提取模块1从原始数据集中10提取用户的用电数据的时间序列作为初始特征集，然后对初始特征集进行无量纲化和特征选择处理；特征降维模块2采用主成分分析法和自编码网络法对初始特征集进行降维得到有效特征集；孤立森林计算模块3采用孤立森林算法计算出每个用户的异常分数以判定用户数据有无异常，图2为孤立森林算法分析出的异常点xi、x0的示意图；构建专家样本模块4通过电力专家的经验筛选标准异常样本，二次训练模块5将标准异常样本加入到所述原始数据集中，然后进行二次训练，得到最终的用户异常分数排序20。对于N个用户M天的日用电量数据，我们将一个用户的所有用电数据提取出来，组成矩阵的一行。那么所有用户的数据可以用一个N×M的矩阵来表示，我们记为X。矩阵X是由用户的日用电量数据组成的原始特征集。基于原始特征集，我们可以进一步提取特征：特征提取模块1的特征提取过程包括以下步骤：S11,预处理：原始数据集10中存在着大量的明显的错误的数据，如数据为负值、零值和异常大值，这些为负值、零值和异常大值的数据将在预处理中被清洗，最终我们得到清洗后的数据集X0；S12,提取基于均值的指标：由于用户的用电量通常有按工作日周期分布的趋势，我们将统计原始数据集中每个用户工作日和非工作日的平均用电量，即周一到周五的平均用电量、周六的平均用电量和周日的平均用电量，这样可以得到新的7个特征值；S13,提取基于趋势的指标：通过研究一些通过人工辨别的窃本文档来自技高网...

【技术保护点】
1.一种基于孤立森林算法的用电数据异常检测模型，其特征在于，包括特征提取模块、特征降维模块、孤立森林计算模块、构建专家样本模块和二次训练模块，其中：所述特征提取模块从原始数据集中提取用户的用电数据的时间序列作为初始特征集，然后对初始特征集进行无量纲化和特征选择处理；所述特征降维模块采用主成分分析法和自编码网络法对初始特征集进行降维得到有效特征集；所述孤立森林计算模块采用孤立森林算法计算出每个用户的异常分数以判定用户数据有无异常；所述构建专家样本模块通过电力专家的经验筛选标准异常样本；所述二次训练模块将所述标准异常样本加入到所述原始数据集中，然后进行二次训练，得到最终的用户异常分数排序。

【技术特征摘要】
1.一种基于孤立森林算法的用电数据异常检测模型，其特征在于，包括特征提取模块、特征降维模块、孤立森林计算模块、构建专家样本模块和二次训练模块，其中：所述特征提取模块从原始数据集中提取用户的用电数据的时间序列作为初始特征集，然后对初始特征集进行无量纲化和特征选择处理；所述特征降维模块采用主成分分析法和自编码网络法对初始特征集进行降维得到有效特征集；所述孤立森林计算模块采用孤立森林算法计算出每个用户的异常分数以判定用户数据有无异常；所述构建专家样本模块通过电力专家的经验筛选标准异常样本；所述二次训练模块将所述标准异常样本加入到所述原始数据集中，然后进行二次训练，得到最终的用户异常分数排序。2.根据权利要求1所述的一种基于孤立森林算法的用电数据异常检测模型，其特征在于，所述特征提取模块的特征提取过程包括以下步骤：S11,预处理：原始数据集中存在着大量的明显的错误的数据，如数据为负值、零值和异常大值，这些为负值、零值和异常大值的数据将在预处理中被清洗，最终我们得到清洗后的数据集；S12,提取基于均值的指标：由于用户的用电量通常有按工作日周期分布的趋势，我们将统计原始数据集中每个用户工作日和非工作日的平均用电量，即周一到周五的平均用电量、周六的平均用电量和周日的平均用电量，这样可以得到新的7个特征值；S13,提取基于趋势的指标：通过研究一些通过人工辨别的窃电用户的用电曲线，采用滑动窗口的思想，提取用电曲线的上升和下降趋势指标。3.根据权利要求2所述的一种基于孤立森林算...

【专利技术属性】
技术研发人员：陈明，曹袖，毛迪林，毛苇，严童，周清华，唐啸，宣庐峰，熊博越，徐伟，侯昀，黄增瑞，
申请(专利权)人：国网上海市电力公司，
类型：发明
国别省市：上海,31