基于批流统一数据聚类的风电机组异常检测方法技术

本发明专利技术涉及基于批流统一聚类模式的风电机组异常数据检测方法，将批量聚类和增量聚类结合。使用批量的聚类初始化方式，在首个时间窗口中初始化簇特征。后续窗口采用增量式的聚类方法，这样能够同时满足批量聚类的高精度以及流式聚类的低延迟等特点，可以持续处理大规模持续流入的风电机组群运行数据，并能较快地反映出异常数据所在设备。加入了基于流式迭代的簇特征更新机制。引入迭代流的思想，将风电机组数据簇特征创建成迭代流。进行流式的数据状态广播、双流连接计算，即将两个流式数据进行连接后计算。根据数据的最近簇进行分区，窗口定时更新每个分区的簇特征并将其返回到迭代流中。本发明专利技术保证了实时流处理低延迟的特性。性。性。

【技术实现步骤摘要】
基于批流统一数据聚类的风电机组异常检测方法


[0001]本专利技术涉及风电机组异常检测领域，具体涉及一种基于批流统一数据聚类的风电机组异常检测方法。

技术介绍

[0002]风能是一种环境友好且经济实用的可再生能源。中国是世界排名第一的风力发电国家、新装风力发电设备装机容量最大的国家，并且保持着持续的增长。因此，风电场数量和规模不断扩大，然而受地理条件和环境因素限制，风电场多位于偏僻遥远的平原、山区或海上，风电机组受设备、环境、运行状态等因素影响，系统实时采集的风机运行数据会存在有大量异常值和缺失值，这些数据的存在严重影响后续的风电机组状态分析、故障诊断等功能。因此，能够实时并快速地识别并排除风电机组的异常数据具有重要的探究意义。
[0003]随着计算机和物联网设备的普及,各类网络应用逐渐在泛化，由此产生了大量多源、异构的流式数据，包括大量保存在分布式文件系统的静态数据以及海量具有时效性的实时数据源。聚类作为一种无监督学习方法，可以对相似的数据进行聚类，从而挖掘数据隐藏价值。但大多数聚类只能处理单一类型的数据，无法适用于多元化的批量和流式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于批流统一数据聚类的风电机组异常检测方法，其特征在于，包括以下步骤：步骤S1：获取实时的风电机组数据；步骤S2：将得到的风电机组数据划分为滑动时间窗口，每次处理一个时间窗口中的数据；步骤S3：根据划分窗口预处理后的数据，初始化簇中心，采用融合了数据的批量处理和流式处理的批流统一聚类模型和簇特征更新机制，并在此基础上设计实现批流统一的聚类算法，得到风电机组数据的批量和流式聚类结果；步骤S4：对聚类生成的每个簇的大小进行判断，若簇内数据记录数小于预设阈值，则判断该簇为可能存在异常数据的簇，输出簇内数据记录，并将这些数据记录对应的风电机标记为可能存在异常的风电机，输出这些风电机的编号。2.根据权利要求1所述的基于批流统一数据聚类的风电机组异常检测方法，其特征在于，所述风电机组批流数据为来自文件系统、消息队列、网络的多源数据。3.根据权利要求1所述的基于批流统一数据聚类的风电机组异常检测方法，其特征在于，所述根据提出的批流统一聚类模型UBSCM设计并实现了批流统一的KMeansUBSP算法、KModesUBSP算法，以及DBSCANUBSP算法。4.根据权利要求3所述的基于批流统一数据聚类的风电机组异常检测方法，其特征在于，所述步骤S3采用基于UBSCM的KMeansUBSP算法时，具体为：(1)将传入的实时风电机组数据的流式数据进行分窗口计算(2)采用基于KMeans++算法初始化簇中心的方式进行初始化，并根据提供的可选参数指定初始化簇中心判断是否进行迭代计算；(3)使用流式迭代技术和流式广播状态对流式数据进行增量式计算，并对已经构建好的模型进行更新；(4)判断是否为首个窗口，对第一个时间窗口的数据进行初始化簇中心并创建成迭代流，若不是第一个时间窗口则跳过此步；(5)对每个窗口的数据进行遍历，将数据流和簇中心流进行流式连接，再根据最新簇中心划分数据点，然后根据划分结果更新簇中心，最后将更新的簇中心返回到迭代流中。5.根据权利要求4所述的基于批流统一数据聚类的风电机组异常检测方法，其特征在于，所述KMeansUBSP在窗口内的更新规则公式如下：n
t+1
＝n
t
×
a+m
t (2)其中c是簇中心；n是对应簇中心的点数量；a是衰减因子，用来定义过去点在新簇中的影响，取值范围[0,1]之间，a越大表示历史数据对簇更新的影响越大，当a为1时表示使用历史所有数据参与计算；x是当前窗口数据点生成的簇中心；m是对应窗口数据生成簇中心的点个数。6.根据权利要求3所述的基于批流统一数据聚类的风电机组异常检测方法，其特征在于，所述步骤S3采用基于UBSCM的KModesUBSP算法时，具体为：(1)：判断是否为首个窗口，如果是，则对窗口使用传统KModes算法进行迭代式的初始化簇中心，随机选出K个初始风电机组数据点作为初始化簇中心center，并判断是否需要迭
代，如果需要迭代则根据簇中心划分数据，然后根据簇中的离散数据众数更新簇中心；然后计算一个计数列表保存每个簇中每个维度离散属性出现的次数，计数结果会根据簇的键分发到键值分区中进行保存；否则跳过此步骤；(2)：将步骤S1得到的风电机组批流数据center创建成迭代流，将迭代流和输入的样本点进行合并，并广播到随机分区中使用状态保存，并计算样本点分配到对应最近的风电机组簇中心；(3)：对样本点归属簇进行分区，然后将步骤(1)的计数列表中对应簇的统计结果保存在分区状态列表中，分区状态列表是一个大小为数据维度M的哈希表，哈希表中的键是对应维度i出现过的离散属性值，值是键出现的次数；(4)：根据每个窗口的样本点数据集N和给定衰减参数，通过分区状态列表计数衰减和当前簇中新数据的计数，根据众数重新计算产生簇中心；(5)：将更新后的簇中心返回到迭代流中更新步骤(2)中的已处理的风电机组数据center状态。7.根据权利要求6所述的基于批流统一数据聚类的风电机组异常检测方法，其特征...

【专利技术属性】
技术研发人员：郭昆，戴锦坤，陈羽中，陈豪，
申请(专利权)人：福州大学，
类型：发明
国别省市：