基于聚类及半监督学习的监控指标动态阈值检测方法技术

本发明专利技术公开了一种基于聚类及半监督学习的监控指标动态阈值检测方法，该方法包括如下步骤：1)获取多个历史曲线，对各历史曲线的形状进行聚类得到多个不同的聚类簇，确定各聚类簇的中心曲线，根据所述中心曲线各时间点对应的幅值设定阈值，从而获得随时间变化的浮动阈值；2)在线获取新曲线，根据所述新曲线的形状确定其所属的聚类簇，结合所述新曲线的幅值数据及其所属聚类簇的幅值数据训练半监督模型，得到对应于所属聚类簇的新聚类簇，更新该新聚类簇的动态阈值；3)根据所述新聚类簇的动态阈值判断所述新曲线是否存在异常。该方法既能有效降低误报率，又可以避免漏报。

【技术实现步骤摘要】
基于聚类及半监督学习的监控指标动态阈值检测方法
本专利技术涉及阈值检测
，具体地说，是涉及基于聚类及半监督学习的分拣机电控PLC监控指标动态阈值检测方法。
技术介绍
成品件烟扫码分拣回流故障是卷烟厂物流调度生产线上的一个常见故障，是生产PLC传输机制方面的原因导致，目前卷烟大部分的PLC工控设备的监控不足，无法获取足够的分析数据，且由于生产环境因素复杂，造成该故障的具体原因也不同，比如防火墙的性能瓶颈、数据库集群心跳超时、存储磁盘IO延时等等。该故障在产生时，都会出现成品件烟的扫码分拣回流现象，大量成品烟支跳出生产流水线，造成经济损失。卷烟厂物流分拣机电控PLC的监控系统的报警原理是基于某个指标触发所设定的阈值后，向相关人员发送消息提醒。目前的做法是根据固定阈值进行监控，这个阈值是根据经验设定的，优点是简单、直接、操作性强；其缺点是经验值不够精准，当阈值设置过小时，会增加无效报警次数，导致误报率增加；当阈值设置过大时，又会导致漏报，影响生产。由于该监控系统产生的大部分指标数据均为时序数据，数据指标的波动呈周期性变化，通过经验或者人工很难设定一个精准的、合适的阈值。在部分场景下，由于生产操作的关系新的KPI曲线会频繁并且大量的出现，如果不能及时的为新的曲线提供高精度的检测模型，运维人员就会“疲于奔命”，服务的稳定性也无法得到保证。由于电控PLC运行涵盖的生产环节非常多，并且相关的网络指标也非常多，任何一个指标出现故障或异常抖动都有可能影响到其可用性，人工设定阈值和规则难以有效应对复杂多样的异常。<br>基于此，如何精确设置报警阈值，在尽可能降低误报率的前提下又避免漏报，是当前本领域的技术难点。
技术实现思路
为了解决上述技术问题，本专利技术的目的在于提供一种基于聚类及半监督学习的分拣机电控PLC监控指标动态阈值检测方法，该方法既能有效降低误报率，又可以避免漏报。基于上述目的，本专利技术提供一种基于聚类及半监督学习的监控指标动态阈值检测方法，该方法包括如下步骤：1)获取多个历史曲线，对各历史曲线的形状进行聚类得到多个不同的聚类簇，确定各聚类簇的中心曲线，根据所述中心曲线各时间点对应的幅值设定阈值，从而获得随时间变化的浮动阈值；2)在线获取新曲线，根据所述新曲线的形状确定其所属的聚类簇，结合所述新曲线的幅值数据及其所属聚类簇的幅值数据训练半监督模型，得到对应于所属聚类簇的新聚类簇，更新该新聚类簇的动态阈值；3)根据所述新聚类簇的动态阈值判断所述新曲线是否存在异常。作为优选，步骤1)中，获取历史曲线的具体方法为：获取前一时间段内的时序数据，对所述时序数据进行标准化处理，获得相应时序数据的基线，将该基线作为历史曲线。作为优选，对所述时序数据进行标准化处理包括：消除振幅差异、提取标识曲线形状的极限值，去除噪声及异常点。作为优选，所述前一时间段为前一天、前一周或前一个月。作为优选，步骤1)中，对历史曲线的形状进行聚类得到多个不同的聚类簇的具体方法为：对所述历史曲线进行相似性判断，根据相似性判断结果对历史曲线进行分类，获得不同的聚类簇。作为优选，采用ROCKA算法对历史曲线进行相似性判断，具体地：根据基于形状的SBD距离作为相似性度量，当两条曲线之间的SBD距离在预设范围内时，判定这两条曲线属于同一形状类型的聚类簇。作为优选，SBD距离的预设范围为[0，2]。作为优选，采用基于密度的聚类算法DBSCAN对所有历史曲线进行聚类获得聚类簇，具体地，根据相似性度量在历史曲线的稠密区域中确定中心曲线，从而形成聚类簇。作为优选，根据历史曲线形成聚类簇的具体方法为：以所述中心曲线为中心，设定参数半径，根据K近邻算法确定在距离中心曲线参数半径范围内的曲线，将参数半径范围内的所有曲线连同中心曲线汇聚到一起形成聚类簇。作为优选，采用CPLE算法对所述新曲线的幅值数据及其所属类型聚类簇的幅值数据进行半监督模型的训练。与现有技术相比，本专利技术的有益效果为：该方法可根据历史曲线生成动态阈值，并随着新曲线的采集，实时更新得到动态的浮动阈值(本专利技术称之为动态阈值)，这样，根据时序变化的动态阈值对分拣机PLC监控指标进行监控，既能有效降低误报率，又可以避免漏报。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的限定。图1是本专利技术实施例中所述的基于聚类及半监督学习的分拣机电控PLC监控指标动态阈值检测方法的总体流程图；图2是本专利技术实施例的聚类原理示意图；图3是采用本专利技术实施例中所述的基于聚类及半监督学习的分拣机电控PLC监控指标动态阈值检测方法进行新曲线监控的方法流程图；图4是本专利技术实施例中的ROCKA算法框架；图5是本专利技术实施例中的CPLE算法架构；图6是根据本专利技术所述方法所采集的分拣机电控PLC的比特率的数据；图7是根据本专利技术所述方法所采集的分拣机电控PLC的每秒数据包数量的数据。具体实施方式应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、部件和/或它们的组合。分拣机电控PLC监控数据具有结构复杂、数据速度需求多样化、数据价值不均匀等特征。同时具有多源性获取、蕴含信息复杂、关联性强，持续采集，动态时空特性，采集、存储、处理实时性要求高、与具体生产过程密切相关等特点。下面结合附图与实施例对本专利技术作进一步说明：如图1-图3所示，本实施例提供一种基于聚类及半监督学习的监控指标动态阈值检测方法，该方法包括如下步骤：1)获取多个历史曲线，对各历史曲线的形状进行聚类得到多个不同的聚类簇，确定各聚类簇的中心曲线，根据所述中心曲线各时间点对应的幅值设定阈值，从而获得随时间变化的浮动阈值；2)在线获取新曲线，根据所述新曲线的形状确定其所属的聚类簇，结合所述新曲线的幅值数据及其所属聚类簇的幅值数据训练半监督模型，得到对应于所属聚类簇的新聚类簇，更新该新聚类簇的动态阈值；3)根据所述新聚类簇的动态阈值判断所述新曲线是否存在异常。一般情况下，将浮动阈值设定在中心曲线各时间点对应幅值的±10％，当然，这个百分比可以根据业务进行调整。需要说明：在实际操作中，一方面，异常指标在某些属性上总是偏离绝大多数正常行为的；另一方面，真实的网络故障是罕见的，只占很小的比例，在对正常行为建模时，历史数据中包含的极少量异常样本对模型的影响微乎其微。在实验本文档来自技高网...

【技术保护点】
1.一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，包括如下步骤：/n1)获取多个历史曲线，对各历史曲线的形状进行聚类得到多个不同的聚类簇，确定各聚类簇的中心曲线，根据所述中心曲线各时间点对应的幅值设定阈值，从而获得随时间变化的浮动阈值；/n2)在线获取新曲线，根据所述新曲线的形状确定其所属的聚类簇，结合所述新曲线的幅值数据及其所属聚类簇的幅值数据训练半监督模型，得到对应于所属聚类簇的新聚类簇，更新该新聚类簇的动态阈值；/n3)根据所述新聚类簇的动态阈值判断所述新曲线是否存在异常。/n

【技术特征摘要】
1.一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，包括如下步骤：
1)获取多个历史曲线，对各历史曲线的形状进行聚类得到多个不同的聚类簇，确定各聚类簇的中心曲线，根据所述中心曲线各时间点对应的幅值设定阈值，从而获得随时间变化的浮动阈值；
2)在线获取新曲线，根据所述新曲线的形状确定其所属的聚类簇，结合所述新曲线的幅值数据及其所属聚类簇的幅值数据训练半监督模型，得到对应于所属聚类簇的新聚类簇，更新该新聚类簇的动态阈值；
3)根据所述新聚类簇的动态阈值判断所述新曲线是否存在异常。


2.根据权利要求1所述的一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，步骤1)中，获取历史曲线的具体方法为：获取前一时间段内的时序数据，对所述时序数据进行标准化处理，获得相应时序数据的基线，将该基线作为历史曲线。


3.根据权利要求2所述的一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，对所述时序数据进行标准化处理包括：消除振幅差异、提取标识曲线形状的极限值，去除噪声及异常点。


4.根据权利要求2所述的一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，所述前一时间段为前一天、前一周或前一个月。


5.根据权利要求1所述的一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，步骤1)中，对历史曲线的形状进行聚类得到多个不同的聚类簇...

【专利技术属性】
技术研发人员：潘佰林，王毓敏，金振训，邱建雄，
申请(专利权)人：浙江中烟工业有限责任公司，
类型：发明
国别省市：浙江;33