一种基于流处理的车间现场数据实时监测与异常检测方法技术

本发明专利技术涉及车间现场数据监测技术领域，具体涉及一种基于流处理的车间现场数据实时监测与异常检测方法，包括以下步骤：首先由车间生产运行数据采集设备采集数据并生成数据流，然后通过Kafka分布式消息队列进行数据缓存，传递至下一级Bolt单独进行数据预处理，再进行基于滑动时间窗的运行数据统计和异常检测，然后根据判断出的异常状态下所对应的数据，与数据库中对应的异常状态数据进行识别比对；本发明专利技术通过对数据流进行数据预处理，排除了生产现场运行数据的空值，离群值等明显错误，设计了一种基于滑动时间窗的运行数据统计与异常检测技术，既保证运行数据处理的时效性，也在一定程度上保证了相连数据的关联性。

【技术实现步骤摘要】
一种基于流处理的车间现场数据实时监测与异常检测方法
本专利技术涉及车间现场数据监测
，具体涉及一种基于流处理的车间现场数据实时监测与异常检测方法。
技术介绍
工业制造业随着中国经济发展快速崛起，其制造能力的发展直接影响国家经济发展和社会进步。由于生产车间现场环境的复杂性和产品信息的多样性，导致了企业对资源配置的不合理，造成材料浪费和经济损失。近年来，随着传感检测技术的发展和物联网设备的普及，车间生产现场运行数据呈现“指数级”的上升，对于车间现场来讲，导致监测系统实时性低，可扩展性不高，容易出现延时甚至奔溃，数据总量和价值随时间的推移迅速增加和流失，挖掘其价值超出了传统数据处理的计算能力，无法满足对车间生产的实时监测管理需求，给现有基于生产车间现场运行数据的异常状态监测系统带来海量运行数据流实时处理、海量数据存储、数据实时可视化分析等挑战。基于此，本专利技术设计了一种基于流处理的车间现场数据实时监测与异常检测方法，以解决上述问题。
技术实现思路
本专利技术的目的在于提供一种基于流处理的车间现场数据实时监测与异常检测方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于,包括以下步骤：S1：由车间生产运行数据采集设备采集数据并生成数据流；S2：通过在分布式服务器管理系统Zookeeper上分别注册Kafka和Storm的节点，并对Kafka和Storm的服务器节点统一管理；S3：通过Kafka分布式消息队列进行数据缓存，将部署Storm的实时大数据计算平台作为Kafka的数据消费端，采用Kafka与Storm的集成KafkaSpout作为消息队列和大数据平台衔接的数据源，并以数据载体的形式传递至下一级Bolt进行分析处理；S4：当数据源Kafkaspout接收到运行数据后，首先通过数据拆分Bolt，获取不同运行数据在不同采集通道上的数据；S5：单独在Bolt中进行数据预处理；S6：再进行基于滑动时间窗的运行数据统计和异常检测，将滑动窗口设置为0.5min，基本时间窗口为5s，在每个基本时间窗口下都进行独立的计算任务，此时计算任务将以5s的滑动窗口在0.5分钟内进行滑动，最后再合并基本时间窗口，统计整个计算窗口的计算结果；S7：在Spout和Bolt完成后，在Storm的Topology设定各个组件的数据流向和分组方式；S8：在Storm实时处理框架中通过实时流聚类的算法实现车间生产现场状态的在线判断，根据判断出的异常状态下所对应的数据，与数据库中对应的异常状态数据进行识别比对，再输出异常记录，并保存到数据库中。优选的，步骤S5中的数据预处理的步骤包括数据清洗、数据格式化和判断数据是否需要存储。优选的，步骤S6中运行数据统计是指统计运行数据的最大值、最小值、平均值、出现的频次、能量利用率这些指标，异常检测主要包括实时临界检测和基于滑动时间窗的异常监测。优选的，步骤S6中基于滑动时间窗的运行数据统计和异常检测的具体步骤和单元包括：步骤一：滑动窗口处理单元：首先设置滑动窗口所需的发送数据的时间和参数，参数主要包括单元窗口长度和滑动窗口长度；步骤二：字段拆分处理单元：将接收的运行数据按照监测信号的种类进行拆分，将同一类的运行数据下发至下一级数据处理单元；步骤三：数据统计处理单元：在单元时间窗口内实现数据的最值、平均值这些数据指标的计算，并将计算结果发给下一级数据处理单元进行整个时间窗口的数据聚合；步骤四：频数计算处理单元：主要为实现需要进行频数统计的运行数据服务；步骤五：阈值判断处理单元：根据各个监测数据的类型，结合数据特点以及相关研究，制定阈值判断的策略；步骤六：汇总计算处理单元：在此处理单元上合并统计所有基本时间窗口的数据，使用全局汇总的数据聚合方式，即将所有的数据都发送到同一个处理单元进行最终的的计算。优选的，数据清洗的具体方式为：首先检查数据是否合格，如果合格，继续进行后续数据处理，如果数据不合格，则执行数据清理和过滤操作，从监测数据中删除具有空值、离群值和明显错误信息的数据。优选的，数据格式化包括数据标定和删除冗余值，具体方式为：对数据进行校准和格式化，将模拟值转换为真实值，同时删除传感器和采集系统存储的数据中的冗余信息，如数据标题、标头和其它字段。优选的，判断数据是否需要存储的判断依据是数据是否需要先进行处理后再存储在数据库。与现有技术相比，本专利技术的有益效果是：本专利技术通过对数据流进行数据预处理，排除了生产现场运行数据的空值，离群值，冗余数据和格式错误等明显错误；设计了一种基于滑动时间窗的运行数据统计与异常检测技术，既保证运行数据处理的时效性，也在一定程度上保证了相连数据的关联性，充分、实时、准确地获得生产车间现场过程中的状态信息，实现对生产过程数据有效控制、分析和管理，实时进行生产防错。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术车间现场运行数据流处理流程图；图2为本专利技术数据预处理流程图；图3为本专利技术基于滑动时间窗的数据统计与检测示意图；图4为本专利技术基于滑动时间窗的数据统计与检测的实现流程图；图5为本专利技术生产数据的状态监测平台软件系统的业务流程图；图6为本专利技术案例的型号及检测指标示意图；图7为本专利技术前端电芯开路电压测试页面图；图8为本专利技术车间生产工序检测记录界面图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。请参阅图1-5，本专利技术提供一种技术方案：一种基于流处理的车间现场数据实时监测与异常检测方法，包括以下步骤：S1：由车间生产运行数据采集设备采集数据并生成数据流；S2：用户根据账号的权限拥有不同的操作权限，验证身份成功后，登录系统，系统进行初始化，通过在分布式服务器管理系统Zookeeper上分别注册Kafka和Storm的节点，并对Kafka和Storm的服务器节点统一管理；S3：通过Kafka分布式消息队列进行数据缓存，将部署Storm的实时大数据计算平台作为Kafka的数据消费端，采用Kafka与Storm的集成KafkaSpout作为消息队列和大数据平台衔接的数据源，并以数据载体的形式传递至下一级Bolt进行分析处理；S4：当数据源Kafkaspout接收到运行数据后，首先通本文档来自技高网...

【技术保护点】
1.一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于,包括以下步骤：/nS1：由车间生产运行数据采集设备采集数据并生成数据流；/nS2：通过在分布式服务器管理系统Zookeeper上分别注册Kafka和Storm的节点，并对Kafka和Storm的服务器节点统一管理；/nS3：通过Kafka分布式消息队列进行数据缓存，将部署Storm的实时大数据计算平台作为Kafka的数据消费端，采用Kafka与Storm的集成KafkaSpout作为消息队列和大数据平台衔接的数据源，并以数据载体的形式传递至下一级Bolt进行分析处理；/nS4：当数据源Kafkaspout接收到运行数据后，首先通过数据拆分Bolt，获取不同运行数据在不同采集通道上的数据；/nS5：单独在Bolt中进行数据预处理；/nS6：再进行基于滑动时间窗的运行数据统计和异常检测，将滑动窗口设置为0.5min，基本时间窗口为5s，在每个基本时间窗口下都进行独立的计算任务，此时计算任务将以5s的滑动窗口在0.5分钟内进行滑动，最后再合并基本时间窗口，统计整个计算窗口的计算结果；/nS7：在Spout和Bolt完成后，在Storm的Topology设定各个组件的数据流向和分组方式；/nS8：在Storm实时处理框架中通过实时流聚类的算法实现车间生产现场状态的在线判断，根据判断出的异常状态下所对应的数据，与数据库中对应的异常状态数据进行识别比对，再输出异常记录，并保存到数据库中。/n...

【技术特征摘要】
1.一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于,包括以下步骤：
S1：由车间生产运行数据采集设备采集数据并生成数据流；
S2：通过在分布式服务器管理系统Zookeeper上分别注册Kafka和Storm的节点，并对Kafka和Storm的服务器节点统一管理；
S3：通过Kafka分布式消息队列进行数据缓存，将部署Storm的实时大数据计算平台作为Kafka的数据消费端，采用Kafka与Storm的集成KafkaSpout作为消息队列和大数据平台衔接的数据源，并以数据载体的形式传递至下一级Bolt进行分析处理；
S4：当数据源Kafkaspout接收到运行数据后，首先通过数据拆分Bolt，获取不同运行数据在不同采集通道上的数据；
S5：单独在Bolt中进行数据预处理；
S6：再进行基于滑动时间窗的运行数据统计和异常检测，将滑动窗口设置为0.5min，基本时间窗口为5s，在每个基本时间窗口下都进行独立的计算任务，此时计算任务将以5s的滑动窗口在0.5分钟内进行滑动，最后再合并基本时间窗口，统计整个计算窗口的计算结果；
S7：在Spout和Bolt完成后，在Storm的Topology设定各个组件的数据流向和分组方式；
S8：在Storm实时处理框架中通过实时流聚类的算法实现车间生产现场状态的在线判断，根据判断出的异常状态下所对应的数据，与数据库中对应的异常状态数据进行识别比对，再输出异常记录，并保存到数据库中。


2.根据权利要求1所述的一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于：步骤S5中的所述数据预处理的步骤包括数据清洗、数据格式化和判断数据是否需要存储。


3.根据权利要求1所述的一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于：步骤S6中所述运行数据统计是指统计运行数据的最大值、最小值、平均值、出现的频次、能量利用率这些指标，所述异常检测主要包括实...

【专利技术属性】
技术研发人员：刘雪晖，钱庭荣，
申请(专利权)人：江苏安控鼎睿智能科技有限公司，
类型：发明
国别省市：江苏;32