一种工业监控平台海量数据处理系统及方法技术方案

一种工业监控平台海量数据处理系统及方法；所述工业监控平台海量数据处理方法，包括以下步骤：步骤S1、采集并读取原始数据；步骤S2、根据预设筛选方法对原始数据进行筛选，从而得到筛选后保存数据；预设筛选方法采用单阈值筛选方法或累计阈值筛选方法、或单阈值和累计阈值组合筛选方法；步骤S3、根据筛选后保存数据绘制趋势图。本发明专利技术的工业监控平台海量数据处理系统及方法设计巧妙，实用性强。

A Massive Data Processing System and Method for Industrial Monitoring Platform

A mass data processing system and method for industrial monitoring platform is described. The mass data processing method for the industrial monitoring platform includes the following steps: _, acquisition and reading of the original data; 2, screening the original data according to the preset screening method, so as to obtain and save the data after screening; the preset screening method adopts the single threshold screening method or the cumulative threshold screening method; Or a combination of single and cumulative thresholds for screening; _. Drawing trend maps based on the data saved after screening. The massive data processing system and method of the industrial monitoring platform of the invention are ingeniously designed and highly practical.

【技术实现步骤摘要】
一种工业监控平台海量数据处理系统及方法
本专利技术涉及数据统计分析领域，尤其涉及一种工业监控平台海量数据处理系统及方法。
技术介绍
随着云计算技术的快速普及以及物联网、移动互联网应用程序的大规模爆发，人类已经全面进入到“大数据”时代，各个行业和领域都在致力于研究如何利用大数据分析来优化流程，监测发展趋势，从而更好地做出决策。借助于云计算的处理与应用模式，通过数据相关分析法，可以实现智慧预测和价值服务。大数据已经成为各行业的重要资产，数据分析能力正在成为核心竞争力。作为人类史上设计最为复杂的能源系统之一，核电技术也紧随时代脚步，抓住“大数据”时代所带来的巨大机遇，将大数据分析应用到核电站的日常维护保养以及延寿服务当中已成为一种趋势。因核能工业的特殊性，对设备、结构提出了高可靠性、长寿命的要求。为此，各核电厂纷纷采取各种有效手段来进行关键设备可靠性分析和监督，配置相应的监测系统，例如，疲劳监测系统、松脱部件和振动监测系统、泄漏监测系统等。而无论采取何种方式，都离不开数据分析。尤其在故障诊断和寿命监测方面，需要将大量数据绘出能反应系统设备运行过程中状态变化的连续曲线，提取特征数据进行分析计算，找出异常数据发生时间。针对不同监控要求，通常绘制曲线有两种方式：实时曲线和历史曲线。实时曲线通常需要查看的时间段较短，数据量也较小，可以采取一次读入所有数据，逐点绘制的方式。历史曲线查看主要用于状态监控与趋势分析预判，通常需要几个月甚至整个燃料循环周期的数据。按照每秒一个监测数据，一年的数据量为千万级别。如此庞大的数据一次性查询绘制，不仅需要较长的时间，而且速度慢，占用较多的系统资源，对系统的硬件配置也有要求。对于4GB内存、3.6GHzIntelCorei7CPU的工作电脑也很难满足绘图要求，经常报出内存错误的提示。一般的解决思路是提高电脑配置、数据分段显示、对数据进行压缩处理。使用较多的是对数据进行压缩处理，但是不同的行业不同类型的数据都有各自的特点，很难用一种通用的筛选方法去统一处理。无论是均匀取点还是非均匀取点，聚类分析还是分段获取极值，针对特定行业的数据难免会出现一些特征值的缺失，无法根据数据特点进行分析。如图1所示，图1示出了一种现有数据量趋势曲线绘制方法的示意图。该绘制方法包括：步骤S1、确定取样间隔，将时间段等分，对时间段的采样值进行预处理以删除一些值；步骤S2、在时间段中选取三个质心K1、K2和K3，对保留下的值进行聚类，将每个值归类到离它最近的那个质点所代表的聚类中，进行数据聚类；步骤S3、将K2和K3的聚类中的第一个值及最后一个值取作特征值；步骤S4、通过预设的阈值对K2和K3聚类中剩余值进行筛选，得到特征值；步骤S5、计算K2和K3聚类中保留的特征值及总数；步骤S6、利用贝塞尔曲线逼近算法，绘制曲线。图1所示的数据量趋势曲线绘制方法具有以下缺点：1)由于对一段时间内数据值不发生变化的值在预处理阶段就删除，这样，如果数据值持续不变的时间越长，其对曲线的走势影响越大，如图1，R为原始曲线，B为不考虑恒定值的趋势线，图1中圈出的特征点为数据值持续不变的特征点；2)质心K1的聚类点不作为特征值，容易丢失一些特征值，如图2，其中，R为原始曲线，B为不考虑K1聚类点的趋势线，图2中圈出的特征点为丢失的特征点。此外，现有技术中还存在一种数据量趋势曲线绘制方法，其包括以下步骤：步骤S1、根据显示区域的宽度将生产过程的时间跨度划分成多个连续的时间单元；步骤S2、获取并遍历生产过程中的所有数据值，根据每个数据值对应的时间点将数据值归属到对应的时间单元；步骤S3、比较每个时间单元内的数据值，以确定每个时间单元内的数据值的极大值和极小值以及所述极大值和极小值对应时间点的先后顺序；步骤S4、根据每个时间单元内的数据值的极大值和极小值以及所述极大值和极小值对应时间点的先后顺序，将所述极大值和极小值绘制在所述显示区域的直角坐标系内，以形成趋势点；步骤S5、用曲线将所有时间单元内的趋势点按照时间先后顺序连接形成趋势图。然而，这种数据量趋势曲线绘制方法也存在缺陷：由于其简单地进行时间分段取极值，当数据量较大时，比如需要显示几个月甚至更长时间数据时，筛选出来的极值点较多，影响绘图速度，同时，绘制的曲线会丢失局部的特征值，该特征值即不是极大值，也不是极小值，但是会影响到曲线的走势，是不可以忽略的。
技术实现思路
本专利技术针对上述技术问题，提出了一种工业监控平台海量数据处理系统及方法。本专利技术所提出的技术方案是：本专利技术提出了一种工业监控平台海量数据处理方法，包括以下步骤：步骤S1、采集并读取原始数据；步骤S2、根据预设筛选方法对原始数据进行筛选，从而得到筛选后保存数据；预设筛选方法采用单阈值筛选方法或累计阈值筛选方法、或单阈值和累计阈值组合筛选方法；在这里，单阈值筛选方法为：根据|Dnow-Dlast|与th_value的比较结果，筛除或保存Dnow；其中，Dnow表示在采用单阈值筛选方法时的待筛选原始数据；Dlast表示与待筛选原始数据Dnow最邻近的前一筛选后保存数据；th_value表示预设单阈值；累计阈值筛选方法为：根据与accu_th的比较结果，筛除或保存Dn；其中，Dn表示在采用累计阈值筛选方法时的待筛选原始数据；D1表示与待筛选原始数据Dn最邻近的前一筛选后保存数据；n表示从D1起到Dn为止的采用累计阈值筛选方法的筛选次数；accu_th表示预设累计阈值；单阈值和累计阈值组合筛选方法为采用单阈值筛选方法和累计阈值筛选方法一起进行筛选的方法；步骤S3、根据筛选后保存数据绘制趋势图。本专利技术上述的工业监控平台海量数据处理方法中，单阈值和累计阈值组合筛选方法为：若|Dnow-Dlast|＜th_value，则保存Dnow；若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且则保存Dnow；若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且则筛除Dnow。本专利技术上述的工业监控平台海量数据处理方法中，在步骤S1中，原始数据被一次性或分块保存到Numpy数组中。本专利技术上述的工业监控平台海量数据处理方法中，步骤S2利用send函数将原始数据逐个发送到生成器函数中运用预设筛选方法进行数据筛选，直到所有数据遍历完毕。本专利技术还提出了一种工业监控平台海量数据处理系统，包括：原始数据采集模块，用于采集并读取原始数据；数据发送模块，用于将由原始数据采集模块获得的原始数据发送给处理策略选择模块；处理策略选择模块，用于确定预设筛选方法；预设筛选方法采用单阈值筛选方法或累计阈值筛选方法、或单阈值和累计阈值组合筛选方法；在这里，单阈值筛选方法为：根据|Dnow-Dlast|与th_value的比较结果，筛除或保存Dnow；其中，Dnow表示在采用单阈值筛选方法时的待筛选原始数据；Dlast表示与待筛选原始数据Dnow最邻近的前一筛选后保存数据；th_value表示预设单阈值；累计阈值筛选方法为：根据与accu_th的比较结果，筛除或保存Dn；其中，Dn表示在采用累计阈值筛选方法时的待筛选原始数据；D1表示与待筛选原始数据Dn最邻近的前一筛选后保存数据；n表示从D1起到Dn为止的采用累计阈值筛选方法本文档来自技高网...

【技术保护点】
1.一种工业监控平台海量数据处理方法，其特征在于，包括以下步骤：步骤S1、采集并读取原始数据；步骤S2、根据预设筛选方法对原始数据进行筛选，从而得到筛选后保存数据；预设筛选方法采用单阈值筛选方法或累计阈值筛选方法、或单阈值和累计阈值组合筛选方法；其中，单阈值筛选方法为：根据|Dnow‑Dlast|与th_value的比较结果，筛除或保存Dnow；其中，Dnow表示在采用单阈值筛选方法时的待筛选原始数据；Dlast表示与待筛选原始数据Dnow最邻近的前一筛选后保存数据；th_value表示预设单阈值；累计阈值筛选方法为：根据

【技术特征摘要】
1.一种工业监控平台海量数据处理方法，其特征在于，包括以下步骤：步骤S1、采集并读取原始数据；步骤S2、根据预设筛选方法对原始数据进行筛选，从而得到筛选后保存数据；预设筛选方法采用单阈值筛选方法或累计阈值筛选方法、或单阈值和累计阈值组合筛选方法；其中，单阈值筛选方法为：根据|Dnow-Dlast|与th_value的比较结果，筛除或保存Dnow；其中，Dnow表示在采用单阈值筛选方法时的待筛选原始数据；Dlast表示与待筛选原始数据Dnow最邻近的前一筛选后保存数据；th_value表示预设单阈值；累计阈值筛选方法为：根据与accu_th的比较结果，筛除或保存Dn；其中，Dn表示在采用累计阈值筛选方法时的待筛选原始数据；D1表示与待筛选原始数据Dn最邻近的前一筛选后保存数据；n表示从D1起到Dn为止的采用累计阈值筛选方法的筛选次数；accu_th表示预设累计阈值；单阈值和累计阈值组合筛选方法为采用单阈值筛选方法和累计阈值筛选方法一起进行筛选的方法；步骤S3、根据筛选后保存数据绘制趋势图。2.根据权利要求1所述的工业监控平台海量数据处理方法，其特征在于，单阈值和累计阈值组合筛选方法为：若|Dnow-Dlast|＜th_value，则保存Dnow；若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且则保存Dnow；若|Dnow-Dlast|＞th_value，Dn＝Dnow，D1＝Dlast且则筛除Dnow。3.根据权利要求1所述的工业监控平台海量数据处理方法，其特征在于，在步骤S1中，原始数据被一次性或分块保存到Numpy数组中。4.根据权利要求3所述的工业监控平台海量数据处理方法，其特征在于，步骤S2利用send函数将原始数据逐个发送到生成器函数...

【专利技术属性】
技术研发人员：刘新，洪浩，陈先龙，王云福，涂红兵，杨帆，
申请(专利权)人：深圳中广核工程设计有限公司，中广核工程有限公司，中国广核集团有限公司，中国广核电力股份有限公司，
类型：发明
国别省市：广东,44