用于工业过程海量数据处理和存储的评估方法技术

本发明专利技术公开了一种用于工业过程海量数据处理和存储的评估方法，它包括S1：对工业数据采集系统进行结构化建模；S2：根据模型计算工业数据处理和存储过程的期望性能指标；S3：建立海量数据处理层、传输层和存储层的策略；S4：从数据库中提取与性能指标有关的过程参数；S5：计算实际性能指标；S6：对比期望性能指标和实际性能指标，评估工业过程各项性能。本发明专利技术取得的有益效果是：通过对各项性能的评估，有助于以后提高整个数据采集存储过程的效率和节省存储空间。

An evaluation method for massive data processing and storage in industrial processes

The invention discloses an evaluation method for mass data processing and storage of industrial processes, which comprises S1: structured modeling of industrial data acquisition systems; S2: calculating expected performance indicators of industrial data processing and storage processes based on the models; and S3: strategies for establishing mass data processing layers, transmission layers, and storage layers. S4: Extracting process parameters related to performance indicators from the database; S5: Calculating actual performance indicators; S6: Evaluating industrial process performance by comparing expected performance indicators with actual performance indicators. The invention has the beneficial effect that through the evaluation of various performances, the efficiency of the whole data acquisition and storage process can be improved and the storage space can be saved.

【技术实现步骤摘要】
用于工业过程海量数据处理和存储的评估方法
本专利技术涉及计算机数据采集、传输和存储
，特别是一种用于工业过程海量数据处理和存储的评估方法。
技术介绍
在工业物联网，多种多样的传感器广泛地部署在工业生产环境中，大型工业数据采集系统要求数据采集、处理和存储具有高并发性和高实时性。传统的工业数据采集系统在提取海量数据、处理数据时需要花费比较多的资源和时间，并且数据存储效率比较低，数据采集系统存在数据融合能力、拓展能力、通用能力和灵活性欠缺的问题，这些都降低了整个系统的性能指标，同时增大了系统的运行负载。在未来的工业数据采集系统中，会产生以下的趋势：(1)需要采集的数据量巨大；(2)需要采集的数据种类繁多；(3)将大量数据统筹分析，并将结果反馈于生产。针对现有固定模式的数据采集体系在对数据记录高并发性和数据的海量性采集、处理和存储能力不足，可以通过调整工业过程海量数据在处理、传输和存储过程中各个环节的不同机制来进行优化，使工业海量数据采集系统更为灵活适用。因此，亟需一种基于工业现场的海量数据采集过程的优化执行估算方法。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术的目的就是提供一种用于工业过程海量数据处理和存储的评估方法，通过评估，有助于提高整个数据采集存储过程的效率和节省了存储空间。本专利技术的目的是通过这样的技术方案实现的，一种用于工业过程海量数据处理和存储的评估方法，具体步骤如下：S1：对工业数据采集系统进行结构化建模；S2：根据模型计算工业数据处理和存储过程的期望性能指标；S3：建立海量数据处理层、传输层和存储层的策略；S4：从数据库中提取与性能指标有关的过程参数；S5：计算实际性能指标；S6：对比期望性能指标和实际性能指标，对数据处理和存储机制进行评估。进一步，所述步骤S1的具体步骤如下：S11：定义工业过程数据采集流程中的关键进程；S12：明确工业过程数据采集流程之间的时间和空间关系；S13：分别对数据处理、传输和存储中的各个关键进程进行建模。进一步，所述步骤S2的具体步骤如下：S21：确定影响工业过程数据处理和存储的各项性能指标；S22：通过对关键进程的模型进行优化并提取关键参数，根据关键参数与性能指标之间的数学公式计算期望性能指标，或者直接根据需求定义期望性能指标。进一步，所述步骤S3中建立海量数据处理层的策略具体步骤如下：S31：判断从各个传感器接收到的数据类型，按常见的工业数据结构进行分类后按分布式处理；S32：根据工业现场的数据格式要求，建立原始数据与工业过程参考标准数据的处理规则，设置不同类别数据的标准输出格式；S33：将工业系统中的海量原始数据进行数据正确性测试、数据过滤、数据分类集成、数据格式转换输出。进一步，所述步骤S3中建立海量数据分布式传输层的策略具体步骤如下：S34：判断工业数据的数据信号类型，数字信号分配基带方式传输；模拟信号则分配宽带方式传输；S35：判断工业数据的数据位大小，设定数据位的阈值，数据位若超过阈值则采用并行传输方式；否则采用串行传输方式；S36：判断工业数据的传输方向，数据的流向是单向的则选择单工通信；数据的流向在两个方向上传输则选择全双工通信。进一步，所述步骤S3中建立海量数据分布式存储层的策略具体步骤如下：S37：判断不同类别的工业数据量的大小，数据量大则适当扩展储存空间；否则适当减小储存空间；S38：建立用于存储数据的各个数据库的逻辑结构，设置数据库的存储结构和方法；S39：建立分布式关系型数据库存储不同类别数据。进一步，所述步骤S4包括有：S41：定义挖掘目标，即与工业过程相关的过程参数；S42：对数据库中数据进行筛选，确定关键参数；S43：根据不同类别数据的关联规则、分类预测、聚类分析、时序模式等构建不同的数据挖掘模型；S44：根据关键参数提取出过程参数；S45：建立过程参数的数据库，用于评价工业过程中海量数据采集存储过程。进一步，所述步骤S5中计算实际过程性能指标的具体步骤如下：S51：从步骤S45中的过程参数数据库中提取过程参数；S52：根据过程参数与性能指标之间的数学关系计算实际性能指标。进一步，所述评估方法还包括有步骤7)，根据步骤6)评估的结果调整下一周期的数据处理和存储机制，直到工业数据采集系统各项性能达到要求。进一步，所述步骤S7包括有：S71：设性能指标差＝实际性能指标—期望性能指标；实际性能指标＝J′，期望性能指标＝J，性能指标差＝ΔJ，ΔJ＝J′-J，性能指标差为矢量；S72：根据工业数据处理和存储的各个流程的精度要求设定各项性能指标矢量差ΔJ1、ΔJ2、ΔJ3……ΔJn的阈值；S73：设定工业过程调整周期，计算一个工业调整周期的性能指标差，若某项性能指标差大于阈值，则说明与该性能指标差有关的工业流程实施方法满足条件；S74：若某项性能指标差小于设定值，则调整下一周期与该性能指标差有关的工业流程相关的处理模式和机制；S75：按调整周期重复步骤S3-S7，改进数据处理层、传输层和存储层的策略，直到所有实际性能指标差满足要求。由于采用了上述技术方案，本专利技术具有如下的优点：本专利技术可以提高整个数据采集存储过程的效率，将数据有序的分类、挖掘，并节省了存储空间，优化工业过程中海量数据的采集存储过程，为接下来的数据分析做准备。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。附图说明本专利技术的附图说明如下：图1为本专利技术的流程示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步说明。实施例：如图1所示；一种用于工业过程海量数据处理和存储的评估方法，以风力发电厂运行过程中参数采集过程作为实例，具体实施步骤如下：S1：选取PMSG永磁同步风力发电机设备作为参数采集系统进行建模；步骤S1的具体步骤如下：确定风电设备数据采集过程中的关键进程，即原始数据来自风力发电场的各个设备装置，明确参数采集流程之间的时间和空间关系，可以利用仿真软件对参数采集中的通用传输接口的传输过程，参数的信号调理、数模转换过程和参数存储过程进行仿真建模。S2：根据模型计算工业数据处理和存储过程的期望性能指标；步骤S2的具体步骤如下：确定影响参数数据处理和存储的各项性能指标，通过对上述关键进程的模型进行优化并提取特征数据，构成与性能指标之间的数学计算公式，计算期望性能指标，或者直接根据需求定义期望性能指标。对于该风电设备数据采集系统的性能指标一般包含精度、噪声、分辨率、采样率、非线性化、传输速度、存储容量、存储速度。S3：建立海量数据处理层、传输层和存储层的策略；(a)建立海量数据处理的策略具体步骤如下：S31：判断从各个传感器接收到的数据类型，按常见的工业数据结构进行分类后按分布式处理，将物理上分散而逻辑上相同的海量数据进行集中再实时地统一处理，风电设备采集的数据类型一般包含有风速、角度、开关量、压力、温度、电流、电压和功率等；S32：根据风力发电机组现场的数据格式要求，建立原始数据与工业过程参考标准数据的处理规则，设置不同类别数据的标准输出格式；S33：将采集到的海量原始数本文档来自技高网...

【技术保护点】
1.一种用于工业过程海量数据处理和存储的评估方法，其特征在于，所述方法步骤如下：S1：对工业数据采集系统进行结构化建模；S2：根据模型计算工业数据处理和存储过程的期望性能指标；S3：建立海量数据处理层、传输层和存储层的策略；S4：从数据库中提取与性能指标有关的过程参数；S5：计算实际性能指标；S6：对比期望性能指标和实际性能指标，对数据处理和存储机制进行评估。

【技术特征摘要】
1.一种用于工业过程海量数据处理和存储的评估方法，其特征在于，所述方法步骤如下：S1：对工业数据采集系统进行结构化建模；S2：根据模型计算工业数据处理和存储过程的期望性能指标；S3：建立海量数据处理层、传输层和存储层的策略；S4：从数据库中提取与性能指标有关的过程参数；S5：计算实际性能指标；S6：对比期望性能指标和实际性能指标，对数据处理和存储机制进行评估。2.如权利要求1所述的用于工业过程海量数据处理和存储的评估方法，其特征在于，所述步骤S1的具体步骤如下：S11：定义工业过程数据采集流程中的关键进程；S12：明确工业过程数据采集流程之间的时间和空间关系；S13：分别对数据处理、传输和存储中的各个关键进程进行建模。3.如权利要求1所述的用于工业过程海量数据处理和存储的评估方法，其特征在于，所述步骤S2的具体步骤如下：S21：确定影响工业过程数据处理和存储的各项性能指标；S22：通过对关键进程的模型进行优化并提取关键参数，根据关键参数与性能指标之间的数学公式计算期望性能指标，或者直接根据需求定义期望性能指标。4.如权利要求1所述的用于工业过程海量数据处理和存储的评估方法，其特征在于，所述步骤S3中建立海量数据处理层的策略具体步骤如下：S31：判断从各个传感器接收到的数据类型，按常见的工业数据结构进行分类后按分布式处理；S32：根据工业现场的数据格式要求，建立原始数据与工业过程参考标准数据的处理规则，设置不同类别数据的标准输出格式；S33：将工业系统中的海量原始数据进行数据正确性测试、数据过滤、数据分类集成、数据格式转换输出。5.如权利要求1所述的用于工业过程海量数据处理和存储的评估方法，其特征在于，所述步骤S3中建立海量数据分布式传输层的策略具体步骤如下：S34：判断工业数据的数据信号类型，数字信号分配基带方式传输；模拟信号则分配宽带方式传输；S35：判断工业数据的数据位大小，设定数据位的阈值，数据位若超过阈值则采用并行传输方式；否则采用串行传输方式；S36：判断工业数据的传输方向，数据的流向是单向的则选择单工通信；数据的流向在两个方向上传输则选择全双工通信。6.如权利要求1所述的用于工业过程海量数据...

【专利技术属性】
技术研发人员：陈新碧，
申请(专利权)人：重庆沐信润喆网络科技有限公司，
类型：发明
国别省市：重庆,50