基于动态变化帧的过程数据全息归档和反演方法技术

本发明专利技术公开了一种基于动态变化帧的过程数据全息归档和反演方法，利用该方法对过程数据的变化过程进行全息压缩记录和全息反演，本方法针对过程数据自身的特点，提出了一种以时间为基准的，以聚合多种过程数据的动态变化帧为归档对象的，采用多级压缩处理的归档和检索方法，有效的降低了过程数据的归档空间占用率，提高了归档数据的检索效率，同时以聚合多种过程数据的存储方式为全息反演提供了基础。通过本方法可以有效的提高工业自动化系统中历史数据的实用性和可用性，将多种过程数据的统一处理为全息反演历史过程提供了可能。

【技术实现步骤摘要】

本专利技术属于工业自动化系统实时数据库领域，应用在工业自动化系统实时监控系 统中，该方法应用于实时数据库中的过程数据的全息数据记录和检索，采用一种动态变化 帧记录的方法，对过程数据的变化过程全息记录和全息反演。
技术介绍
在工业自动化监控系统中，实时数据库提供对各种应用领域的数据支持，实时数 据库除了提供工业自动化监控对象的实时数据采集和即时数据外，通常还需要提供海量过 程数据的高效检索功能。过程数据的内容通常包括采集量的变化趋势，报警信息，操作日志信息。在工业自动化监控系统中，传统的历史数据归档方式是将以上数据分别处理，例 如归档库中分为模拟量表、数字量表、报警表、日志表等，各种类型的数据之间关联性差，基 本上是各自独立的部分，不具备关联分析和处理的能力。而且海量数据的存储对计算机硬 件的依赖越来越高。随着监控水平的逐步提高，对过程数据的处理要求也逐步提高，通常表 现在需要对海量的过程数据进行长期的保存，对过程数据的检索效率和检索方式的要求也 逐步提高。这些需求对传统的历史数据归档和检索方法提出了挑战，表现在海量数据的优化 存储、数据检索的高效性、混合数据类型的联合检索等。各种过程数据将不再是互不相关的 割裂的部分，一个监控系统的过程数据将可作为一个或多个整体对象进行归档和检索。根 据工业自动化的过程数据自身的特点，归档的过程需要进行数据压缩后持久化保存，在进 行数据检索时，除了传统的趋势曲线、报警、日志的检索外，还需要多种数据类型的联合检 索，进而提供过程数据的全息反演功能。
技术实现思路
为解决现有技术存在的上述问题，本专利技术针对过程数据自身的特点，提出了一种 。工业自动化控制领域的过程数据具有如下特点1、所有过程数据，包括模拟量、数字量、报警、操作日志都具备时间相关的特性；2、模拟量的数据变化具有一定的变化规律，实时数据中只有一小部分采集点的值 经常发生改变，很多采集点的数值都具有变化慢的特征，通常允许数据在一定范围内的精 度损失；3、数字量的数据变化有突发性的特点，但是变化不频繁；4、报警和操作日志有突发性的特点；本专利技术针对过程数据的如上特点，提出了以时间为基准的，以过程数据的动态变 化帧为归档对象的，对模拟量进行有损数据压缩，对数字量、报警、操作日志进行帧间压缩 的全息数据归档和反演方法，简称CyberZip方法。本专利技术具体采用以下技术方案一种，该方法以聚合多种过程数 据的动态变化帧为归档对象，采用多级压缩方式处理归档数据和检索数据，其特征在于，所 述方法包括以下步骤(1)采集监控系统的过程数据，并存储在实时数据库中，所述过程数据包括模拟 量、数字量、报警信息和操作日志；(2)建立所述过程数据的过程数据集，包括模拟量数据集合、数字量数据集合、报 警集合和操作日志集合，全部过程数据集形成数据帧；(3)将过程数据中的模拟量和数字量进行一级压缩处理，即在满足精度要求的情 况下进行有损压缩处理；(4)对需要归档的过程数据，包括经过一级压缩后保留下来的模拟量数据、数字量 数据，报警信息、操作日志信息进行归一化处理，即所述过程数据集按照最小存储结构原则 组织过程数据，建立过程数据集的索引，形成归档数据帧，归档数据帧仅保留与上一数据帧 之间的差异数据，称为动态变化帧；(5)将归档数据帧中的各过程数据集的数据区进行二级压缩、无损字节压缩，并根 据压缩后的结构重新建立各个集合的数据区索引信息，之后将归档数据帧以二进制字节流 顺序保存到存储介质；(6)经过步骤C3)进行的有损压缩数据，在任意时刻可以通过线性补点得到满足 精度误差要求的值，理论上可以得到任意时刻的过程数据，所以称作全息归档方法。对于应 用模块的数据请求，本方法可以得到任意时刻的过程数据点，并将该近似值返回给应用模 块，称为全息反演。本专利技术方法利用过程数据自身的特点，采用有损压缩算法对过程数据进行归档预 处理，称之为一级压缩，即将过程数据中“不重要”的信息过滤，保留过程数据中的“关键”信 息，一级压缩中采用了死区压缩和趋势压缩两种处理过程，这两个过程都是有损压缩过程， 即在此压缩过程中会有一部分数据的精度损失，但是考虑到工业自动化监控系统从传感器 到实时数据库本身就存在的采集精度误差，一定程度的精度损失是天生不可避免的，所以 在归档预处理过程中的有损压缩也是可以接受的。死区压缩是针对数据采集系统天生的精度误差和监控对象自身的精度要求而提 出来的，通过对采集点的实际采集精度进行设置，只有当两次采集的数据偏差超过死区的 设定值之后才能通过死区压缩处理，进入到下一级处理流程，否则该采集数据将认为是精 度无法识别的或没有必要识别的而被抛弃。趋势压缩是根据过程数据的阶段性趋势进行压缩，并只记录满足趋势条件的起点 和终点。CyberZip中的趋势压缩算法采用的是动态趋势误差的旋转门算法，该算法计算量 较小，而且可以连续处理变化趋势，对于较规则的过程数据效果很好。一级压缩处理对模拟量和数字量都有效，数字量可以看做是一类特殊的模拟量， 其采集值只有0或1，对数字量的死区压缩始终是无效的，趋势压缩始终是有效的。归档预处理还包括对报警信息和日志信息的预处理，对于同一采集点的报警或操 作日志进行归档分类，分为报警子列表集和日志子列表集，每一个报警子列表或日志子列 表中包含某一个采集点相关的报警内容或日志内容，该子列表是按照最小化存储格式组织的，即仅保留不同报警或日志记录中不同的内容，相同的内容将作为子列表索引保存起来。每经过一定间隔时间，经过归档预处理的过程数据就积累为一个数据集，在 CyberZip中称之为数据帧，数据帧由模拟量集合、数字量集合、报警集合、日志集合构成，数 据帧包含若干属性，包括帧的起始时间、帧的最终时间、帧的前帧索引、帧的后帧索引、每 个集合中的数据索引信息等。数据帧是CyberZip中需要持久化处理保存的对象，在序列化 时，采用了分块压缩的机制，即二级压缩，在这种机制中，帧头信息和数据集合的索引不压 缩，这样保证了在检索时的高效定位，对于每个数据集中的子集数据，采用了无损压缩算法 对字节流进行压缩，这样保证了子集数据的最小化，同时，因为常用的检索需求通常是按采 集点查询，在通过数据集索引定位到具体的点后，再进行解压缩的内容通常较小，其执行效 率也很高。二级压缩是一种可选压缩，针对过程数据量的大小和检索效率要求，也可以不选 用二级压缩。数据帧中包含的是相对于前一帧之后的变化子集，在CyberZip中称之为动态变 化帧，因为每一个数据帧中保存的变化子集可能差异很大，尤其是模拟量集合和数字量集 合，动态变化帧的意义还在于其中保存了不同的采集点集合，根据过程数据的变化特点，有 的采集点会频繁变化，而有的采集点变化很慢，所以这种数据帧，并不能理解为是实时数据 库的定期快照，而是动态变化的。压缩后的数据帧将持久保存到存储设备，根据系统的规模和归档服务器的性能不 同，数据帧之间的间隔可以调整，如1天，或1小时，甚至几分钟，原则上是系统规模越小，间 隔越长，服务器性能越好，间隔越长。CyberZip的数据检索分为单点检索和全息检索方式。模拟量单点检索即根据检索时间区间，从归档的数据帧中，将检索的数据返回，通 常有两种方式，方式1为仅返回归档点，适用于曲线和本文档来自技高网...

【技术保护点】
一种基于动态变化帧的过程数据全息归档和反演方法，其特征在于，所述方法包括以下步骤：（１）采集监控系统的过程数据，并存储在实时数据库中，所述过程数据包括模拟量、数字量、报警信息和操作日志；（２）建立所述过程数据的过程数据集，包括模拟量数据集合、数字量数据集合、报警集合和操作日志集合，全部过程数据集形成数据帧；（３）将过程数据中的模拟量和数字量进行一级压缩处理，即在满足精度要求的情况下进行有损压缩处理；（４）对需要归档的过程数据，包括经过一级压缩后保留下来的模拟量数据、数字量数据，报警信息、操作日志信息进行归一化处理，即所述过程数据集按照最小存储结构原则组织过程数据，建立过程数据集的索引，形成归档数据帧，归档数据帧仅保留与上一数据帧之间的差异数据，称为动态变化帧；（５）将归档数据帧中的各过程数据集的数据区进行二级压缩、即无损字节压缩，并根据压缩后的结构重新建立各个集合的数据区索引信息，之后将归档数据帧以二进制字节流顺序保存到存储介质；（６）经过步骤（３）进行的有损压缩数据，在任意时刻可以通过线性补点得到满足精度误差要求的值，能够得到任意时刻的过程数据，对于应用模块的数据请求，通过线性补点得到任意时刻的过程数据近似值，并将该近似值返回给应用模块。...

【技术特征摘要】

【专利技术属性】
技术研发人员：徐延明，刘刚，黄磊，
申请(专利权)人：北京四方继保自动化股份有限公司，
类型：发明
国别省市：11[]