工业时序数据的近似查询处理方法、系统、介质及设备技术方案

本发明专利技术涉及一种工业时序数据的近似查询处理方法、系统、介质及设备，其包括：将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；计算所述压缩数据的标准差，根据所述标准差得到压缩精度浮动；根据所述压缩精度浮动调整压缩精度，利用调整好的所述压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；将所述压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。本发明专利技术能够在海量的工业时序数据的持续产出的情况下，高效压缩时序数据并且保留数据趋势进行存储的情况。行存储的情况。行存储的情况。

【技术实现步骤摘要】
工业时序数据的近似查询处理方法、系统、介质及设备


[0001]本专利技术涉及一种数据查询
，特别是关于一种工业时序数据的近似查询处理方法、系统、介质及设备。

技术介绍

[0002]随着计算机科学技术的发展，伴随着各行各业的信息化，各种各样的数据也不断地从GB到TB再到PB级进行扩大，很多数据增长的部分原因是由于这些数据从越来越多的设备中源源不断地进行采集完成。在此之中工业大数据的数据量增长的速度十分恐怖，因为工业领域当中数据的来源十分广泛比如PLM(product lifecycle emanagement)系统、ERP(enterprise resource planning)系统，SCM(supplychain management)系统、MES(manufacturing execution system)系统等等。其中产生得数据符合大数据的4V特征，即大规模(volume)、速度快(velocity)、类型杂(variety)、低质量(veracity)。并且相比于其他数据工业大数据还有多模态、强关联、高通量的特征，那么工业大数据领域这么多的数据源和特征必须要有高效的办法处理这些数据。因为在这些数据当中存在许多冗余数据，所以想要利用这些数据进行相应的数据挖掘、关联分析预测、异常检测、辅助决策等就比较困难。以往的压缩处理大量的工业时序数据的方法，分有损压缩和无损压缩。
[0003]无损压缩技术是可以使数据完全还原的技术，而且压缩与解压时一个可逆的过程。无损压缩技术是通用于各个领域的基础算法，事实上，任何无损压缩技术的算法在实际应用中都无法真正地将数据压缩到理论上的熵值极限。由于压缩后的数据量不可能是低于熵值的数值的，所以，在无损压缩的技术开发和利用方面，无损压缩技术总是处在一个追求压缩性能理想极限的一个过程，而且在特定的应用领域中，单纯地使用无损压缩技术的压缩比总是只可以维持在一个可以接收的水平上。
[0004]有损压缩技术则是在压缩过程中去除一定的冗余数据，而这些冗余数据一般都具有数量多，价值密度低的特征，这些冗余数据的压缩过程就是以损失一定的信息以获得较高的压缩比，压缩过程不可逆，数据不能完全恢复到原始数据，因此要求损失的数据对于理解原始数据信息的影响和走势的影响不能过大，而且许多的有损压缩技术是根据很多特定的应用领域发展起来的，如应用于图像、视频以及声音等许多多媒体领域的压缩技术，而且有损压缩技术可以根据先验知识提升相关有损压缩算法的压缩效果，有损压缩方法一般分为分段线性方法、矢量量化方法以及信号变换法而这些方法在实际的工业场景对于大量的工业时序数据进行处理时表现得并不是特别良好。

技术实现思路

[0005]针对上述海量的工业时序数据的压缩存放问题，本专利技术的目的是提供一种工业时序数据的近似查询处理方法、系统、介质及设备，能够在海量的工业时序数据的持续产出的情况下，高效压缩时序数据并且保留数据趋势进行存储的情况。
[0006]为实现上述目的，本专利技术采取以下技术方案：一种工业时序数据的近似查询处理
方法，其包括：将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；计算所述压缩数据的标准差，根据所述标准差得到压缩精度浮动；根据所述压缩精度浮动调整压缩精度，利用调整好的所述压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；将所述压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。
[0007]进一步，所述将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据，包括：
[0008]将所述时序数据转换成数值，并根据预先设定的压缩精度区间确定所述初始压缩精度；
[0009]将所述数值根据所述初始压缩精度进行数据压缩；
[0010]压缩完成后，将压缩后的数据进行数据可视化处理，得到压缩后的数据趋势，并与初始时序数据的趋势图进行对比，判别压缩后数据损失是否满足设定要求，满足则计算所述压缩数据的标准差，反之则重新设定压缩精度区间以确定新的压缩精度。
[0011]进一步，所述根据所述标准差得到压缩精度浮动，包括：将上一次压缩数据的标准差与相邻下一次压缩数据的标准差的比值作为压缩精度浮动。
[0012]进一步，所述根据所述压缩精度浮动调整压缩精度，包括：当所述压缩精度浮动为0时，则无需对压缩精度进行调整；当所述压缩精度浮动大于等于预先设定值时或小于预先设定值时，则调整当前压缩精度：将当前压缩精度与所述压缩精度浮动的比值作为调整后的压缩精度。
[0013]进一步，所述对损失点位的数值近似估计，采用线段拟合，包括：通过线段拟合公式对压缩点位进行线段拟合，由拟合出的线端方程对压缩损失点位进行准确估计后，直接存储压缩后数据。
[0014]进一步，所述近似查询包括：
[0015]若压缩点位为压缩损失点位，则查询压缩点位周边的点位数值，得到代替周边被压缩点位的代表值；
[0016]将损失点位的横轴数值代入到所述线端方程中，得到损失点位的估计值，将所述估计值与所述代表值进行比对，确定所述估计值的准确性，将所述估计值近似作为准确数值进行查询。
[0017]进一步，所述将所述估计值与所述代表值进行比对，包括：若两者的差距比例在10％以内，则所述估计值在预先设定的准确范围内，具有准确性。
[0018]一种工业时序数据的近似查询处理系统，其包括：初级压缩模块，将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；压缩精度浮动获取模块，计算所述压缩数据的标准差，根据所述标准差得到压缩精度浮动；调整输出模块，根据所述压缩精度浮动调整压缩精度，利用调整好的所述压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；查询模块，将所述压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。
[0019]一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指
令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
[0020]一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
[0021]本专利技术由于采取以上技术方案，其具有以下优点：
[0022]本专利技术针对制造企业内部海量的时序数据，通过对经典的SWING DOOR TRENDING算法进行改进，提出了更加高效的压缩办法，并且利用了曲线拟合的方法对于压缩后的数据进行估值处理。能够在海量的工业时序数据的持续产出的情况下，高效压缩时序数据并且保留数据趋势进行存储的情况，有效的解决了海量的工业时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工业时序数据的近似查询处理方法，其特征在于，包括：将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；计算所述压缩数据的标准差，根据所述标准差得到压缩精度浮动；根据所述压缩精度浮动调整压缩精度，利用调整好的所述压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；将所述压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。2.如权利要求1所述工业时序数据的近似查询处理方法，其特征在于，所述将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据，包括：将所述时序数据转换成数值，并根据预先设定的压缩精度区间确定所述初始压缩精度；将所述数值根据所述初始压缩精度进行数据压缩；压缩完成后，将压缩后的数据进行数据可视化处理，得到压缩后的数据趋势，并与初始时序数据的趋势图进行对比，判别压缩后数据损失是否满足设定要求，满足则计算所述压缩数据的标准差，反之则重新设定压缩精度区间以确定新的压缩精度。3.如权利要求1所述工业时序数据的近似查询处理方法，其特征在于，所述根据所述标准差得到压缩精度浮动，包括：将上一次压缩数据的标准差与相邻下一次压缩数据的标准差的比值作为压缩精度浮动。4.如权利要求1所述工业时序数据的近似查询处理方法，其特征在于，所述根据所述压缩精度浮动调整压缩精度，包括：当所述压缩精度浮动为0时，则无需对压缩精度进行调整；当所述压缩精度浮动大于等于预先设定值时或小于预先设定值时，则调整当前压缩精度：将当前压缩精度与所述压缩精度浮动的比值作为调整后的压缩精度。5.如权利要求1所述工业时序数据的近似查询处理方法，其特征在于，所述对损失点位的数值近似估计，采用线段拟合，包括：通过线段拟合公式对压缩点位...

【专利技术属性】
技术研发人员：王儒博，黄民，邢继，徐钊，孙巍伟，李一鸣，赵晓永，崔国玺，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：