一种工业数据压缩方法、系统、存储介质及终端技术方案

本发明专利技术属于工业大数据领域，并具体公开了一种工业数据压缩方法、系统、存储介质及终端。S100:获取用户所需的设备数据，将所述设备数据通过BWT算法进行转换，获得所述设备数据的整数字节流；S200:对所述整数字节流进行小波变换，并设计小波系数树，构建小波系数表，并将小波系数表建模过程中的参数写入模型参数表；S300:将所述小波系数表和位置掩码表引入嵌入式零树编码，生成主扫描符号表和辅扫描符号表；S400：联合所述模型参数表，对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码，输出编码后的码流；S500：将所述码流写入数控系统二维码，完成对所述设备数据的压缩。本发明专利技术的工业数据压缩方法，在数据无失真的前提下显著具备高压缩比。

An industrial data compression method, system, storage medium and terminal

【技术实现步骤摘要】
一种工业数据压缩方法、系统、存储介质及终端
本专利技术属于工业大数据
，更具体地，涉及一种工业数据压缩方法、系统、存储介质及终端。
技术介绍
物联网是新一代信息技术的重要组成部分，指的是将各种信息设备与互联网结合起来而形成的一个巨大网络。目前工业设备大多通过有线网络、无线网络或移动网络来进行数据实时传输，这些工业数据传输方式存在有很大的弊端：1)由于工业环境的复杂性，有线网络、无线网络或移动网络的信号波动较大，易受环境影响而导致设备断网，那么工业数据一旦丢失便无法进行复现，数据完备性差；2)有些工业设备的硬件不支持以太网等网络接口，无法通过有线网络或无线网络实施数据采集；3)在军工领域由于信息高度安全等因素，工业设备不允许通过硬件网络接口进行数据传输。为了解决上述问题，专利文献CN107957708A提出了一种基于二维码的数控机床远程数据采集方法及系统。该方法通过在数控装置上生成二维码来对机床数据进行本地缓存，使用移动终端扫描二维码获取数据并通过网络上传至服务器。该方法解决了由于网络信号波动而导致数据完备性差的问题，也为军工类数据采集提供了一种可实施方式。但是现有二维码技术的数据存储容量非常有限，以800×600分辨率的数控系统为例，单个二维码最优容量仅为800字节。在实际应用中，工业数据具备多类型、高频率等特点，特别是在有些应用场景中，数据采集频率可达毫秒级，现有的工业数据存储方案无法满足大容量工业数据存储的需求。因此，为了优化机床数据二维码缓存方案，必须对二维码数据进行压缩处理，使单个二维码能够承载更多的数据。工业数据对精度要求极高，解压缩数据必须能够完全复原，并且为了能够支撑毫秒级采集频率，对压缩比提出了很高的要求。现有压缩技术主要分为有损压缩和无损压缩，其中，有损压缩的压缩率高，但数据会出现失真；无损压缩中数据可以完全复原，但压缩率低。因此，现有技术无法解决工业数据压缩所需要的无失真、高压缩比的需求。特别是，由于工业设备数据结构的复杂性，二维码所存储的数据除了数字，还包括汉字、英文字母等，数据分布杂乱、冗余性较差，这些都对工业数据压缩造成了更高的难度。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供一种工业数据压缩方法、系统、存储介质及终端，结合改进EZW算法和哈夫曼编码，在数据无失真的前提下显著具备高压缩比，解决了因工业环境的复杂性和网络的波动性带来的影响，为工业数据完备性提供强有力的保障。为了实现上述目的，按照本专利技术的一个方面，提供一种工业数据压缩方法，包括如下步骤：S100:获取用户所需的设备数据，将所述设备数据通过BWT算法进行转换，获得所述设备数据的整数字节流；S200:对所述整数字节流进行小波变换，并设计小波系数树，构建小波系数表，并将小波系数表建模过程中的参数写入模型参数表；S300:将所述小波系数表和位置掩码表引入嵌入式零树编码，生成主扫描符号表和辅扫描符号表；S400：联合所述模型参数表，对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码，输出编码后的码流；S500：将所述码流写入数控系统二维码，完成对所述设备数据的压缩。进一步地，步骤S200包括：S201：对所述整数字节流进行小波变换，获得小波系数表；S202：根据所述小波系数表，设计一维小波系数树，并对小波系数表进行转换，将最左上角一个系数作为根节点，与其相关的次级高频系数作为该根节点的子节点，构建小波系数树模型。进一步地，步骤S200中，所述一维小波系数树为二叉树结构，所述整数字节流经小波分解后得到多个分解子区间，每个分解子区间内包含高频或低频数据的子孙节点，除最后分解层和第一层外，每层任意一高频节点都有上一层级两个高频节点与之对应，最后一层父节点的每个低频系数分别与同层中高频系数对应。进一步地，所述参数包括小波分解层数、字节流长度及初始阈值。进一步地，所述初始阈值为：式中：∫(x)表示小波系数，表示取整。进一步地，步骤S300包括：S301：对所述小波系数树模型进行主扫描，并将小波系数的绝对值与初始阈值进行比较，大于的为重要系数，小于的为次要系数，重要系数按照数值的正值或负值编码为P或N；次要系数按照后续子孙节点不存在或存在重要系数编码为Z或T，并写入主扫描符号表；S302：对步骤S301中主扫描生成的重要系数进行辅扫描，将当前系数值与阈值区间的中间值进行比较，在前端点至中间值内编为0,在中间值与后短点内编为1，并写入辅扫描符号表SL；S303：将阈值缩小一半，重复步骤S301和步骤S302，直至阈值为1停止EZW编码。进一步地，步骤S100中BWT算法包括：S101：将所述设备数据进行Unicode码转换，再将Unicode码转为ASCII码，使所述设备数据内的所有字符统一转换为数据范围为[-127,128]的整数字节流；S102：对所述整数字节流进行循环移位，形成新的字节流，且新的字节流中相同字节的位置连续或者相邻。进一步地，步骤S100中，所述设备数据类型为汉字、英文字母或数字中的一种或多种。进一步地，步骤S100中，所述设备数据包括调机数据、状态数据、报警数据、寄存器数据或刀具数据中的一种或多种。进一步地，S500中所述哈夫曼编码具体包括如下步骤：S501：对生成的一个或多个所述主扫描符号表进行哈夫曼编码，将每个符号依照频次由小到大排序；S502：每个符号之间插入分隔符，且重新定义频次最小字符的哈夫曼码值。按照本专利技术的另一个方面，提供一种工业数据压缩系统，包括：数据获取模块，用于采集用户所需的设备数据，将所述设备数据通过BWT算法进行转换，获得所述设备数据的整数字节流；小波变换模块，用于对所述整数字节流进行小波变换，并设计小波系数树，构建小波系数表，并将小波系数表建模过程中的参数写入模型参数表；EZW模块，用于将所述小波系数表和位置掩码表引入嵌入式零树编码，生成主扫描符号表和辅扫描符号表；哈夫曼编码模块，用于联合所述模型参数表，对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码，输出编码后的码流；二维码生成模块，用于将所述码流写入数控系统二维码，完成对所述设备数据的压缩。进一步地，所述数据获取模块包括：转码模块，用于将所述设备数据进行Unicode码转换，再将Unicode码转为ASCII码，使所述设备数据内的所有字符统一转换为整数字节流；循环移位模块，用于对所述整数字节流进行循环移位，形成新的字节流。进一步地，所述小波变换模块包括：小波系数表生成模块，用于对所述整数字节流进行小波变换，获得小波系数表；小波系数树构建模块，用于根据所述小波系数表，设计一维小波系数树，并对小波系数表进行转换，将最左上角一个系数作为根节点，与其相关的次级高频系数作为该根节点的子节点，构建小波系数树模型。进一步地本文档来自技高网...

【技术保护点】
1.一种工业数据压缩方法，其特征在于，包括如下步骤：/nS100:获取用户所需的设备数据，将所述设备数据通过BWT算法进行转换，获得所述设备数据的整数字节流；/nS200:对所述整数字节流进行小波变换，并设计小波系数树，构建小波系数表，并将小波系数表建模过程中的参数写入模型参数表；/nS300:将所述小波系数表和位置掩码表引入嵌入式零树编码，生成主扫描符号表和辅扫描符号表；/nS400：联合所述模型参数表，对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码，输出编码后的码流；/nS500：将所述码流写入数控系统二维码，完成对所述设备数据的压缩。/n

【技术特征摘要】
1.一种工业数据压缩方法，其特征在于，包括如下步骤：
S100:获取用户所需的设备数据，将所述设备数据通过BWT算法进行转换，获得所述设备数据的整数字节流；
S200:对所述整数字节流进行小波变换，并设计小波系数树，构建小波系数表，并将小波系数表建模过程中的参数写入模型参数表；
S300:将所述小波系数表和位置掩码表引入嵌入式零树编码，生成主扫描符号表和辅扫描符号表；
S400：联合所述模型参数表，对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码，输出编码后的码流；
S500：将所述码流写入数控系统二维码，完成对所述设备数据的压缩。


2.根据权利要求1所述的一种工业数据压缩方法，其特征在于，步骤S200包括：
S201：对所述整数字节流进行小波变换，获得小波系数表；
S202：根据所述小波系数表，设计一维小波系数树，并对小波系数表进行转换，将最左上角一个系数作为根节点，与其相关的次级高频系数作为该根节点的子节点，构建小波系数树模型。


3.根据权利要求2所述的一种工业数据压缩方法，其特征在于，步骤S200中，所述一维小波系数树为二叉树结构，所述整数字节流经小波分解后得到多个分解子区间，每个分解子区间内包含高频或低频数据的子孙节点，除最后分解层和第一层外，每层任意一高频节点都有上一层级两个高频节点与之对应，最后一层父节点的每个低频系数分别与同层中高频系数对应。


4.根据权利要求1-3中任一项所述的一种工业数据压缩方法，其特征在于，所述参数包括小波分解层数、字节流长度及初始阈值。


5.根据权利要求4所述的一种工业数据压缩方法，其特征在于，所述初始阈值为：



式中：∫(x)表示小波系数，表示取整。


6.根据权利要求1所述的一种工业数据压缩方法，其特征在于，步骤S300包括：
S301：对所述小波系数树模型进行主扫描，并将小波系数的绝对值与初始阈值进行比较，大于的为重要系数，小于的为次要系数，重要系数按照数值的正值或负值编码为P或N；次要系数按照后续子孙节点不存在或存在重要系数编码为Z或T，并写入主扫描符号表；
S302：对步骤S301中主扫描生成的重要系数进行辅扫描，将当前系数值与阈值区间的中间值进行比较，在前端点至中间值内编为0,在中间值与后短点内编为1，并写入辅扫描符号表SL；
S303：将阈值缩小一半，重复步骤S301和步骤S302，直至阈值为1停止EZW编码。


7.根据权利要求1所述的一种工业数据压缩方法，其特征在于，步骤S100中BWT算法包括：
S101：将所述设备数据进行Unicode码转换，再将Unicode码转为ASCII码，使所述设备数据内的所有字符统一转换为数据范围为[-127,128]的整数字节流；
S102：对所述整数字节流进行循环移位，形成新的字节流，且新的字节流中相同字节的位置连续或者相邻。


8.根据权利要求1或7所述的一种工业数据压缩方法，其特征在于，步骤S100中，所述设备数据类型为汉字、英文字母或数字中的一种或多种。


9.根据权利要求1或7所述的一种工业数据压缩方法，其特征在于，步骤S100中，所述设备数据包括调机数据、状态数据、报警数据、寄存器数据或刀具数据中的一种或多种。


10.根据权利要求1所述的一种工业数据压缩方法，其特征在于，S500中所述哈夫曼编码具体包括如下步骤：
S501：对生成的一个或多个所述主扫描符号表进行哈夫曼编码，将每个符号依照频次由小到大排序；
S502：每个符号之间插入分隔符，且重新定义频次最小字符的哈夫曼码值。


1...

【专利技术属性】
技术研发人员：惠恩明，王懿琼，冯冰艳，江哲夫，杨小漫，李冲，杨建中，
申请(专利权)人：华中科技大学，武汉华中数控股份有限公司，
类型：发明
国别省市：湖北;42