一种工业时序数据压缩方法及系统技术方案

技术编号:28877620 阅读:18 留言:0更新日期:2021-06-15 23:13
本发明专利技术公开了一种工业时序数据压缩方法及系统,采集m个采集点在n个采集时间点的时序数据;根据采集的工业时序数据构成m×n的稀疏矩阵δ

【技术实现步骤摘要】
一种工业时序数据压缩方法及系统
本专利技术涉及一种工业时序数据压缩方法及系统,属于智能制造、工业互联网、数据压缩

技术介绍
中国制造业就业人数超过2亿,规模占我国GDP的30%,也占全球制造业的30%,且规模已经连续10年排名世界第一,按照国际分类方法,目前我国制造业现状是大部分仍处于第三梯队,部分处于第二梯队,少量处于第一梯队。随着人力成本上升、土地集约化使用要求提高,大量制造转移到东南亚、印度等地区,探索一条符合中国制造业国情和适用于广大中小企业的工业互联网发展道路不仅能节省大量的资金投入,也对中国制造业提升有深远影响。数据采集是工业互联网的基础,高度智能化的生产过程需要采集人员、机械设备状态、工艺参数、物料信息、环境参数、产品测试参数(简称5M1E数据),利用这些数据和分析后的二次数据与OEE、产能、追溯、质量、财务等指标关联,能保障生产高效、高质、集约成本地进行。但是由于工业生产实时性的要求,因此要求工业数据采集也要保证一定的实时性,高实时的数据采集带来了大量的工业数据,但是大量的工业数据在两个时间点之间是重复的无效数据,因此需要通过特定的压缩方法来降低数据传输量。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术的缺陷,提供一种工业时序数据压缩方法及系统。为解决上述技术问题,本专利技术提供一种工业时序数据压缩方法,采集m个采集点在n个采集时间点的时序数据;根据采集的工业时序数据构成m×n的稀疏矩阵δm×n;对稀疏矩阵δm×n进行扫描并记录下该矩阵中每个字符的频率fτ,然后对该字符表进行哈夫曼编码,得到哈夫曼编码信息,通过哈夫曼编码信息,将时序数据进行压缩,得到数据帧;所述数据帧包括矩阵头、矩阵的内容信息,其中矩阵头包括附带长宽的矩阵标识,哈夫曼编码编码信息,基准时间戳,采集时间点差值;将所述数据帧和哈夫曼编码信息发送给服务器;控制服务器依据哈夫曼编码信息将所述数据帧进行解压,得到解压数据和各数据在不同时刻的时间戳;依据各数据在不同时刻的时间戳,将时间戳与对应的解压数据一同进行存储。进一步的,所述对稀疏矩阵δm×n进行扫描并记录下该矩阵中每个字符的频率fτ,然后对该字符表进行哈夫曼编码,得到哈夫曼编码信息,通过哈夫曼编码信息,将时序数据进行压缩,得到数据帧的过程包括:统计字符信息再进行频率分析,频率分析后定义存放字符频率信息的数组Array,其分别存放‘0’至‘9’以及‘.’的字符,统计出数组中各字符的频率;从而以这些频率为权值,作为构造哈夫曼树的依据;构造哈夫曼树;定义一个HaffCodes类数组并对其进行初始化,初始化的哈夫曼树从叶子结点出发,到根结点为止,将左分支设置为0,右分支设置为1,得到相应字符的哈夫曼编码信息;通过哈夫曼编码信息,将时序数据进行压缩,得到数据帧。进一步的,所述构造哈夫曼树的过程包括:假设有n个权值,则构造出的哈夫曼树有n个叶子结点,n个权值分别设为w1、w2、…、wn,哈夫曼树的构造规则为:(1)将w1、w2、…,wn看成是有n棵树的森林,每棵树仅有一个结点;(2)在森林中选出根结点的权值最小的两棵树进行合并,作为一棵新树的左、右子树,且新树的根结点权值为其左、右子树根结点权值之和;(3)从森林中删除选取的两棵树,并将新树加入森林;(4)重复(2)、(3)步,直到森林中只剩一棵树为止,该树为所求得的哈夫曼树。进一步的,所述服务器依据哈夫曼编码信息将带有基准时间的数据帧进行解压,得到解压数据和各数据在不同时刻的时间戳的过程包括:读取矩阵标识,哈夫曼编码信息,基准时间戳,采集时间点差值数组,确定矩阵为一个m×n矩阵,同时也得出时间点差值数组大小为n;根据哈夫曼编码信息,将对应二进制码翻译成对应字符,以每7个字符为一个数据,最后还原为m×n的矩阵;根据基准时间戳和采集时间点差值数组将每列数据附加上时间戳。一种工业时序数据压缩系统,包括:数据采集模块,用于采集m个采集点在n个采集时间点的时序数据;矩阵确定模块,用于根据采集的工业时序数据构成m×n的稀疏矩阵δm×n;压缩模块,用于对稀疏矩阵δm×n进行扫描并记录下该矩阵中每个字符的频率fτ,然后对该字符表进行哈夫曼编码,得到哈夫曼编码信息,通过哈夫曼编码信息,将时序数据进行压缩,得到数据帧;所述数据帧包括矩阵头、矩阵的内容信息和校验值,其中矩阵头包括附带长宽的矩阵标识,哈夫曼编码编码信息,基准时间戳,采集时间点差值;传输模块,用于将所述数据帧和哈夫曼编码信息发送给服务器;解压模块,用于控制服务器依据哈夫曼编码信息将所述数据帧进行解压,得到解压数据和各数据在不同时刻的时间戳;存储模块,用于依据各数据在不同时刻的时间戳,将时间戳与对应的解压数据一同进行存储。进一步的,所述压缩包括:统计模块,用于统计字符信息,定义存放字符频率信息的数组Array,其分别存放‘0’至‘9’以及‘.’的字符,统计出数组中各字符的频率,以这些频率为权值,作为构造哈夫曼树的依据;哈夫曼树构造模块,用于根据构造哈夫曼树的依据构造哈夫曼树;哈夫曼编码获取模块,用于定义一个HaffCodes类数组并对其进行初始化,初始化的哈夫曼树从叶子结点出发,到根结点为止,将左分支设置为0,右分支设置为1,得到相应字符的哈夫曼编码信息;数据帧确定模块,用于通过哈夫曼编码信息,将时序数据进行压缩,得到数据帧。进一步的,所述哈夫曼树构造模块的构建过程包括:假设有n个权值,则构造出的哈夫曼树有n个叶子结点,n个权值分别设为w1、w2、…、wn,哈夫曼树的构造规则为:(1)将w1、w2、…,wn看成是有n棵树的森林,每棵树仅有一个结点;(2)在森林中选出根结点的权值最小的两棵树进行合并,作为一棵新树的左、右子树,且新树的根结点权值为其左、右子树根结点权值之和;(3)从森林中删除选取的两棵树,并将新树加入森林;(4)重复(2)、(3)步,直到森林中只剩一棵树为止,该树为所求得的哈夫曼树。进一步的,所述解压模块包括:读取模块,用于读取矩阵标识,哈夫曼编码信息,基准时间戳,采集时间点差值数组,确定矩阵为一个m×n矩阵,同时也得出时间点差值数组大小为n;还原模块,用于根据哈夫曼编码信息,将对应二进制码翻译成对应字符,以每7个字符为一个数据,最后还原为m×n的矩阵;附件模块,用于根据基准时间戳和采集时间点差值数组将每列数据附加上时间戳。本专利技术所达到的有益效果:面向工业生产的设计、制造、运作、管理等过程时序数据的高效压缩传输压缩算法简单,解压缩速度快,支持工业传感器各项参数数据的压缩、传输。支持工业现场数据的清洗、集成、转换和简约,并且能实现数据无损的解压缩。支持工业现场设备监控系统、工艺分析系统、管理系统获取实时的数据,灵活适用于多种工业生产本文档来自技高网...

【技术保护点】
1.一种工业时序数据压缩方法,其特征在于,/n采集m个采集点在n个采集时间点的时序数据;/n根据采集的工业时序数据构成m×n的稀疏矩阵δ

【技术特征摘要】
1.一种工业时序数据压缩方法,其特征在于,
采集m个采集点在n个采集时间点的时序数据;
根据采集的工业时序数据构成m×n的稀疏矩阵δm×n;
对稀疏矩阵δm×n进行扫描并记录下该矩阵中每个字符的频率fτ,然后对该字符表进行哈夫曼编码,得到哈夫曼编码信息,通过哈夫曼编码信息,将时序数据进行压缩,得到数据帧;所述数据帧包括矩阵头、矩阵的内容信息,其中矩阵头包括附带长宽的矩阵标识,哈夫曼编码编码信息,基准时间戳,采集时间点差值;
将所述数据帧和哈夫曼编码信息发送给服务器;
控制服务器依据哈夫曼编码信息将所述数据帧进行解压,得到解压数据和各数据在不同时刻的时间戳;
依据各数据在不同时刻的时间戳,将时间戳与对应的解压数据一同进行存储。


2.根据权利要求1所述的工业时序数据压缩方法,其特征在于,所述对稀疏矩阵δm×n进行扫描并记录下该矩阵中每个字符的频率fτ,然后对该字符表进行哈夫曼编码,得到哈夫曼编码信息,通过哈夫曼编码信息,将时序数据进行压缩,得到数据帧的过程包括:
统计字符信息再进行频率分析,定义存放字符频率信息的数组Array,其分别存放‘0’至‘9’以及‘.’的字符,统计出数组中各字符的频率;从而以这些频率为权值,作为构造哈夫曼树的依据;
构造哈夫曼树;
定义一个HaffCodes类数组并对其进行初始化,初始化的哈夫曼树从叶子结点出发,到根结点为止,将左分支设置为0,右分支设置为1,得到相应字符的哈夫曼编码信息;
通过哈夫曼编码信息,将时序数据进行压缩,得到数据帧。


3.根据权利要求2所述的工业时序数据压缩方法,其特征在于,所述构造哈夫曼树的过程包括:
假设有n个权值,则构造出的哈夫曼树有n个叶子结点,n个权值分别设为w1、w2、…、wn,哈夫曼树的构造规则为:
(1)将w1、w2、…,wn看成是有n棵树的森林,每棵树仅有一个结点;
(2)在森林中选出根结点的权值最小的两棵树进行合并,作为一棵新树的左、右子树,且新树的根结点权值为其左、右子树根结点权值之和;
(3)从森林中删除选取的两棵树,并将新树加入森林;
(4)重复(2)、(3)步,直到森林中只剩一棵树为止,该树为所求得的哈夫曼树。


4.根据权利要求1所述的工业时序数据压缩方法,其特征在于,所述服务器依据哈夫曼编码信息将带有基准时间的数据帧进行解压,得到解压数据和各数据在不同时刻的时间戳的过程包括:
读取矩阵标识,哈夫曼编码信息,基准时间戳,采集时间点差值数组,确定矩阵为一个m×n矩阵,同时也得出时间点差值数组大小为n;
根据哈夫曼编码信息,将对应二进制码翻译成对应字符,以每7个字符为一个数据,最后还原为m×n的矩阵;
根据基准时间戳和采集时间点差值数组将每列数据附加上时间戳。

【专利技术属性】
技术研发人员:杨永敏柯荣鹏
申请(专利权)人:伊之密机器人自动化科技苏州有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1