一种数据压缩方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据压缩方法、装置、设备及存储介质，涉及数据传输技术领域，包括：获取工业控制系统的历史传输数据，并将历史传输数据分类；利用循环神经网络构建数据压缩模型，并根据预设符号估计分类得到的训练数据集中的待压缩数据序列的条件概率估计值；基于算术编码对条件概率估计值进行编码得到压缩数据，以完成模型预训练得到目标数据压缩模型；基于验证数据集和测试数据集对目标数据压缩模型进行测试，并确定目标数据压缩模型的模型权重，以便目标数据压缩模型对待压缩实时数据进行压缩。本申请可以通过循环神经网络结合工业控制系统的历史传输数据预训练出数据压缩模型，再基于这个模型对实时数据进行数据压缩，提高数据传输的效率。提高数据传输的效率。提高数据传输的效率。

【技术实现步骤摘要】
一种数据压缩方法、装置、设备及存储介质


[0001]本专利技术涉及数据传输
，特别涉及一种数据压缩方法、装置、设备及存储介质。

技术介绍

[0002]随着物联网技术的发展，工厂中越来越多的设备采用了工业控制系统进行自动化控制，控制系统中承载的设备越来越多，需要传输的数据规模越来越大。因此为了保证控制系统中数据的正常传输，需要对传输的数据采取压缩处理，以减小传输数据的尺寸，提高网络利用率，实现在工业控制系统网络带宽一定的前提下传输更多的数据。因此数据压缩处理达到的压缩比尽可能高，同时，由于工业控制系统通常为对传输延迟有极高要求的高实时系统，因此对数据压缩的处理速度也有较高要求。
[0003]而现有技术中，工业控制系统为了提高数据传输效率通常会直接增大网络带宽，但是增大网络带宽往往需要高成本，并且难度较大，在升级时还需要对工业控制系统进行停机，这样的方法在生产环境中往往不可被接受。现有技术还可以通过通用式无损数据压缩算法进行数据压缩，如zip或7z，但是这种方法通常不符合工业控制系统对实时性的要求，无法在控制系统中发挥最大的压缩性能。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据压缩方法，其特征在于，应用于工业控制系统，包括：获取所述工业控制系统的历史传输数据，并基于预设数据分类规则将所述历史传输数据分类为训练数据集、验证数据集和测试数据集；利用循环神经网络构建数据压缩模型，并基于所述数据压缩模型根据预设超参数个符号对所述训练数据集中的待压缩数据序列的条件分布概率进行估计，得到所述待压缩数据序列的条件概率估计值；基于预设算术编码算法对所述待压缩数据序列的条件概率估计值进行编码，得到所述待压缩数据序列对应的压缩数据，以完成对所述数据压缩模型的预训练得到目标数据压缩模型；基于所述验证数据集和所述测试数据集对所述目标数据压缩模型进行验证和测试，并确定所述目标数据压缩模型的模型权重，以便所述目标数据压缩模型利用所述模型权重对获取到的待压缩实时数据进行压缩。2.根据权利要求1所述的数据压缩方法，其特征在于，所述获取所述工业控制系统的历史传输数据之后，还包括：基于所述历史传输数据构建初始数据集，并对所述初始数据集进行数据清洗，得到清洗后的目标数据集，以便基于所述目标数据集中的历史传输数据进行数据分类。3.根据权利要求1所述的数据压缩方法，其特征在于，所述利用循环神经网络构建数据压缩模型之后，还包括：基于预设优化器对当前的所述数据压缩模型进行优化；若所述数据压缩模型在当前轮次的平均损失小于已优化轮次中的最小平均损失，则判断当前轮次的平均损失与已优化轮次中的最小平均损失之间的差值是否大于预设阈值；若是，则基于所述当前轮次的优化结果更新所述数据压缩模型，并重新跳转至所述基于预设优化器对当前的所述数据压缩模型进行优化的步骤；若否，则终止优化。4.根据权利要求1所述的数据压缩方法，其特征在于，所述基于预设算术编码算法对所述待压缩数据序列的条件概率估计值进行编码，得到所述待压缩数据序列对应的压缩数据，包括：基于预设算术编码算法对所述条件概率估计值进行状态编码，并将状态编码后的所述条件概率估计值编码为比特得到所述待压缩数据序列对应的压缩数据。5.根据权利要求1所述的数据压缩方法，其特征在于，所述基于预设算术编码算法对所述待压缩数据序列的条件概率估计值进行编码，得到所述待压缩数据序列对应的压缩数据，包括：利用预设序列分割算法将所述条件概率估计值对应的所述待压缩数据序列分割为预设数量个序列片段；分别基于预设算术编码算法对所...

【专利技术属性】
技术研发人员：巨康怡，
申请(专利权)人：杭州和利时自动化有限公司，
类型：发明
国别省市：