一种智能边缘融合终端设备数据预处理和压缩方法及系统技术方案

本发明专利技术公开了一种智能边缘融合终端设备数据预处理和压缩方法及系统包括，获取智能边缘融合终端设备报文数据，并根据交互协议对不同协议文本原始报文数据进行处理，判断协议类型以及根据协议类型是否应当生成键值字典；根据不同判断结果进行不同预处理操作；数字接收端接收预处理后的压缩数据，并进行判断

【技术实现步骤摘要】
一种智能边缘融合终端设备数据预处理和压缩方法及系统


[0001]本专利技术涉及数据预处理和压缩
，尤其涉及一种智能边缘融合终端设备数据预处理和压缩方法及系统
。

技术介绍

[0002]随着物联网发展不断加大加快，越来越多的智能边缘设备接入物联网，加入万物共联
。
在配电物联领域，大量智能融合终端及下属各类子设备通过
4G/5GVPN
专网等方式，分别采用基于
JSON
的
MQTT
和
IEC104
等协议接入配电物联管理云平台和配电自动化主站，海量实时数据上传
、
云管边端协同联动等应用场景在不断增加整套系统的运行使用成本，同时在深度计算
、AI
识别等技术广泛运用的今天，云
‑
边
‑
端数据交互的形式和内容的多样化更加显著，图片
、
视频
、
信号图谱等复杂数据的组合交互越发常见
。
终端内部，基于
JSON
的
MQTT
协议的信息交互也会更加的频繁和复杂
。
[0003]因此，在现有的
MQTT、IEC104
通信协议上增加对交互数据的预处理和压缩技术，以降低数据传输的资源消耗，从而降低系统使用成本，提升用户的使用意愿和满意度是十分有必要的
。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例
。
在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分
、
说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围
。
[0005]鉴于上述现有存在的问题，提出了本专利技术
。
[0006]因此，本专利技术提供了一种智能边缘融合终端设备数据预处理和压缩方法及系统，能够解决
技术介绍
中提到的问题
。
[0007]为解决上述技术问题，本专利技术提供如下技术方案，一种智能边缘融合终端设备数据预处理和压缩方法，包括：
[0008]获取智能边缘融合终端设备报文数据，并根据交互协议对不同协议文本原始报文数据进行处理，判断协议类型以及根据所述协议类型是否应当生成键值字典；
[0009]若生成，则数字发送端根据所述键值字典，将原始报文数据协议内的原始键值替换成缩写键，并将替换后的报文协议数据进行压缩，生成二进制压缩数据哈希指纹，完成预处理操作
。
[0010]作为本专利技术所述的智能边缘融合终端设备数据预处理和压缩方法的一种优选方案，其中：还包括，
[0011]若判断协议类型以及根据所述协议类型不生成键值字典，则将原始报文数据进行压缩，生成二进制压缩数据哈希指纹，完成预处理操作
。
[0012]作为本专利技术所述的智能边缘融合终端设备数据预处理和压缩方法的一种优选方案，其中：所述交互协议对不同协议文本原始报文数据进行处理包括基于
JSON
的
MQTT
协议
和
IEC104
协议，
[0013]当协议文本为
IEC104
格式时，不生成键值字典，数字发送端不进行数据预处理流程，直接对原始报文协议数据进行数据压缩，生成二进制压缩数据哈希指纹；
[0014]若数字接收端接收到数字发送端传输至的数据时，判断数据是否为压缩数据，若判断出不是压缩数据，则向数字发送端返回一级错误提示，数字发送端在接收到所述一级错误提示时，对原始报文协议数据进行重新压缩，并向数字接收端重新发送压缩数据；
[0015]若数字发送端接收到连续三次一级错误提示，则更换压缩方法对原始报文协议数据进行重新压缩
。
[0016]若判断出是压缩数据，则对哈希指纹进行校验；
[0017]若哈希指纹不匹配，则数字接收端向数字发送端发送二级错误提示，数字发送端在接收到所述二级错误提示时，使用同种压缩方法重新对原始报文协议数据进行压缩并重新生成二进制压缩数据哈希指纹，数字接收端重新对新生成的哈希指纹进行匹配；
[0018]若仍不匹配，则数字接收端向数字发送端发送三级错误指示；
[0019]当数字发送端接收到所述三级错误指示时，数字发送端删除已生成的全部数据，更换压缩方法重新进行数据压缩操作
。
[0020]作为本专利技术所述的智能边缘融合终端设备数据预处理和压缩方法的一种优选方案，其中：所述基于
JSON
的
MQTT
协议包括，
[0021]若协议文本为
JSON
格式时，生成键值字典，服务器对不同协议文本原始报文数据进行处理，所述处理包括对原始报文数据进行采样分析，按照测试标准完成协议规范内包含的所有交互流程并记录交互报文；
[0022]以报文主题为分类，收集各主题下涵盖的所有报文类型，剔除其中重复词条后生成模板文件，通过解析模板制作各主题下原始键值与缩写键值映射表，完成原始键值词典制作，并分发给云边网络内各节点；
[0023]当生成键值字典后，数字发送端进入预处理流程，数字发送端根据所述键值字典，将原始报文数据协议内的原始键值替换成缩写键；
[0024]若因协议变动产生的新增键值内容，则更新新增键值至各个节点
。
[0025]对替换后的报文协议数据进行数据压缩，生成二进制压缩数据哈希指纹；
[0026]若数字接收端接收到数字发送端传输至的数据时，判断数据是否为压缩数据，若判断出不是压缩数据，则向数字发送端返回一级错误提示，数字发送端在接收到所述一级错误提示时，对替换后的报文协议数据进行重新压缩，并向数字接收端重新发送压缩数据，若数字发送端接收到连续三次一级错误提示，则更换压缩方法对替换后的报文协议数据进行重新压缩；
[0027]若判断出是压缩数据，则对哈希指纹进行校验；
[0028]若哈希指纹不匹配，则数字接收端向数字发送端发送二级错误提示，数字发送端在接收到所述二级错误提示时，使用同种压缩方法重新对替换后的报文协议数据进行压缩并重新生成二进制压缩数据哈希指纹，数字接收端重新对新生成的哈希指纹进行匹配，若仍不匹配，则数字接收端向数字发送端发送三级错误指示；
[0029]当数字发送端接收到所述三级错误指示时，数字发送端删除已生成的全部数据，更换压缩方法重新进行数据压缩操作
。
[0030]作为本专利技术所述的智能边缘融合终端设备数据预处理和压缩方法的一种优选方案，其中：所述预处理操作包括，
[0031]所述预处理包括对数据进行压缩，生成二进制压缩数据哈希指纹；
[0032]当对协议文本为
JSON
格式的报文协议数据进行键值检索过程中，若在键值字典中检索到该键值条目，则将原始报文数据协议内的原始键值替换成该缩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种智能边缘融合终端设备数据预处理和压缩方法，其特征在于：包括，获取智能边缘融合终端设备报文数据，并根据交互协议对不同协议文本原始报文数据进行处理，判断协议类型以及根据所述协议类型是否应当生成键值字典；若生成，则数字发送端根据所述键值字典，将原始报文数据协议内的原始键值替换成缩写键，并将替换后的报文协议数据进行压缩，生成二进制压缩数据哈希指纹，完成预处理操作
。2.
如权利要求1所述的智能边缘融合终端设备数据预处理和压缩方法，其特征在于：还包括，若判断协议类型以及根据所述协议类型不生成键值字典，则将原始报文数据进行压缩，生成二进制压缩数据哈希指纹，完成预处理操作
。3.
如权利要求1或2所述的智能边缘融合终端设备数据预处理和压缩方法，其特征在于：所述交互协议对不同协议文本原始报文数据进行处理包括基于
JSON
的
MQTT
协议和
IEC104
协议，当协议文本为
IEC104
格式时，不生成键值字典，数字发送端不进行数据预处理流程，直接对原始报文协议数据进行数据压缩，生成二进制压缩数据哈希指纹；若数字接收端接收到数字发送端传输至的数据时，判断数据是否为压缩数据，若判断出不是压缩数据，则向数字发送端返回一级错误提示，数字发送端在接收到所述一级错误提示时，对原始报文协议数据进行重新压缩，并向数字接收端重新发送压缩数据；若数字发送端接收到连续三次一级错误提示，则更换压缩方法对原始报文协议数据进行重新压缩；若判断出是压缩数据，则对哈希指纹进行校验；若哈希指纹不匹配，则数字接收端向数字发送端发送二级错误提示，数字发送端在接收到所述二级错误提示时，使用同种压缩方法重新对原始报文协议数据进行压缩并重新生成二进制压缩数据哈希指纹，数字接收端重新对新生成的哈希指纹进行匹配；若仍不匹配，则数字接收端向数字发送端发送三级错误指示；当数字发送端接收到所述三级错误指示时，数字发送端删除已生成的全部数据，更换压缩方法重新进行数据压缩操作
。4.
如权利要求1所述的智能边缘融合终端设备数据预处理和压缩方法，其特征在于：所述基于
JSON
的
MQTT
协议包括，若协议文本为
JSON
格式时，生成键值字典，服务器对不同协议文本原始报文数据进行处理，所述处理包括对原始报文数据进行采样分析，按照测试标准完成协议规范内包含的所有交互流程并记录交互报文；以报文主题为分类，收集各主题下涵盖的所有报文类型，剔除其中重复词条后生成模板文件，通过解析模板制作各主题下原始键值与缩写键值映射表，完成原始键值词典制作，并分发给云边网络内各节点；当生成键值字典后，数字发送端进入预处理流程，数字发送端根据所述键值字典，将原始报文数据协议内的原始键值替换成缩写键；若因协议变动产生的新增键值内容，则更新新增键值至各个节点；对替换后的报文协议数据进行数据压缩，生成二进制压缩数据哈希指纹；
若数字接收端接收到数字发送端传输至的数据时，判断数据是否为压缩数据，若判断出不是压缩数据，则向数字发送端返回一级错误提示，数字发送端在接收到所述一级...

【专利技术属性】
技术研发人员：周成，曾锃，吴海，曹子涛，缪巍巍，戴申鉴，夏元轶，王辉，张瑞，
申请(专利权)人：国电南瑞科技股份有限公司国网江苏省电力有限公司信息通信分公司国网江苏省电力有限公司国家电网有限公司，
类型：发明
国别省市：