一种基于智慧云的污水处理运维数据高效管理系统技术方案

本发明专利技术涉及数据处理技术领域，具体涉及一种基于智慧云的污水处理运维数据高效管理系统，该系统包括：数据预处理模块，用于获取污水处理过程中的每个待存储数据的二进制编码，对二进制编码进行划分得到比特块，根据比特块的位置设置比特块对应的标识符；数据分析模块，用于构建二进制编码表；根据每层比特块的数据类型得到每层对应的合并必要性；根据合并必要性对需要合并的层进行合并得到优选二进制编码表；压缩存储模块，用于根据优选二进制编码表中每层比特块确定基元大小，根据基元大小统计游程长度对所有层进行游程编码压缩，对压缩得到的数据序列进行存储。本发明专利技术能够对污水处理运维数据进行高效存储管理。理运维数据进行高效存储管理。理运维数据进行高效存储管理。

【技术实现步骤摘要】
一种基于智慧云的污水处理运维数据高效管理系统


[0001]本专利技术涉及数据处理
，具体涉及一种基于智慧云的污水处理运维数据高效管理系统。

技术介绍

[0002]智能运营管理系统是通过智能采集设备运行过程中的基础数据，利用相关的数据处理手段达到智能化的系统。由于污水处理的站点多，各个站点采集到的数据均会传输至中央处理系统进行数据分析，并保留设备运行的基础数据，该过程势必会产生大量的数据需要存储，因此会加重系统的存储压力，故需要对采集到的数据进行压缩后存储。目前，利用较为常用的游程编码对数据进行压缩时，针对连续多个重复数据进行压缩的效果较高，而对于较少的连续重复数据的压缩效果较差，甚至出现数据膨胀的现象。

技术实现思路

[0003]为了解决游程编码对较少的连续重复数据的压缩效果较差，进而导致无法对运维数据进行高效存储管理的技术问题，本专利技术的目的在于提供一种基于智慧云的污水处理运维数据高效管理系统，所采用的技术方案具体如下：数据预处理模块，用于对污水处理过程中的每个待存储数据进行二进制转换，得到每个待存储数据的二进制编码，利用设定长度对二进制编码进行划分得到至少两个比特块，根据比特块的位置设置比特块对应的标识符；数据分析模块，用于将待存储数据的二进制编码对应的比特块和标识符放置不同层中，构建二进制编码表；根据每层比特块的数据类型得到每层对应的合并必要性；根据合并必要性对需要合并的层进行合并，得到优选二进制编码表；压缩存储模块，用于根据优选二进制编码表中每层比特块确定基元大小，根据基元大小统计游程长度对所有层进行游程编码压缩，对压缩得到的数据序列进行存储。
[0004]优选地，所述根据优选二进制编码表中每层比特块确定基元大小具体为：在优选二进制编码表中，将经过合并后的层记为合并层，将未合并的层记为独立层，将标识符所在层记为标识符层；对于合并层，以比特块的编码数据长度作为基元大小；对于独立层和标识符层，以预设的固定长度作为基元大小。
[0005]优选地，所述根据比特块的位置设置比特块对应的标识符具体为：将任意一个比特块记为目标比特块，在目标比特块所在的二进制编码中，若目标比特块后还存在比特块，则将目标比特块的标识符设置为第一数值；若目标比特块后不存在比特块，则将目标比特块的标识符设置为第二数值。
[0006]优选地，所述合并必要性的获取方法具体为：对于任意一层比特块，统计每种类型比特块出现的次数，将出现的次数最多的类型对应的比特块记为选定比特块，计算除选定比特块外其他所有类型比特块出现的次数的均值，计算选定比特块出现的次数与所述均值的差值，所述差值与选定比特块出现的次数
之间的比值为该层对应的合并必要性。
[0007]优选地，所述将待存储数据的二进制编码对应的比特块和标识符放置不同层中，构建二进制编码表，包括：将待存储数据的二进制编码对应的比特块按照编码顺序进行排列，将每个待存储数据对应的排列顺序中第一个比特块放置在第一层比特层中，将第一个比特块对应的标识符放置在第一层标识符层中，将每个待存储数据对应的排列顺序中第二个比特块放置在第二个比特层中，将第二个比特块对应的标识符放置在第二层标识符层中，以此类推，直至所有比特块和标识符均被放置完成，得到二进制编码表。
[0008]优选地，所述根据合并必要性对需要合并的层进行合并，得到优选二进制编码表，包括：当合并必要性大于或等于预设的合并阈值时，将对应层的比特块与其上一层的比特块进行合并，得到优选二进制编码表。
[0009]优选地，所述根据基元大小统计游程长度对所有层进行游程编码压缩具体为：对于任意一层，长度为基元大小的二进制编码段构成元素，统计元素连续出现的次数得到游程长度，利用游程长度对该层进行游程编码压缩；将各层压缩后的数据按照设定顺序进行拼接，在拼接处添加标记符号，得到拼接后的数据，拼接后的数据为对所有层进行游程编码压缩后得到的数据。
[0010]优选地，所述压缩存储模块还包括：数据解压缩单元，用于在对存储数据进行解压缩时，将存储数据还原成不同层的游程编码数据，分别对不同层的游程编码数据进行解码，得到优选二进制编码表；对于任意一个待解压缩的数据，获取待解压缩的数据的位置序号记为目标位置序号，在优选二进制编码表第一层比特块所在的层中，获取目标位置序号对应的比特块，并获取目标位置序号对应的比特块的标识符，若标识符的取值为第一数值，则在第二层比特块所在的层中获取目标位置序号对应的比特块以及比特块对应的标识符，以此类推，直到比特块对应的标识符的取值为第二数值时，将所有比特块进行拼接得到待解压缩的数据对应的二进制编码，将二进制编码转换为十进制数，得到待解压缩的数据对应的解压缩后的数据。
[0011]本专利技术实施例至少具有如下有益效果：本专利技术将污水处理过程中的每个待存储数据转换成二进制编码，后续利用二进制编码数据进行数据存储时，数据的传输和处理均不易出错，对二进制编码进行划分得到比特块，根据比特块的位置设置标识符，考虑到数据冗余程度较低，对数据进行拆分处理后对各个部分分别进行分析，并利用标识符表示比特块所在位置的放置情况；再将比特块和标识符进行分层放置得到二进制编码表，通过对每层比特块的数据类型之间的相似性进行分析得到每层的合并必要性，对需要合并的层进行合并得到优选二进制编码表，根据优选二进制编码表中每层比特块确定基元大小，改变了游程编码中统计连续出现的元素的大小，使得原本连续重复较少的元素，连续出现的次数变多，进而提高了游程编码算法对应数据进行压缩的数据压缩率；最终根据基元大小统计游程长度对所有层进行游程编码压缩，对压缩得到的数据序列进行存储，使得游程编码对较少的连续重复数据的压缩效果较好，进而能够对污水处理运维数据进行高效存储管理。
附图说明
[0012]为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0013]图1是本专利技术的一种基于智慧云的污水处理运维数据高效管理系统的系统框图。
具体实施方式
[0014]为了更进一步阐述本专利技术为达成预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本专利技术提出的一种基于智慧云的污水处理运维数据高效管理系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0015]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。
[0016]下面结合附图具体的说明本专利技术所提供的一种基于智慧云的污水处理运维数据高效管理系统的具体方案。
[0017]实施例：请参阅图1，其示出了本专利技术一个实施例提供的一种基于智慧云的污水处理运维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智慧云的污水处理运维数据高效管理系统，其特征在于，该系统包括：数据预处理模块，用于对污水处理过程中的每个待存储数据进行二进制转换，得到每个待存储数据的二进制编码，利用设定长度对二进制编码进行划分得到至少两个比特块，根据比特块的位置设置比特块对应的标识符；数据分析模块，用于将待存储数据的二进制编码对应的比特块和标识符放置不同层中，构建二进制编码表；根据每层比特块的数据类型得到每层对应的合并必要性；根据合并必要性对需要合并的层进行合并，得到优选二进制编码表；压缩存储模块，用于根据优选二进制编码表中每层比特块确定基元大小，根据基元大小统计游程长度对所有层进行游程编码压缩，对压缩得到的数据序列进行存储。2.根据权利要求1所述的一种基于智慧云的污水处理运维数据高效管理系统，其特征在于，所述根据优选二进制编码表中每层比特块确定基元大小具体为：在优选二进制编码表中，将经过合并后的层记为合并层，将未合并的层记为独立层，将标识符所在层记为标识符层；对于合并层，以比特块的编码数据长度作为基元大小；对于独立层和标识符层，以预设的固定长度作为基元大小。3.根据权利要求1所述的一种基于智慧云的污水处理运维数据高效管理系统，其特征在于，所述根据比特块的位置设置比特块对应的标识符具体为：将任意一个比特块记为目标比特块，在目标比特块所在的二进制编码中，若目标比特块后还存在比特块，则将目标比特块的标识符设置为第一数值；若目标比特块后不存在比特块，则将目标比特块的标识符设置为第二数值。4.根据权利要求1所述的一种基于智慧云的污水处理运维数据高效管理系统，其特征在于，所述合并必要性的获取方法具体为：对于任意一层比特块，统计每种类型比特块出现的次数，将出现的次数最多的类型对应的比特块记为选定比特块，计算除选定比特块外其他所有类型比特块出现的次数的均值，计算选定比特块出现的次数与所述均值的差值，所述差值与选定比特块出现的次数之间的比值为该层对应的合并必要性。5.根据权利要求1所述的一种基于智慧云的污水处理运维数据高效管理系统，其特征在于，所述将待存储数据的二进制编码对应的比特块和标识符放...

【专利技术属性】
技术研发人员：吴用，褚巍，周亚斌，程凯，
申请(专利权)人：安徽皖欣环境科技有限公司，
类型：发明
国别省市：