楼宇自控系统中大数据的存储方法以及存储装置制造方法及图纸

技术编号:36967481 阅读:51 留言:0更新日期:2023-03-22 19:27
本发明专利技术实施例公开了一种楼宇自控系统中大数据的存储方法以及存储装置,涉及数据存储技术领域,所述方法包括:获取原始通信信息;对所述原始通信信息进行数据提取,获得自控数据;基于预设无损压缩算法对所述自控数据执行无损压缩操作,获得压缩后数据,缓存所述压缩后数据;对所述压缩后数据执行无损解压操作,获得解压后数据;基于预设数据库对所述解压后数据执行数据存储操作。通过对传统数据库的数据存储方式进行改进,采用先压缩缓存后解析存储的方式,有效解决了数据拥塞的情况发生,同时实现了数据的准确、可靠存储,满足了实际需求。求。求。

【技术实现步骤摘要】
楼宇自控系统中大数据的存储方法以及存储装置


[0001]本专利技术涉及数据存储
,具体地涉及一种楼宇自控系统中大数据的存储方法以及一种楼宇自控系统中大数据的存储装置。

技术介绍

[0002]随着建筑规模的不断提高,楼宇中的楼宇数量也在不断增加,而在楼宇自控系统中,需要对每个楼宇设备的数据进行采集以及对每个楼宇设备发送控制指令以控制对应的楼宇设备,由此存在大量的数据传输和获取需求。
[0003]在数据存储过程中,现有技术往往采用基于Mysql数据库的方式对获取到的楼宇数据进行存储,然而在实际应用过程中,由于楼宇自控系统中楼宇设备数量较多,种类复杂,因此其中涉及的设备点位数量非常多,数据量大,同时由于对楼宇设备的控制过程往往为实时控制,因此其对数据存储的实时性要求也较高。
[0004]现有的Mysql数据库的数据存储方式主要为获取到一个数据则对应存储该数据,然而随着楼宇建筑规模的不断增大,楼宇设备数量的不断增多,数据量的增大导致传统Mysql数据库无法满足需求,当数据量达到1000万以上或100G以上时,传统Mysql数据库的性能将严重下降,从而无法满足实际的大数据存储需求。

技术实现思路

[0005]为了克服现有技术中存在的上述技术问题,本专利技术实施例提供一种楼宇自控系统中大数据的存储方法以及存储装置,通过对传统数据库的数据存储方式进行改进,采用先压缩缓存后解析存储的方式,有效解决了数据拥塞的情况发生,同时实现了数据的准确、可靠存储,满足了实际需求。
[0006]为了实现上述目的,本专利技术实施例提供一种楼宇自控系统中大数据的存储方法,所述方法包括:获取原始通信信息;对所述原始通信信息进行数据提取,获得自控数据;基于预设无损压缩算法对所述自控数据执行无损压缩操作,获得压缩后数据,缓存所述压缩后数据;对所述压缩后数据执行无损解压操作,获得解压后数据;基于预设数据库对所述解压后数据执行数据存储操作。
[0007]优选地,所述对所述原始通信信息进行数据提取,获得自控数据,包括:对所述原始通信信息进行验证;在验证结果为合法通信信息的情况下,解析所述原始通信信息,获得解析数据;从所述解析数据中提取自控数据。
[0008]优选地,所述基于预设无损压缩算法对所述自控数据执行无损压缩操作,获得压缩后数据,包括:基于预设无损压缩算法对所述自控数据执行第一无损压缩操作,获得初始压缩数据;对所述初始压缩数据执行随机插值操作,获得插值后数据;基于所述预设无损压缩算法对所述插值后数据执行第二无损压缩操作,获得压缩后数据。
[0009]优选地,所述方法还包括:确定所述原始通信信息的获取速率;基于所述获取速率生成对应的输入压力评估信息;实时获取所述压缩后数据的数据增长量以及增长速率;基
于所述数据增长量以及所述增长速率生成对应的缓存压力评估信息;基于所述输入压力评估信息和所述缓存压力评估信息生成对应的算力分配结果;基于所述算力分配结果为所述无损压缩操作以及所述无损解压操作执行动态算力分配操作。
[0010]优选地,所述基于所述算力分配结果为所述无损压缩操作以及所述无损解压操作执行动态算力分配操作,包括:基于所述算力分配结果确定所述无损压缩操作的第一动态算力,以及确定所述无损解压操作的第二动态算力;基于所述第一动态算力确定与所述无损压缩操作对应的第一并行压缩进程数;基于所述第二动态算力确定与所述无损解压操作对应的第二并行解压进程数;将所述第一并行压缩进程数和所述第二并行解压进程数作为动态算力分配结果。
[0011]相应的,本专利技术还提供一种楼宇自控系统中大数据的存储装置,所述装置包括:信息获取单元,用于获取原始通信信息;数据提取单元,用于对所述原始通信信息进行数据提取,获得自控数据;压缩单元,用于基于预设无损压缩算法对所述自控数据执行无损压缩操作,获得压缩后数据,缓存所述压缩后数据;解压单元,用于对所述压缩后数据执行无损解压操作,获得解压后数据;数据存储单元,用于基于预设数据库对所述解压后数据执行数据存储操作。
[0012]优选地,所述数据提取单元包括:验证模块,用于对所述原始通信信息进行验证;解析模块,用于在验证结果为合法通信信息的情况下,解析所述原始通信信息,获得解析数据;数据提取模块,用于从所述解析数据中提取自控数据。
[0013]优选地,所述压缩单元包括:第一压缩模块,用于基于预设无损压缩算法对所述自控数据执行第一无损压缩操作,获得初始压缩数据;插值模块,用于对所述初始压缩数据执行随机插值操作,获得插值后数据;第二压缩模块,用于基于所述预设无损压缩算法对所述插值后数据执行第二无损压缩操作,获得压缩后数据。
[0014]优选地,所述装置还包括算力分配单元,所述算力分配单元包括:第一获取模块,用于确定所述原始通信信息的获取速率;第一评估模块,用于基于所述获取速率生成对应的输入压力评估信息;第二获取模块,用于实时获取所述压缩后数据的数据增长量以及增长速率;第二评估模块,用于基于所述数据增长量以及所述增长速率生成对应的缓存压力评估信息;算力分析模块,用于基于所述输入压力评估信息和所述缓存压力评估信息生成对应的算力分配结果;算力分配模块,用于基于所述算力分配结果为所述无损压缩操作以及所述无损解压操作执行动态算力分配操作。
[0015]优选地,所述算力分配模块具体用于:基于所述算力分配结果确定所述无损压缩操作的第一动态算力,以及确定所述无损解压操作的第二动态算力;基于所述第一动态算力确定与所述无损压缩操作对应的第一并行压缩进程数;基于所述第二动态算力确定与所述无损解压操作对应的第二并行解压进程数;将所述第一并行压缩进程数和所述第二并行解压进程数作为动态算力分配结果。
[0016]通过本专利技术提供的技术方案,本专利技术至少具有如下技术效果:
[0017]通过对传统数据库对数据的存储流程进行改进,通过在数据库存储数据之前,首先大数据进行快速的二重压缩和缓存,从而能够有效保证快速、准确的将所接收的大量大数据进行缓存,然后结合算力分配方法,综合平衡前端数据压缩缓存以及后端数据解压的能力,实现最大化的数据接收和存储能力,满足了实际的大数据存储需求,同时有效减少了
数据存储的时间消耗,提高了数据存储的实时性。
[0018]本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0019]附图是用来提供对本专利技术实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本专利技术实施例,但并不构成对本专利技术实施例的限制。在附图中:
[0020]图1是本专利技术实施例提供的楼宇自控系统中大数据的存储方法的具体实现流程图;
[0021]图2是本专利技术实施例提供的楼宇自控系统中大数据的存储方法中获得压缩后数据的具体实现流程图;
[0022]图3是本专利技术实施例提供的楼宇自控系统中大数据的存储装置的结构示意图。
具体实施方式
[0023]以下结合附图对本专利技术实施例的具体实施方式进行详细说本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种楼宇自控系统中大数据的存储方法,其特征在于,所述方法包括:获取原始通信信息;对所述原始通信信息进行数据提取,获得自控数据;基于预设无损压缩算法对所述自控数据执行无损压缩操作,获得压缩后数据,缓存所述压缩后数据;对所述压缩后数据执行无损解压操作,获得解压后数据;基于预设数据库对所述解压后数据执行数据存储操作。2.根据权利要求1所述的方法,其特征在于,所述对所述原始通信信息进行数据提取,获得自控数据,包括:对所述原始通信信息进行验证;在验证结果为合法通信信息的情况下,解析所述原始通信信息,获得解析数据;从所述解析数据中提取自控数据。3.根据权利要求1所述的方法,其特征在于,所述基于预设无损压缩算法对所述自控数据执行无损压缩操作,获得压缩后数据,包括:基于预设无损压缩算法对所述自控数据执行第一无损压缩操作,获得初始压缩数据;对所述初始压缩数据执行随机插值操作,获得插值后数据;基于所述预设无损压缩算法对所述插值后数据执行第二无损压缩操作,获得压缩后数据。4.根据权利要求1所述的方法,其特征在于,所述方法还包括:确定所述原始通信信息的获取速率;基于所述获取速率生成对应的输入压力评估信息;实时获取所述压缩后数据的数据增长量以及增长速率;基于所述数据增长量以及所述增长速率生成对应的缓存压力评估信息;基于所述输入压力评估信息和所述缓存压力评估信息生成对应的算力分配结果;基于所述算力分配结果为所述无损压缩操作以及所述无损解压操作执行动态算力分配操作。5.根据权利要求4所述的方法,其特征在于,所述基于所述算力分配结果为所述无损压缩操作以及所述无损解压操作执行动态算力分配操作,包括:基于所述算力分配结果确定所述无损压缩操作的第一动态算力,以及确定所述无损解压操作的第二动态算力;基于所述第一动态算力确定与所述无损压缩操作对应的第一并行压缩进程数;基于所述第二动态算力确定与所述无损解压操作对应的第二并行解压进程数;将所述第一并行压缩进程数和所述第二并行解压进程数作为动态算力分配结果。6.一种楼宇自控系统中大数据的存储装置,其特征在于,所述装置包括:信息获取单元,用于获取原始通信...

【专利技术属性】
技术研发人员:张健王董东王旭唐俊杰
申请(专利权)人:上海庄生机电工程设备有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1