System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种物联网异构数据存储方法及系统技术方案_技高网

一种物联网异构数据存储方法及系统技术方案

技术编号:44492083 阅读:7 留言:0更新日期:2025-03-04 17:57
本发明专利技术公开了一种物联异构数据存储方法及系统,主要涉及物联网数据存储技术领域。包括以下步骤:中心网关获取用户物联网设备的处理器信息;根据物联网设备的存储数据种类建立数据存储模型;在建立的数据存储模型中分别建立以中心网关为中心节点的树状模型;中心网关对接入的物联网设备的处理器信息以及通过中心网关的数据流进行分析判断;中心网关根据分析判断结果,对数据流进行存储路径分配和存储模型分配。本发明专利技术的有益效果在于:它能解决物联网中多种类数据的分类、分时存储的问题,提高了数据调用效率。

【技术实现步骤摘要】

本专利技术涉及物联网数据存储,具体是一种物联异构数据存储方法及系统。


技术介绍

1、物联网异构数据存储是指针对物联网中不同类型、格式和来源的数据,采用有效的存储策略和技术进行管理的过程,伴随着物联网技术的广泛应用,海量异构数据的存储与共享成为了一个关键问题。

2、针对上述问题,现有技术中提出了对应的解决方案,如公开专利cn201310198922.3,提出了在数据接口采用统一的存储方式,有效的支持不同来源、不同类型数据的存储;利用hbase技术,扩大列导向的存储机制,使得存储容量可水平扩展;采用内存映射文件机制,有效的解决了大文件存储和管理的效率;采用数据冗余存放技术,大大提高系统的可靠性和访问性能,但由于物联网设备的特殊性,导致数据种类不断增加以及同种数据类型中在不同时刻的调用热度也会不同,如何对物联网中的不同时刻、不同类型的异构数据进行分类、分时存储,成为物联网技术中亟需解决的问题。

3、因此,亟需一种物联异构数据存储方法及系统来解决上述问题。


技术实现思路

1、本专利技术的目的在于提供一种物联异构数据存储方法及系统,它能解决物联网中多种类数据的分类、分时存储的问题,提高了数据调用效率。

2、本专利技术为实现上述目的,通过以下技术方案实现:

3、一方面,提供一种物联异构数据存储方法,包括以下步骤:

4、s1:中心网关获取用户物联网设备的处理器信息,所述物联网设备的处理器信息具体为:物联网设备的存储数据种类、处理器型号版本、内存大小以及网络传输协议信息;

5、s2:根据物联网设备的存储数据种类建立数据存储模型,所述数据存储模型包括:热数据存储模型、温数据存储模型以及冷数据存储模型;

6、s3:在建立的数据存储模型中分别建立以中心网关为中心节点的树状模型,所述树状模型包括:中心节点、若干子节点和若干叶子节点;

7、s4:中心网关对接入的物联网设备的处理器信息以及通过中心网关的数据流进行分析判断;

8、s5:中心网关根据步骤s4中的分析判断结果,对数据流进行存储路径分配和存储模型分配。

9、优选的,所述步骤s1中,中心网关获取用户物联网设备的处理器信息,具体为:

10、中心网关与物联网设备建立长连接,中心网关通过长连接对物联网设备的存储数据种类、处理器信息进行获取和实时更新。

11、优选的,所述步骤s2中,建立数据存储模型,具体为:

12、中心网关根据物联网设备中存储的数据在同一时间段内被调用的频率建立三级数据存储模型,所述三级数据存储模型包括:热数据存储模型、温数据存储模型以及冷数据存储模型。

13、优选的,所述步骤s3中,所述建立以中心网关为中心节点的树状模型,具体为:

14、中心网关根据接入的物联网设备采集的数据种类不同、所属网络传输协议将物联网设备划为不同分组,且根据物联网设备的处理器型号版本、内存大小特征为性能标准作为树形结构模型中子节点和叶子节点的数据划分依据,组成以中心网关为中心节点的树形结构。

15、优选的,所述步骤s4中,中心网关对接入的物联网设备的处理器信息以及通过中心网关的数据流进行分析判断,具体为:

16、在同一时间段内,中心网关根据物联网设备中存储的数据被调用的频率,将数据标记为热数据、温数据和冷数据;

17、中心网关对接入的物联网设备的处理器信息进行判断,并将其中性能高的物联网设备作为子节点,且对子节点中设置最大可接入阈值。

18、优选的,所述将数据标记为热数据、温数据和冷数据,具体包括以下步骤:

19、s41:设定物联网设备中的数据调用周期和被调用的数据种类,所述数据调用周期记为n0,所述被调用的数据种类记为集合u0={a1,a2,…an},将在调用周期n0中被调用的数据种类集合u0中的所有数据标记为热数据;

20、s42:将调用周期n0后的下一调用周期记为n1,在调用周期n1中被调用的数据种类记为集合u1:

21、若u1=u0,即u1={a1,a2,…an},则将u1中的所有数据标记为热数据;

22、若u1≠u0,且u1中的数据种类小于或小于u0中的数据种类,则将u1中与u0中相同的数据种类标记为热数据,将u0中与u1中不同的数据种类标记为温数据;

23、s43:将调用周期n1后的下一调用周期记为n2,在调用周期n2中被调用的数据集合记为u2:

24、若u2=u0=u1,即u2={a1,a2,…an},则将u2中的所有数据标记为热数据;

25、若u2≠u0≠u1,且u2中的数据种类小于u1同时小于u0,则将u2中与u1、u0相同的数据种类标记为热数据,将u1中与u2中不同的数据种类标记为温数据,将u0中与u1、u2中均不同的数据种类标记为冷数据;

26、若u2≠u0≠u1,且u2中的数据种类大于u1同时大于u0,则将u2中与u1、u0相同的数据种类标记为热数据,将u2中与u1、u2中均不同的数据种类标记为温数据;

27、s44:遵循步骤s41-s43,对调用周期n2后的每一调用周期中的数据集合与前面的调用周期中的数据集合进行比较,依次将数据标记为热数据、温数据、冷数据。

28、优选的,所述对调用周期n2后的每一调用周期中的数据集合与前面的调用周期中的数据集合进行比较,具体为:

29、以前三个调用周期为基础,建立热数据存储模型、温数据存储模型以及冷数据存储模型,在第四个调用周期开始,计算一周内同一数据类型被调用的期望值并设置期望值的最大阈值和最小阈值,大于等于最大阈值的数据种类标记为热数据、小于等于最小阈值的数据种类标记为冷数据,剩余的数据种类标记为温数据,并对热数据、温数据、冷数据的数据种类进行更新。

30、优选的,所述步骤s5,具体包括以下步骤:

31、s51:所述物联网设备接入中心网关后,优先挂载热数据存储模型中的子节点,当热数据存储模型中的子节点挂载数量达到最大阈值后,依次挂载到热数据存储模型中的叶子节点;

32、s52:将新接入的物联网设备中采集的数据与步骤s51中存储到热数据存储模型中的物联网数据在同一时刻做调用频率比较,

33、若将新接入的物联网设备中采集的数据的调用频率大于步骤s51中存储到热数据存储模型中的物联网数据,则将步骤s51中存储到热数据存储模型中的物联网数据转载至温数据存储模型;

34、若将新接入的物联网设备中采集的数据的调用频率等于步骤s51中存储到热数据存储模型中的物联网数据,则对新接入的物联网设备信息与步骤s51中的物联网设备信息进行比较,性能高者作为子节点;

35、若将新接入的物联网设备中采集的数据的调用频率小于步骤s51中存储到热数据存储模型中的物联网数据,则将新接入的物联网设备中采集的数据转载至温数据存储模型;

36、本文档来自技高网...

【技术保护点】

1.一种物联异构数据存储方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种物联异构数据存储方法,其特征在于,所述步骤S1中,中心网关获取用户物联网设备的处理器信息,具体为:

3.根据权利要求1所述的一种物联异构数据存储方法,其特征在于,所述步骤S2中,建立数据存储模型,具体为:

4.根据权利要求1所述的一种物联异构数据存储方法,其特征在于,所述步骤S3中,所述建立以中心网关为中心节点的树状模型,具体为:

5.根据权利要求4所述的一种物联异构数据存储方法,其特征在于,所述步骤S4中,中心网关对接入的物联网设备的处理器信息以及通过中心网关的数据流进行分析判断,具体为:

6.根据权利要求5所述的一种物联网异构数据存储方法,其特征在于,所述将数据标记为热数据、温数据和冷数据,具体包括以下步骤:

7.根据权利要求6所述的一种物联网异构数据存储方法,其特征在于,所述对调用周期n2后的每一调用周期中的数据集合与前面的调用周期中的数据集合进行比较,具体为:

8.根据权利要求7所述的一种物联网异构数据存储方法,其特征在于,所述步骤S5,具体包括以下步骤:

9.一种物联异构数据存储系统,其特征在于,包括:

...

【技术特征摘要】

1.一种物联异构数据存储方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种物联异构数据存储方法,其特征在于,所述步骤s1中,中心网关获取用户物联网设备的处理器信息,具体为:

3.根据权利要求1所述的一种物联异构数据存储方法,其特征在于,所述步骤s2中,建立数据存储模型,具体为:

4.根据权利要求1所述的一种物联异构数据存储方法,其特征在于,所述步骤s3中,所述建立以中心网关为中心节点的树状模型,具体为:

5.根据权利要求4所述的一种物联异构数据存储方法,其特征在于,所述步骤s4中,中心网关...

【专利技术属性】
技术研发人员:张潇谢钟伟雷强辉谢育新侯祥伟
申请(专利权)人:广州万物智联技术有限公司
类型:发明
国别省市:

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1