System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种多集群模式的物联管理平台及其数据处理方法技术_技高网

一种多集群模式的物联管理平台及其数据处理方法技术

技术编号:40051845 阅读:6 留言:0更新日期:2024-01-16 21:19
本发明专利技术公开了一种多集群模式的物联管理平台及其数据处理方法,物联管理平台包括多个接入单元集群、消息队列集群和数据转发集群;接入单元集群用于根据设备ID将业务数据路由至指定分片的消息队列集群;消息队列集群用于缓存业务数据,消费者根据规则实时消费生产者发布的业务数据;数据转发集群用于根据规则将业务数据分发至业务系统;还包括用于存储动态数据的时序数据库,所述时序数据库根于业务类型对业务数据进行分片,业务数据通过所述消息队列集群上送时,通过对应的时序库代理集群解析入库;本发明专利技术实现了物联管理平台的多集群性能扩展,实现了物联体系数据精准、高效、可靠传输分发。

【技术实现步骤摘要】

本专利技术涉及一种物联管理平台及其数据处理方法,尤其是多集群模式的物联管理平台及其数据处理方法


技术介绍

1、“双碳”战略目标和新型电力系统要求打造“状态全感知、设备全连接、数据全融合、业务全智能”的全域电力物联网,对物联采集和管理体系提出更高的要求。物联管理平台(简称物联平台)是新型电力系统的基础底座,对下实现统一边缘物联代理(以下简称边设备)和物联智能终端(以下简称端设备)标准化接入,统一采集源头,数据汇聚,实现云边协同;对上为企业中台和业务系统提供实时、稳定的数据服务,支撑构建整体智能电力业务生态。

2、随着新型电力系统建设工作的推进,物联平台接入设备接入数量快速增加,在部分省级物联平台设备数量已达数百万规模、数据传输量达每天数百亿条,设备接入规模很快将突破千万级。电力物联网面临海量终端设备统一接入、海量数据的统一处理和存储、全域设备统一运维管理、不同业务领域的数据共享共用等技术挑战。

3、综上,在工业物联网领域的生产环境中,亟需提出一种多集群模式的数据处理方法及物联管理平台。


技术实现思路

1、专利技术目的:本专利技术的目的是提供一种高效存储、传输和分发的多集群模式的物联管理平台及其数据处理方法。

2、技术方案:本专利技术所述的多集群模式的物联管理平台,包括多个接入单元集群、消息队列集群和数据转发集群;所述接入单元集群用于根据设备id将业务数据路由至指定分片的消息队列集群,还用于将管理数据传输至管理集群;所述消息队列集群用于缓存业务数据,消费者根据规则实时消费生产者发布的业务数据;所述数据转发集群用于根据规则将业务数据分发至业务系统;

3、还包括用于存储动态数据的时序数据库,所述时序数据库根于业务类型对业务数据进行分片,业务数据通过所述消息队列集群上送时,通过对应的时序库代理集群解析入库。

4、进一步地,所述接入单元集群用于根据设备id将业务数据路由至指定分片的消息队列集群包括:设备id为bnrntndn的设备上报数据时,所述接入单元集群根据设备所属专业编码bn将数据路由至指定分片_bn的消息队列集群。

5、进一步地,所述管理集群通过订阅所述消息队列集群中的业务数据进行设备和业务数据同步。

6、进一步地,所述数据转发集群根据设备地域、专业、类型或分组配置数据分发的规则。

7、进一步地,所述业务数据通过所述消息队列集群上送时,通过对应的时序库代理集群解析入库包括:时序库代理集群建立设备id和时序库实例的索引关系,通过缓存索引模块将所述索引关系在多个时序库代理集群之间共享;应用服务请求业务数据时,通过缓存索引模块查找对应设备的数据存储地址,进而获取业务数据。

8、进一步地,还包括用于存储静态数据的关系数据库。

9、进一步地,包括http协议接入集群和mqtt协议接入集群,所述http协议接入集群和mqtt协议接入集群分别包括多个接入单元集群。

10、本专利技术所述的多集群模式的物联管理平台的数据处理方法,包括数据传输方法和数据存储方法;

11、所述数据传输方法包括如下步骤:管理数据通过接入单元集群传输至管理集群,业务数据通过接入单元集群根据设备id将业务数据路由至指定分片的消息队列集群,消息队列集群用于缓存业务数据,消费者根据规则实时消费生产者发布的业务数据,通过数据转发集群根据规则将业务数据分发至业务系统;

12、所述数据存储方法包括如下步骤:利用时序数据库存储动态数据,所述时序数据库根于业务类型对业务数据进行分片,业务数据通过所述消息队列集群上送时,通过对应的时序库代理集群解析入库。

13、本专利技术所述的电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述计算机程序被加载至处理器时实现所述的多集群模式的物联管理平台的数据处理方法。

14、本专利技术所述的计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述的多集群模式的物联管理平台的数据处理方法。

15、有益效果:与现有技术相比,本专利技术的优点在于:(1)“接入单元—消息队列—数据转发服务”的数据传输多集群链路,在接入单元处将数据按管理和业务类型分流,大规模的业务数据通过核心链路传输至业务系统,少量的管理数据由管理集群处理,整体实现了物联平台的多集群性能扩展,实现了设备规模化接入;(2)基于设备id分号段的多集群数据传输方法,通过设备id基于专业、地域分号段机制,从接入单元、消息队列、数据转发到业务系统的数据分片独立通道传输,做到不同业务间的故障隔离,在保证设备统一管理、统一运维的基础上实现了物联体系数据精准、高效、可靠传输分发。

本文档来自技高网...

【技术保护点】

1.一种多集群模式的物联管理平台,其特征在于,包括多个接入单元集群、消息队列集群和数据转发集群;所述接入单元集群用于根据设备ID将业务数据路由至指定分片的消息队列集群,还用于将管理数据传输至管理集群;所述消息队列集群用于缓存业务数据,消费者根据规则实时消费生产者发布的业务数据;所述数据转发集群用于根据规则将业务数据分发至业务系统;

2.根据权利要求1所述的多集群模式的物联管理平台,其特征在于,所述接入单元集群用于根据设备ID将业务数据路由至指定分片的消息队列集群包括:设备ID为BnRnTnDn的设备上报数据时,所述接入单元集群根据设备所属专业编码Bn将数据路由至指定分片_Bn的消息队列集群。

3.根据权利要求1所述的多集群模式的物联管理平台,其特征在于,所述管理集群通过订阅所述消息队列集群中的业务数据进行设备和业务数据同步。

4.根据权利要求1所述的多集群模式的物联管理平台,其特征在于,所述数据转发集群根据设备地域、专业、类型或分组配置数据分发的规则。

5.根据权利要求1所述的多集群模式的物联管理平台,其特征在于,所述业务数据通过所述消息队列集群上送时,通过对应的时序库代理集群解析入库包括:时序库代理集群建立设备ID和时序库实例的索引关系,通过缓存索引模块将所述索引关系在多个时序库代理集群之间共享;应用服务请求业务数据时,通过缓存索引模块查找对应设备的数据存储地址,进而获取业务数据。

6.根据权利要求1所述的多集群模式的物联管理平台,其特征在于,还包括用于存储静态数据的关系数据库。

7.根据权利要求1所述的多集群模式的物联管理平台,其特征在于,包括HTTP协议接入集群和MQTT协议接入集群,所述HTTP协议接入集群和MQTT协议接入集群分别包括多个接入单元集群。

8.一种多集群模式的物联管理平台的数据处理方法,其特征在于,包括数据传输方法和数据存储方法;

9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被加载至处理器时实现根据权利要求8所述的多集群模式的物联管理平台的数据处理方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现根据权利要求8所述的多集群模式的物联管理平台的数据处理方法。

...

【技术特征摘要】

1.一种多集群模式的物联管理平台,其特征在于,包括多个接入单元集群、消息队列集群和数据转发集群;所述接入单元集群用于根据设备id将业务数据路由至指定分片的消息队列集群,还用于将管理数据传输至管理集群;所述消息队列集群用于缓存业务数据,消费者根据规则实时消费生产者发布的业务数据;所述数据转发集群用于根据规则将业务数据分发至业务系统;

2.根据权利要求1所述的多集群模式的物联管理平台,其特征在于,所述接入单元集群用于根据设备id将业务数据路由至指定分片的消息队列集群包括:设备id为bnrntndn的设备上报数据时,所述接入单元集群根据设备所属专业编码bn将数据路由至指定分片_bn的消息队列集群。

3.根据权利要求1所述的多集群模式的物联管理平台,其特征在于,所述管理集群通过订阅所述消息队列集群中的业务数据进行设备和业务数据同步。

4.根据权利要求1所述的多集群模式的物联管理平台,其特征在于,所述数据转发集群根据设备地域、专业、类型或分组配置数据分发的规则。

5.根据权利要求1所述的多集群模式的物联管理平台,其特征在于,所述业务数据通过所述消息队列集群上送时,通过对应的时...

【专利技术属性】
技术研发人员:乔柱侯继鑫刘庆王文彬延毓张浩奇孟婕吴子栋范迎刘琛徐明赵莹于殿君孙雨楠郑智星
申请(专利权)人:国电南瑞科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1