用于物联网数据的处理方法、处理系统及存储介质技术方案

技术编号:41663062 阅读:38 留言:0更新日期:2024-06-14 15:23
本申请实施例提供了一种用于物联网数据的处理方法、处理系统及存储介质。处理方法包括:基于容器编排平台,将分布式实时联机在线分析计算集群部署在多个容器中,分布式实时联机在线分析计算集群至少包括计算组件和存储组件;实时获取物联网数据,并将物联网数据缓存至存储组件;通过计算组件对存储组件内的物联网数据进行计算,并通过存储组件将计算完成后的物联网数据映射并存储至分布式系统;在对物联网数据的处理过程中,通过容器编排平台的资源监控度量服务器监测多个容器的使用数量以及每个容器的资源使用率;基于使用数量和资源使用率实时调整多个容器的容器数量,以调节计算组件的计算能力。

【技术实现步骤摘要】

本申请涉及工业物联网,具体涉及一种用于物联网数据的处理方法、处理系统及存储介质


技术介绍

1、随着物联网设备数量呈指数级的增加,物联网数据的规模和吞吐量也在不断地增加,相应处理这些大量物联网数据所需的计算资源也必须相应的增加,对应的具体计算系统的集群规模也就需要不断地扩容。这就带了如下问题,首先对这些系统进行扩容,需要先停掉正在运行的大数据服务,然后增加集群的节点数量,即增加跟原有集群相同配置的服务器资源到集群中,再把相应的服务在新的机器上进行部署,然后启动集群,继续进行数据的处理分析工作,这样就会造成业务的中断。其次,目前这种扩容是整机的扩容,由于一些大数据软件系统要求集群中所有服务器的计算资源和存储资源(硬件)要对等,所以必须将计算资源和存储资源的同步扩容,这样扩容会造成资源的巨大浪费。

2、为了解决这些问题,现有技术主要是通过预估未来1-2年的物联网设备规模以及物联网数据吞吐量的最大峰值(tps),即未来两年中可能面临的最大物联网数据流量洪峰和最大的数据增量,根据此峰值来估算出2年后所需的最大计算资源和存储资源,然后按照这个未来的最大资本文档来自技高网...

【技术保护点】

1.一种用于物联网数据的处理方法,其特征在于,所述处理方法包括:

2.根据权利要求1所述的用于物联网数据的处理方法,其特征在于,基于容器编排平台,将分布式实时联机在线分析计算集群部署在多个容器中包括:

3.根据权利要求1所述的用于物联网数据的处理方法,其特征在于,基于所述容器编排平台,将所述分布式实时联机在线分析计算集群的集群管理服务部署至所述多个容器中包括:

4.根据权利要求1所述的用于物联网数据的处理方法,其特征在于,所述基于所述使用数量和所述资源使用率调整所述多个容器的容器数量,以调节所述计算组件的计算能力包括:

5.根据权利要求4所...

【技术特征摘要】

1.一种用于物联网数据的处理方法,其特征在于,所述处理方法包括:

2.根据权利要求1所述的用于物联网数据的处理方法,其特征在于,基于容器编排平台,将分布式实时联机在线分析计算集群部署在多个容器中包括:

3.根据权利要求1所述的用于物联网数据的处理方法,其特征在于,基于所述容器编排平台,将所述分布式实时联机在线分析计算集群的集群管理服务部署至所述多个容器中包括:

4.根据权利要求1所述的用于物联网数据的处理方法,其特征在于,所述基于所述使用数量和所述资源使用率调整所述多个容器的容器数量,以调节所述计算组件的计算能力包括:

5.根据权利要求4所述的用于物联网数据的处理方法,其特征在于,所述资源使用率包括每个容器的cpu平均使用率和存储器平均使用率,所述通过所述预设自动缩放规则引擎基于所述调整计划调整所述多个容器的容器数量包括:

6.根据权利要求5所述的用于物联网数据的处理方法,其特征在于,所述处理方法还包括:

7.根据权利要求5所述的用于物联网数据的...

【专利技术属性】
技术研发人员:路培杰周志忠刘文虎陈威余
申请(专利权)人:中科云谷科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1