【技术实现步骤摘要】
本申请涉及工业物联网,具体涉及一种用于物联网数据的处理方法、处理系统及存储介质。
技术介绍
1、随着物联网设备数量呈指数级的增加,物联网数据的规模和吞吐量也在不断地增加,相应处理这些大量物联网数据所需的计算资源也必须相应的增加,对应的具体计算系统的集群规模也就需要不断地扩容。这就带了如下问题,首先对这些系统进行扩容,需要先停掉正在运行的大数据服务,然后增加集群的节点数量,即增加跟原有集群相同配置的服务器资源到集群中,再把相应的服务在新的机器上进行部署,然后启动集群,继续进行数据的处理分析工作,这样就会造成业务的中断。其次,目前这种扩容是整机的扩容,由于一些大数据软件系统要求集群中所有服务器的计算资源和存储资源(硬件)要对等,所以必须将计算资源和存储资源的同步扩容,这样扩容会造成资源的巨大浪费。
2、为了解决这些问题,现有技术主要是通过预估未来1-2年的物联网设备规模以及物联网数据吞吐量的最大峰值(tps),即未来两年中可能面临的最大物联网数据流量洪峰和最大的数据增量,根据此峰值来估算出2年后所需的最大计算资源和存储资源,然后
...【技术保护点】
1.一种用于物联网数据的处理方法,其特征在于,所述处理方法包括:
2.根据权利要求1所述的用于物联网数据的处理方法,其特征在于,基于容器编排平台,将分布式实时联机在线分析计算集群部署在多个容器中包括:
3.根据权利要求1所述的用于物联网数据的处理方法,其特征在于,基于所述容器编排平台,将所述分布式实时联机在线分析计算集群的集群管理服务部署至所述多个容器中包括:
4.根据权利要求1所述的用于物联网数据的处理方法,其特征在于,所述基于所述使用数量和所述资源使用率调整所述多个容器的容器数量,以调节所述计算组件的计算能力包括:
...
【技术特征摘要】
1.一种用于物联网数据的处理方法,其特征在于,所述处理方法包括:
2.根据权利要求1所述的用于物联网数据的处理方法,其特征在于,基于容器编排平台,将分布式实时联机在线分析计算集群部署在多个容器中包括:
3.根据权利要求1所述的用于物联网数据的处理方法,其特征在于,基于所述容器编排平台,将所述分布式实时联机在线分析计算集群的集群管理服务部署至所述多个容器中包括:
4.根据权利要求1所述的用于物联网数据的处理方法,其特征在于,所述基于所述使用数量和所述资源使用率调整所述多个容器的容器数量,以调节所述计算组件的计算能力包括:
5.根据权利要求4所述的用于物联网数据的处理方法,其特征在于,所述资源使用率包括每个容器的cpu平均使用率和存储器平均使用率,所述通过所述预设自动缩放规则引擎基于所述调整计划调整所述多个容器的容器数量包括:
6.根据权利要求5所述的用于物联网数据的处理方法,其特征在于,所述处理方法还包括:
7.根据权利要求5所述的用于物联网数据的...
【专利技术属性】
技术研发人员:路培杰,周志忠,刘文虎,陈威余,
申请(专利权)人:中科云谷科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。