基于容器的物联网数据实时入湖及计算资源动态调整方法技术

本申请公开了一种基于容器的物联网数据实时入湖及计算资源动态调整方法。该物联网数据实时入湖及计算资源动态调整方法包括：获取物联网数据；根据物联网数据确定实时计算任务；将实时计算任务提交至Kubernetes集群，并在Kubernetes集群的基础上根据实时计算任务构建Flink集群的多个最小资源对象模型；通过多个最小资源对象模型中的多个容器执行实时计算任务，以获得数据分析结果；将数据分析结果存储至数据湖。本申请基于Kubernetes集群和数据湖，能够实现最小资源对象模型的扩容或缩容，减少计算资源的浪费，降低运维成本。降低运维成本。降低运维成本。

【技术实现步骤摘要】
基于容器的物联网数据实时入湖及计算资源动态调整方法


[0001]本申请涉及计算机
，具体地涉及一种基于容器的物联网数据实时入湖及计算资源动态调整方法。

技术介绍

[0002]在工业互联网领域，随着工业物联网技术的发展，各种工业车辆、产线设备、水电气相关测量仪器等已经实现了联网，各种IOT数据可以快速被采集并在平台侧进行沉淀，对IOT数据及与其相关数据的集中分析为企业的运营提供了很好的支撑和促进作用。但随着企业对极致降本、极致管理效率的追求，能够实时计算、实时反馈企业经营各方面指标的能力已经成为当下很多传统制造企业数字化转型路上新的迫切需要。目前，现有技术主要以能满足流量高峰时的所需的计算资源为准，通过提前设置实时计算所需的计算资源，即使在数据量很小时，Flink集群也必须拥有最大计算资源预留，造成计算资源的浪费。此外，在完成对数据的分析后，需要将分析结果转存至多种存储系统，以满足不同业务应用的查询分析需求，存在运维成本高的问题。因此，现有技术存在计算资源浪费且成本高昂的问题。

技术实现思路

[0003]本申请实施例的目的是提供一种基于容器的物联网数据实时入湖及计算资源动态调整方法，用以解决现有技术中计算资源浪费且成本高昂的问题。
[0004]为了实现上述目的，本申请第一方面提供一种基于容器的物联网数据实时入湖及计算资源动态调整方法，应用于基于容器的物联网数据实时入湖及计算资源动态调整系统，物联网数据实时入湖及计算资源动态调整系统包括Kubernetes集群、Flink集群和数据湖，该物联网数据实时入湖及计算资源动态调整方法包括：
[0005]获取物联网数据；
[0006]根据物联网数据确定实时计算任务；
[0007]将实时计算任务提交至Kubernetes集群，并在Kubernetes集群的基础上根据实时计算任务构建Flink集群的多个最小资源对象模型；
[0008]通过多个最小资源对象模型中的多个容器执行实时计算任务，以获得数据分析结果；
[0009]将数据分析结果存储至数据湖。
[0010]在本申请实施例中，在Kubernetes集群的基础上根据实时计算任务构建Flink集群的多个最小资源对象模型，包括：
[0011]分别监测每个最小资源对象模型的中央处理器的利用率与存储器的利用率；
[0012]判断中央处理器的利用率是否大于或等于第一预设百分比以及存储器的利用率是否大于或等于第二预设百分比；
[0013]在判定中央处理器的利用率大于或等于第一预设百分比且存储器的利用率大于或等于第二预设百分比的情况下，增加最小资源对象模型的数量。
[0014]在本申请实施例中，该物联网数据实时入湖及计算资源动态调整方法还包括：
[0015]判断中央处理器的利用率是否小于或等于第三预设百分比以及存储器的利用率是否小于或等于第四预设百分比；
[0016]在判定中央处理器的利用率小于或等于第三预设百分比且存储器的利用率小于或等于第四预设百分比的情况下，减少最小资源对象模型的数量。
[0017]在本申请实施例中，物联网数据实时入湖及计算资源动态调整系统还包括镜像服务器，该物联网数据实时入湖及计算资源动态调整方法还包括：
[0018]从镜像服务器中获取由多个联合文件系统组成的镜像，以得到初始化容器。
[0019]在本申请实施例中，物联网数据实时入湖及计算资源动态调整系统还包括Dlink平台，将实时计算任务提交至Kubernetes集群，在Kubernetes集群的基础上根据实时计算任务构建Flink集群的多个最小资源对象模型，包括：
[0020]通过Dlink平台确定最小资源对象模型的约束配置文件；
[0021]将实时计算任务和约束配置文件提交至Kubernetes集群；
[0022]基于约束配置文件，根据实时计算任务所需的资源构建多个最小资源对象模型。
[0023]在本申请实施例中，约束配置文件包括容器所需的中央处理器的上限配置和下限配置及存储器的上限配置和下限配置，该物联网数据实时入湖及计算资源动态调整方法还包括：
[0024]根据容器所需的中央处理器的上限配置和下限配置及存储器的上限配置和下限配置，确定每个最小资源对象模型所需的中央处理器的上限配置和下限配置及存储器的上限配置和下限配置。
[0025]在本申请实施例中，数据湖包括原始数据层、数据明细层、数据服务层和应用数据层。
[0026]本申请第二方面提供一种基于容器的物联网数据实时入湖及计算资源动态调整装置，包括：
[0027]存储器，被配置成存储指令；以及
[0028]处理器，被配置成从存储器调用指令以及在执行指令时能够实现上述的基于容器的物联网数据实时入湖及计算资源动态调整方法。
[0029]本申请第三方面提供一种基于容器的物联网数据实时入湖及计算资源动态调整系统，包括：
[0030]基于容器的物联网数据实时入湖及计算资源动态调整装置；
[0031]Flink集群，被配置成执行实时计算任务，得到数据分析结果；
[0032]Kubernetes集群，被配置成管理Flink集群；
[0033]数据湖，被配置成存储物联网数据和数据分析结果。
[0034]在本申请实施例中，物联网数据实时入湖及计算资源动态调整系统还包括：
[0035]镜像服务器，被配置成存储镜像；
[0036]Dlink平台，被配置成确定最小资源对象模型的约束配置文件。
[0037]本申请第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的基于容器的物联网数据实时入湖及计算资源动态调整方法。
[0038]通过上述技术方案，获取物联网数据，根据物联网数据确定实时计算任务，并将实时计算任务提交至Kubernetes集群，在Kubernetes集群的基础上根据实时计算任务构建Flink集群的多个最小资源对象模型。再通过多个最小资源对象模型中的多个容器执行实时计算任务，以获得数据分析结果。最后将数据分析结果存储至数据湖。本申请能够基于Kubernetes集群和数据湖，根据实时计算任务的数据量大小进行最小资源对象模型的扩容或缩容，以及对数据进行统一存储，减少计算资源的浪费，降低运维成本。
[0039]本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0040]附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：
[0041]图1示意性示出了根据本申请实施例的一种基于容器的物联网数据实时入湖及计算资源动态调整系统的结构图；
[0042]图2示意性示出了根据本申请实施例的一种基于容器的物联网数据实时入湖及计算资源动态调整方法的流程图；
[0043本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于容器的物联网数据实时入湖及计算资源动态调整方法，其特征在于，应用于基于容器的物联网数据实时入湖及计算资源动态调整系统，所述物联网数据实时入湖及计算资源动态调整系统包括Kubernetes集群、Flink集群和数据湖，所述物联网数据实时入湖及计算资源动态调整方法包括：获取物联网数据；根据所述物联网数据确定实时计算任务；将所述实时计算任务提交至Kubernetes集群，并在Kubernetes集群的基础上根据所述实时计算任务构建Flink集群的多个最小资源对象模型；通过所述多个最小资源对象模型中的多个容器执行所述实时计算任务，以获得数据分析结果；将所述数据分析结果存储至数据湖。2.根据权利要求1所述的基于容器的物联网数据实时入湖及计算资源动态调整方法，其特征在于，所述在Kubernetes集群的基础上根据所述实时计算任务构建Flink集群的多个最小资源对象模型，包括：分别监测每个最小资源对象模型的中央处理器的利用率与存储器的利用率；判断所述中央处理器的利用率是否大于或等于第一预设百分比以及所述存储器的利用率是否大于或等于第二预设百分比；在判定所述中央处理器的利用率大于或等于第一预设百分比且所述存储器的利用率大于或等于第二预设百分比的情况下，增加所述最小资源对象模型的数量。3.根据权利要求2所述的物联网数据实时入湖及计算资源动态调整方法，其特征在于，所述物联网数据实时入湖及计算资源动态调整方法还包括：判断所述中央处理器的利用率是否小于或等于第三预设百分比以及所述存储器的利用率是否小于或等于第四预设百分比；在判定所述中央处理器的利用率小于或等于第三预设百分比且所述存储器的利用率小于或等于第四预设百分比的情况下，减少所述最小资源对象模型的数量。4.根据权利要求1所述的物联网数据实时入湖及计算资源动态调整方法，其特征在于，所述物联网数据实时入湖及计算资源动态调整系统还包括镜像服务器，所述物联网数据实时入湖及计算资源动态调整方法还包括：从镜像服务器中获取由多个联合文件系统组成的镜像，以得到初始化容器。5.根据权利要求1所述的物联网数据实时入湖及计算资源动态调整方法，其特征在于，所述物联网数据实时入湖及计算资源动态调整系统还包括Dlink平台，所述将...

【专利技术属性】
技术研发人员：路培杰，周志忠，刘文虎，刘科，
申请(专利权)人：中科云谷科技有限公司，
类型：发明
国别省市：