一种基于集群Pod调度结合数据湖的数据优化方法技术

本发明专利技术公开了一种基于集群Pod调度结合数据湖的数据优化方法，包括以下步骤：S11、搭建分布式数据池和分布式集群并进行数据整理；S12、进行类型数据池数据与Pod绑定及pod调度过程中的数据分析和处理。该方法主要是通过在中央服务器部署中央初始数据池，在分布式网络各地方核心Node（节点）部署中央初始数据池对应的初始数据仓储罐收集地方的Pod数据，针对调度过来的Pod与调度前数据联合分析、集群外迁移进来数据与调度过来的Pod 2种情况进行分析采用不同方法进行处理，解决现有k8s集群Pod调度后数据分析效率不高，非集群业务过渡到Kubernetes时数据迁移工作量大的问题。Kubernetes时数据迁移工作量大的问题。Kubernetes时数据迁移工作量大的问题。

【技术实现步骤摘要】
一种基于集群Pod调度结合数据湖的数据优化方法


[0001]本专利技术属于大数据与AI
，具体涉及一种基于集群Pod调度结合数据湖的数据优化方法。

技术介绍

[0002]随着科学技术及互联网的发展，推动着大数据时代的来临，各行各业每天都在产生数量巨大的数据碎片，数据计量单位已从从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集不再是问题，如今的技术问题是面对如此众多的数据，我们怎样才能找到其内在规律。数据湖架构是面向多数据源的信息存储，包括物联网在内，大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户，但数据湖架构可不仅仅是一个巨大的磁盘而已，数据湖的数据持久性和安全是需要优先考虑的因素，很多选择都能交付一个合理的成本，但并非所有都能满足数据湖的长期存储需求。挑战就在于数据湖中很多数据永远不会删除，这种数据的价值在于它要拿来分析以及和年复一年的数据进行比对，这将抵消其容量成本，所以我们需要对数据进行优化。
[0003]针对数据分析处理及优化，现有技术已有相关报道本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于集群Pod调度结合数据湖的数据优化方法，其特征在于包括以下步骤：S11、搭建分布式数据池和分布式集群并进行数据整理；S12、进行类型数据池数据与Pod绑定和pod调度过程中的数据分析处理及优化。2.根据权利要求1所述的基于集群Pod调度结合数据湖的数据优化方法，其特征在于：所述步骤S11包括以下步骤：S111、在中央服务器部署中央初始数据池和基于Kubernetes的中央集群，所述中央集群产生的数据存储在中央初始数据池；同时创建对存储数据进行分类存储的多种类型数据池，并在各地方Node创建用于存放当地pod产生的数据的对应的多种类型数据仓储罐；S112、在分布式网络各地方核心Node部署中央初始数据池对应的初始数据仓储罐收集地方的Pod数据，并进行初步整理，将其中的价值不大数据放入中央初始数据池分配出来的杂物数据池，其余数据按照数据类型放入不同类型数据池的数据仓储罐；S113、将采集的物理设备及网络数据、应用运算数据、日志文本数据放入到中央初始数据池，同时捕捉到采集数据对应的元数据，采集数据关联的元数据、元过程数据、和采集数据与Pod关联的元数据及元过程数据三方关系映射为元数据标识一起传递给对应类型数据池进行处理。3.根据权利要求2所述的基于集群Pod调度结合数据湖的数据优化方法，其特征在于：所述步骤S12 pod调度过程中的数据分析处理包括两种pod数据分析情况，具体为：S121、当Pod调度到新Node，Pod产生新的业务数据，需要将Pod调度前和调度后的数据进行分析时；S122、当部分业务没有整合到集群内，集群外业务数据需要与调度过来的Pod整合时。4.根据权利要求3所述的基于集群Pod调度结合数据湖的数据优化方法，其特征在于：所述pod数据分析情况S121的处理方法具体包括以下步骤：S1211、分析收到的元数据标识格式；S1212、获取每条数据关联的元数据并进行统一声明；S1213、对Pod调度前和调度后的数据进行跨数据池的分析及运算。5.根据权利要求3所述的基于集群Pod调度结合数据湖的数据...

【专利技术属性】
技术研发人员：唐继哲，陆克伦，
申请(专利权)人：广西壮族自治区公众信息产业有限公司，
类型：发明
国别省市：