一种分布式集群结合虚拟机房大数据迁移优化方法技术

本发明专利技术公开了一种分布式集群结合虚拟机房大数据迁移优化方法，包括以下步骤：S11、创建虚拟数据中心结合集群管理模块；S12、采用帕累托最优解构建权重优先模型和标记梳理；S13、采用数据池及仓储罐结合元过程数据对数据进行分类迁移。该方法主要是通过创建虚拟数据中心结合集群管理，再采用帕托最优解构建权重优先模型和标记梳理，最后采用数据池及仓储罐结合元过程数据对数据进行分类迁移，可以在大数据迁移领域结合人工智能解决数据迁移过程中产生的差异化问题，对迁移数据进行有序，高效的迁移。的迁移。的迁移。

【技术实现步骤摘要】
一种分布式集群结合虚拟机房大数据迁移优化方法


[0001]本专利技术属于大数据与AI
，具体涉及一种分布式集群结合虚拟机房大数据迁移优化方法。

技术介绍

[0002]随着科学技术及互联网的发展，推动着大数据时代的来临，各行各业每天都在产生数量巨大的数据碎片，数据计量单位已从从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集也不再是技术问题，只是面对如此众多的数据，我们怎样才能找到其内在规律。FusionComputer在云计算环境中经过验证的企业级开放式服务器虚拟化解决方案，可以将静态、复杂的IT环境转变为更加动态、易于管理的虚拟数据中心的特点。同时，它也可以提供先进的管理功能，实现虚拟数据中心的集成和自动化，而成本远远低于其它解决方案。
[0003]中国专利技术专利CN202110585631.4公开了一种数据迁移方法、装置、存储介质及数据迁移设备，该数据迁移方法应用于数据迁移系统，该数据迁移系统包括源集群、目标集群和消息队列，该数据迁移方法包括：获取迁移指令，并根据迁本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式集群结合虚拟机房大数据迁移优化方法，其特征在于包括以下步骤：S11、创建虚拟数据中心结合集群管理模块；S12、采用帕累托最优解构建权重优先模型和标记梳理；S13、采用数据池及仓储罐结合元过程数据对数据进行分类迁移。2.根据权利要求1所述的分布式集群结合虚拟机房大数据迁移优化方法，其特征在于：所述步骤S12包括以下步骤：S121、采用帕累托分析法(Pareto)构建权重优先模型；S122、将Pod业务往来数据量大且与核心应用IP有关联的数据的所有Node数据通过权重优先模型分析得到最优解Node后对Node进行优先标记；S123、将最优解Node数据通过Flink开辟的最优内存池进行独立迁移。3.根据权利要求2所述的分布式集群结合虚拟机房大数据迁移优化方法，其特征在于：所述步骤S13包括以下步骤：S131、在中央服务器部署中央初始数据池；S132、在分布式虚拟机房绑定的各Node部署初始数据仓储罐收集各地方Node管理的Pod数据，并进行初步整理，将其中价值不大的数据放入中央初始数据池分配出来的杂物数据池；S133、通过步骤S12的优先标记将优先级最高的Node及其管理的所有Pod按照存储在Node的日志数据，进行权重优先模型运算并按照数据大小及关联核心应用IP次数条件分类，得到Pareto最优解并更新优先标记；S134、按标记优先顺序对迁移数据进行迁移。4.根据权利要求3所述的分布式集群结合虚拟机房大数据迁移优化方法...

【专利技术属性】
技术研发人员：韩平，曾锦超，
申请(专利权)人：广西壮族自治区公众信息产业有限公司，
类型：发明
国别省市：