大数据迁移方法及工具技术

本发明专利技术公开了一种大数据迁移方法及工具，所述方法包括：一、数据同步工具部署在独立的设备上，二、数据备份，三、关闭源数据库，四、判断是否同时备份源数据库程序，并分割压缩数据文件，五、同步工具启动并发线程进行文件同步，六、解压文件，七、判断解压时是否保留源数据库程序并建立数据库，八、统计分析。所述大数据迁移工具包括源数据模块、数据备份模块、数据压缩分割模块、数据同步模块、数据解压模块、数据合并模块和目标数据模块。本发明专利技术可实现1小时内完成20G数据的搬迁，为一种非常快速有效的大数据搬迁方法及工具。

【技术实现步骤摘要】

本专利技术涉及移动互联网大数据搬家工具，具体涉及到一种大数据迁移方法及工具。
技术介绍
数据迁移是将在线磁盘设备中的数据按照指定方式迁移至下一级离线存储设备中的技术，目前各个门户类网站或运营支撑系统，在运行过程中都会产生大量的数据，这些数据的出账、统计的时候需要搬迁或备份，搬迁过程中往往需要耗费大量的时间，对于超过20G的数据库文件搬迁，现有的搬迁工具一般采用oracle或mysql工具，而现有的oracle或mysql提供的技术基础上，要完成20G数据搬迁需要超过5小时还需要专人值守，否则成功率太低，如此对于大数据搬迁效率太低，已经慢慢地无法满足现有快速发展的计算机技术。
技术实现思路
为了解决上述存在的技术问题，本专利技术提供一种大数据迁移方法及工具，可以在1小时内完成20G数据库的迁移工作。本专利技术解决其技术问题所采用的技术方案为:提供一种大数据迁移方法，包括以下步骤: 步骤一、将数据同步工具部署在一个独立的设备上； 步骤二、定期启动数据备份流程； 步骤三、关闭源数据库； 步骤四、判断是否同时备份源数据库程序，若是，则同时压缩源数据库程序和源数据文件，反之，则只压缩源数据文件，在进行压缩的时候同时进行了分割程序，分割后得到多个小压缩文件； 步骤五、启动同步工具，通过同步工具启动多个并发线程进行同时同步文件； 步骤六、同步结束后，解压文件，开始恢复源数据库； 步骤七、判断目标数据库是否保留源数据库程序，若是，则生成同源数据库一样的数据库，反之，则建立新的数据库； 步骤八、对目标数据库进行统计分析。进一步，步骤二中启动备份流程是通过启动shell脚本实现的。进一步，步骤六中建立新的数据库是通过执行新的数据库shell脚本实现的。—种大数据迁移工具，包括: a.源数据模块，为源数据库的载体； b.数据备份模块，用于将源数据模块上的数据进行拷贝备份； c.数据压缩分割模块，用于将数据备份模块上的源数据进行压缩，并在压缩的过程中进行分割，同时生成多个小压缩文件； d.数据同步模块，启动多个并发线程进行源数据文件的同步分割压缩； e.数据解压模块，将生成的多个小压缩文件进行解压恢复； f.数据合并模块，用于将解压后多个小数据文件合并； g.目标数据模块，合并后的数据即为最终的目标数据库； 本专利技术的有益效果为:采用本专利技术所述的大数据迁移方法及工具，可以实现1小时内完成20G数据的搬迁，特别的，在大数据迁移方法中，通过增加判断是否保留源数据库程序的备份文件，使得可以根据实际需求，做出对源数据库的舍弃或者保留，且对于大数据处理，在压缩的过程中同时进行了分割处理，将大数据分割为多个小数据，最后再通过数据合并模块进行数据合并，得到了目标数据库，以便后续的数据统计分析。【附图说明】下面结合附图和【具体实施方式】对本专利技术做进一步详细说明。图1是本专利技术大数据迁移方法的流程图； 图2是本专利技术大数据迁移工具结构示意图；【具体实施方式】如图1所示，提供一种大数据迁移方法，其包括以下步骤: 步骤一 101、将数据同步工具部署在一个单独的设备上； 步骤二 102、定期启动备份shell脚本程序，该定期优选的为每月对源数据库进行备份存储； 步骤三103、在数据迁移前，关闭源数据库，此处源数据文件大小为20G ； 步骤四104、通过shell脚本在备份源数据库中的数据时，判断是否同时备份源数据库程序，若是，则同时压缩源数据库程序和源数据文件，反之若否，则只压缩源数据文件，在进行20G源数据压缩的时候同时进行了分割程序，20G的源数据文件分割后得到200个小压缩文件； 步骤五105、压缩结束后，启动同步工具，同步工具启动20个并发线程开始同时同步200个小压缩文件； 步骤六106、同步结束后，解压200个小压缩文件，恢复成源数据库； 步骤七107、判断目标数据库是否需要保留源数据库程序，若是，则生成了同源数据库一样的数据库，反之若否，则执行新的数据库shell脚本建立新的数据库； 步骤八108、可以对目标数据进行统计分析。完成上述步骤一至步骤八花费时间在1小时以内，为一种非常快速有效的大数据搬迁方法。如图2所示，为图1所述大数据迁移方法所配工具，是由源数据模块1、数据备份模块2、数据压缩分割模块3、数据同步模块4、数据解压模块5、数据合并模块6和目标数据模块7组成的。其中源数据模块1为原始数据库的载体；数据备份模块2用于将源数据模块1上的数据库备份存储；数据压缩分割模块3用于将备份后的数据库进行压缩，并在压缩的过程中进行分割，同时生成多个小压缩文件；数据同步模块4通过启动多个并发线程进行源数据文件的同步分割压缩；数据解压模块5用于将生成的多个小压缩文件进行解压恢复；数据合并模块6用于将解压后的多个小数据文件合并生产一个整体数据库即为目标数据模块7。以上内容是结合具体的优选实施方式对本专利技术所作的进一步详细说明，不能认定本专利技术的具体实施只局限于这些说明，对于本专利技术所属
的技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本专利技术的保护范围。【主权项】1.一种大数据迁移方法，其特征在于:包括以下步骤: 步骤一、将数据同步工具部署在一个独立的设备上； 步骤二、定期启动数据备份流程； 步骤三、关闭源数据库； 步骤四、判断是否同时备份源数据库程序，若是，则同时压缩源数据库程序和源数据文件，反之，则只压缩源数据文件，在进行压缩的时候同时进行了分割程序，分割后得到多个小压缩文件； 步骤五、启动同步工具，通过同步工具启动多个并发线程进行同时同步文件； 步骤六、同步结束后，解压文件，开始恢复源数据库； 步骤七、判断目标数据库是否保留源数据库程序，若是，则生成同源数据库一样的数据库，反之，则建立新的数据库； 步骤八、对目标数据库进行统计分析。2.根据权利要求1所述的大数据迁移方法，其特征在于:步骤二中启动备份流程是通过启动shell脚本实现的。3.根据权利要求1所述的大数据迁移方法，其特征在于:步骤六中建立新的数据库是通过执行新的数据库shell脚本实现的。4.一种大数据迁移工具，其特征在于:包括: a.源数据模块，为源数据库的载体； b.数据备份模块，用于将源数据模块上的数据进行拷贝备份； c.数据压缩分割模块，用于将数据备份模块上的源数据进行压缩，并在压缩的过程中进行分割，同时生成多个小压缩文件； d.数据同步模块，启动多个并发线程进行源数据文件的同步分割压缩； e.数据解压模块，将生成的多个小压缩文件进行解压恢复； f.数据合并模块，用于将解压后多个小数据文件合并； g.目标数据模块，合并后的数据即为最终的目标数据库。【专利摘要】本专利技术公开了一种大数据迁移方法及工具，所述方法包括：一、数据同步工具部署在独立的设备上，二、数据备份，三、关闭源数据库，四、判断是否同时备份源数据库程序，并分割压缩数据文件，五、同步工具启动并发线程进行文件同步，六、解压文件，七、判断解压时是否保留源数据库程序并建立数据库，八、统计分析。所述大数据迁移工具包括源数据模块、数据备份模块、数据压缩分割模块、数据同步模块、数据解压模块、数据合并模块和目标本文档来自技高网...

【技术保护点】
一种大数据迁移方法，其特征在于：包括以下步骤：步骤一、将数据同步工具部署在一个独立的设备上；步骤二、定期启动数据备份流程；步骤三、关闭源数据库；步骤四、判断是否同时备份源数据库程序，若是，则同时压缩源数据库程序和源数据文件，反之，则只压缩源数据文件，在进行压缩的时候同时进行了分割程序，分割后得到多个小压缩文件；步骤五、启动同步工具，通过同步工具启动多个并发线程进行同时同步文件；步骤六、同步结束后，解压文件，开始恢复源数据库；步骤七、判断目标数据库是否保留源数据库程序，若是，则生成同源数据库一样的数据库，反之，则建立新的数据库；步骤八、对目标数据库进行统计分析。

【技术特征摘要】

【专利技术属性】
技术研发人员：瞿国桂，
申请(专利权)人：上海福网信息科技有限公司，
类型：发明
国别省市：上海;31