一种数据调度方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开了一种数据调度方法、系统、装置及存储介质，该方法包括：获取数据库备份文件并将对该数据库备份文件进行归集；基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据；将原始数据转存到数据仓库。该系统包括：归集模块，分发模块和转存模块。该装置包括存储器以及用于执行上述数据调度方法的处理器。通过使用本发明专利技术，可提高数据转存的速度。本发明专利技术作为一种数据调度方法、系统、装置及存储介质，可广泛应用于数据转存领域。

【技术实现步骤摘要】
一种数据调度方法、系统、装置及存储介质
本专利技术涉及数据转存领域，尤其涉及一种数据调度方法、系统、装置及存储介质。
技术介绍
面对各行各业对大数据分析的需求日益增长，数据从传统数据库到大数据分析平台的转存方式以及效率成为一大难题，当前的转存方式由于没有对传统数据库备份文件进行集中式归档和管理，还原前需要将备份文件分发到对应的数据库所在服务器，数据传输还需借助第三方工具。该转存方式环节多，效率低，重复性工作量较大，需要耗费大量的人工，出错率较高，已经不能满足企业发展和项目生存的需要。
技术实现思路
为了解决上述技术问题，本专利技术的目的是提供一种数据调度方法、系统、装置及存储介质，可使数据快速转存到指定的数据仓库。本专利技术所采用的第一技术方案是：一种数据调度方法，包括以下步骤：获取数据库备份文件并将对该数据库备份文件进行归集；基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据；将原始数据转存到数据仓库；进一步，所述获取数据库备份文件并将对该数据库备份文件进行归集这一步骤，其具体包括：获取数据库数据并生成数据文件目录；从数据文件目录中获取所需数据库备份文件并进行归集分类，归集分类完成后对文件格式进行校验，校验成功得到归集后的数据库备份文件。进一步，所述基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据这一步骤，其具体包括：基于Netty框架将数据库备份文件分发到对应数据库所在的服务器；调用还原脚本对数据库备份文件进行还原并对还原后的数据进行数据分析；进一步，所述将原始数据转存到数据仓库这一步骤，其具体包括：基于DataX读取数据库，获取数据库中的原始数据；按预设规则将原始数据分类并将分类后的数据转存到数据仓库；进一步，所述基于Netty框架将数据库备份文件分发到对应数据库所在的服务器这一步骤，其具体包括：建立数据中心端与分发服务中心端的连接；响应于数据中心端发送的分发请求，将数据库备份文件分发到对应服务器。进一步，所述基于DataX读取数据库，获取数据库中的原始数据这一步骤，其具体包括：根据数据库的物理地址将数据库划分为不同地址的区域；创建对应数量的处理线程对各个区域进行扫描并获取数据，整合得到数据库中的原始数据。进一步，所述响应于数据中心端发送的分发请求中采用Protobuf序列化协议响应和发送请求。本专利技术所采用的第二技术方案是：一种数据调度系统，包括：归集模块，用于获取数据库备份文件并将对该数据库备份文件进行归集；分发模块，用于基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据；转存模块，用于将原始数据转存到数据仓库。本专利技术所采用的第三技术方案是：一种数据调度装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述所述一种数据调度方法。本专利技术所采用的第四技术方案是：一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如上所述一种数据调度方法。本专利技术方法、系统、装置及存储介质的有益效果是：本专利技术通过对数据库文件进行归集、分发、还原和转存实现了海量数据的统一调度，形成了数据流转闭环，有效地提高了数据获取和转存的速度，减少了数据管理人员的工作量。附图说明图1是本专利技术一种数据调度方法的步骤流程图；图2是本专利技术一种数据调度系统的结构框图。具体实施方式下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。在一些需要从数据库中转出数据并存储的场景中，如企业将获得的数据转出到分析平台，通过使用本方法，无需借助第三方工具即可完成数据转存，提高数据转存的速度，并且通过数据中心端对备份文件进行归集分类管理，并对文件进行格式校验，构建完整的数据系统，使数据流向形成有效闭环，减少数据人员工作量。如图1所示，本专利技术提供了一种数据调度方法，该方法包括以下步骤：S101、获取数据库备份文件并将对该数据库备份文件进行归集。具体地，可手动添加各个数据库的数据信息，所述数据信息包括各个单位报送的结构化数据和非结构化数据，用户可通过数据中心端对这些文件进行可视化增加、删除、修改和查阅。S102、基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据；S103、将原始数据转存到数据仓库。具体地，对还原后的原始数据库建立数据管理，本专利技术步骤中的将数据从数据库转存到数据仓库，可通过脚本实现部分转存或全库转存，进一步减轻工作量，可通过服务器管理将不同类型的数据分配到不同服务器并对这些数据库和服务器进行统一管理。进一步作为本方法的优选实施例，所述获取数据库备份文件并将对该数据库备份文件进行归集这一步骤，其具体包括：获取数据库数据并生成数据文件目录；从数据文件目录中获取所需数据库备份文件并进行归集分类，归集分类完成后对文件格式进行校验，校验成功得到归集后的数据库备份文件。具体地，通过数据文件目录实现对数据文件进行可视化的统一管理。进一步作为本方法的优选实施例，所述基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据这一步骤，其具体为：基于Netty框架将数据库备份文件分发到对应数据库所在的服务器；调用还原脚本对数据库备份文件进行还原并对还原后的数据进行数据分析。具体地，Netty是一款异步的事件驱动的网络应用程序框架，Netty框架具有高并发、高性能、高可靠和扩展的特点，Netty框架底层采用两层线程模型、NIO多路复用非阻塞技术，其框架中的handler链条可以扩展、可定制序列化协议和网络通信协议。进一步作为本方法优选实施例，所述将原始数据转存到数据仓库这一步骤，其具体包括：基于DataX读取数据库，获取数据库中的原始数据；按预设规则将原始数据分类并将分类后的数据转存到数据仓库。具体地，DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)等各种异构数据源之间稳定高效的数据同步功能，本专利技术针对DataX读取数据库步骤作进一步的改进以提升读取数据的速度。进一步作为本方法优选实施例，所述基于Netty框架将数据库备份文件分发到对应数据库所在的服务器这一步骤，其具体包括：建立数据中心端与分发服务端的连接；响应于数据中心端发送的分发请求，将数据库备份文件分发到对应服务器。具体地，本本文档来自技高网...

【技术保护点】
1.一种数据调度方法，其特征在于，包括：/n获取数据库备份文件并将对该数据库备份文件进行归集；/n基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据；/n将原始数据转存到数据仓库。/n

【技术特征摘要】
1.一种数据调度方法，其特征在于，包括：
获取数据库备份文件并将对该数据库备份文件进行归集；
基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据；
将原始数据转存到数据仓库。


2.根据权利要求1所述的一种数据调度方法，其特征在于，所述获取数据库备份文件并将对该数据库备份文件进行归集这一步骤，其具体包括：
获取数据库数据并生成数据文件目录；
从数据文件目录中获取所需数据库备份文件并进行归集分类，归集分类完成后对文件格式进行校验，校验成功得到归集后的数据库备份文件。


3.根据权利要求1所述的一种数据调度方法，其特征在于，所述基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据这一步骤，其具体包括：
基于Netty框架将数据库备份文件分发到对应数据库所在的服务器；
调用还原脚本对数据库备份文件进行还原并对还原后的数据进行数据分析。


4.根据权利要求1所述的一种数据调度方法，其特征在于，所述将原始数据转存到数据仓库这一步骤，其具体包括：
基于DataX读取数据库，获取数据库中的原始数据；
按预设规则将原始数据分类并将分类后的数据转存到数据仓库。


5.根据权利要求3所述的一种数据调度方法，其特征在于，所述基于Netty框架将数据库备份文件分发到对应数据库所在的服务器这一步骤，其具体包括：

【专利技术属性】
技术研发人员：罗乐滔，谢华东，汤强，梁瑜灏，李娟，
申请(专利权)人：广州广电运通信息科技有限公司，广州广电运通金融电子股份有限公司，
类型：发明
国别省市：广东;44