数据处理方法、装置以及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置以及存储介质。其中，数据处理方法包括：构建中间数据库，并建立中间数据库与多个待同步业务数据库之间的通信连接；通过通信连接，将各待同步业务数据库的mysql表映射到本地；在本地mysql服务器进行数据分层，得到数据运营层和数据加工层；根据mysql表从对应的待同步业务数据库中抽取数据至数据运营层，并从数据运营层读出所抽取的数据至数据加工层进行加工；将加工后的数据回写至对应的待同步业务数据库。该数据处理方法，可以通过一个本地服务器实现对多个数据库中的数据进行处理，从而降低成本。且本地服务器无需存储需要被处理的数据，从而减轻了本地服务器的负担。了本地服务器的负担。了本地服务器的负担。

【技术实现步骤摘要】
数据处理方法、装置以及存储介质


[0001]本专利技术涉及数据库
，尤其涉及一种数据处理方法、装置以及存储介质。

技术介绍

[0002]Mysql是一种关系型数据库管理系统，包括多个数据库与多个mysql服务器。但是，现有的数据库中各个数据库内存储的数据相互独立，从而影响数据同步。而且，若需要对多个数据库中的数据进行加工处理，则需要将多个数据库中的数据分别存储在与其对应的mysql服务器内，从而增大了服务器的负担，且由于需要多个服务器，会导致成本增加。

技术实现思路

[0003]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种数据处理方法，以通过一个本地服务器实现对多个数据库中的数据进行处理，从而降低成本。且本地服务器无需存储需要被处理的数据，从而减轻了本地服务器的负担。
[0004]本专利技术的第二个目的在于提出一种计算机可读存储介质。
[0005]本专利技术的第三个目的在于提出一种数据处理装置。
[0006]为达到上述目的，本专利技术第一方面实施例提出一种数据处理方法，所述方法包括以下步骤：构建中间数据库，并建立所述中间数据库与多个待同步业务数据库之间的通信连接；通过所述通信连接，将各待同步业务数据库的mysql表映射到本地；在本地mysql服务器进行数据分层，得到数据运营层和数据加工层；根据所述mysql表从对应的待同步业务数据库中抽取数据至所述数据运营层，并从所述数据运营层读出所抽取的数据至所述数据加工层进行加工；将加工后的数据回写至对应的待同步业务数据库。
[0007]本专利技术实施例的数据处理方法，通过构建中间数据库，并建立中间数据库与多个待同步业务数据库之间的通信连接；进而通过通信连接，将各待同步业务数据库的mysql表映射到本地；与此同时，在本地mysql服务器进行数据分层，得到数据运营层和数据加工层；由此，可以根据mysql表从对应的待同步业务数据库中抽取数据至数据运营层，并从数据运营层读出所抽取的数据至数据加工层进行加工；进而将加工后的数据回写至对应的待同步业务数据库。由此，可以通过一个本地服务器实现对多个数据库中的数据进行处理，从而降低成本。且本地服务器无需存储需要被处理的数据，从而减轻了本地服务器的负担。
[0008]另外，本专利技术上述的数据处理方法还可以具有如下附加的技术特征：
[0009]根据本专利技术的一个实施例，所述数据处理方法还包括：通过federated(一种存储引擎)数据引擎建立所述中间数据库与所述多个待同步业务数据库之间的通信连接。
[0010]根据本专利技术的一个实施例，所述根据所述mysql表从对应的待同步业务数据库中抽取数据至所述数据运营层包括：根据所述mysql表确定待抽取的数据量级；如果所述数据量级小于预设量级，则通过所述federated数据引擎从对应的待同步业务数据库中抽取数据至所述数据运营层；如果所述数据量级大于或等于所述预设量级，则调取对应的python
定时脚本，利用所述python定时脚本从对应的待同步业务数据库中定时抽取数据至所述数据运营层。
[0011]根据本专利技术的一个实施例，所述从所述数据运营层读出所抽取的数据至所述数据加工层进行加工，包括：利用存储过程对从所述数据运营层读出的数据进行转换，并将转换结果存入所述数据加工层；或者调用python转换脚本，利用所述python转换脚本对从所述数据运营层读出的数据进行转换，并将转换结果存入所述数据加工层。
[0012]根据本专利技术的一个实施例，所述数据处理方法还包括：将所述加工后的数据传输至所述应用层，以在所述应用层以可视化的形式展示。
[0013]为达到上述目的，本专利技术第二方面实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的数据处理方法。
[0014]本专利技术实施例的计算机可读存储介质，在其上存储的计算机程序被处理器执行时，可以通过一个本地服务器实现对多个数据库中的数据进行处理，从而降低成本。且本地服务器无需存储需要被处理的数据，从而减轻了本地服务器的负担。
[0015]为达到上述目的，本专利技术第三方面实施例提出一种数据处理装置，所述装置包括构建模块，用于构建中间数据库，并建立所述中间数据库与多个待同步业务数据库之间的通信连接；映射模块，用于通过所述通信连接，将各待同步业务数据库的mysql表映射到本地；分层模块，用于在本地mysql服务器进行数据分层，得到数据运营层和数据加工层；存储加工模块，用于根据所述mysql表从对应的待同步业务数据库中抽取数据至所述数据运营层，并从所述数据运营层读出所抽取的数据至所述数据加工层进行加工；回写模块，用于将加工后的数据回写至对应的待同步业务数据库。
[0016]本专利技术实施例的数据处理装置，通过构建模块构建中间数据库，并建立所述中间数据库与多个待同步业务数据库之间的通信连接；进而映射模块可以通过所述通信连接，将各待同步业务数据库的mysql表映射到本地；与此同时，分层模块在本地mysql服务器进行数据分层，得到数据运营层和数据加工层；由此，存储加工模块可以根据所述mysql表从对应的待同步业务数据库中抽取数据至所述数据运营层，并从所述数据运营层读出所抽取的数据至所述数据加工层进行加工；进而回写模块将加工后的数据回写至对应的待同步业务数据库。由此，可以通过一个本地服务器实现对多个数据库中的数据进行处理，从而降低成本。且本地服务器无需存储需要被处理的数据，从而减轻了本地服务器的负担。
[0017]另外，本专利技术上述的数据处理装置还可以具有如下附加的技术特征：
[0018]根据本专利技术的一个实施例，所述构建模块具体用于：通过federated数据引擎建立所述中间数据库与所述多个待同步业务数据库之间的通信连接。
[0019]根据本专利技术的一个实施例，所述存储加工模块具体用于：根据所述mysql表确定待抽取的数据量级；如果所述数据量级小于预设量级，则通过所述federated数据引擎从对应的待同步业务数据库中抽取数据至所述数据运营层；如果所述数据量级大于或等于所述预设量级，则调取对应的python定时脚本，利用所述python定时脚本从对应的待同步业务数据库中定时抽取数据至所述数据运营层。
[0020]根据本专利技术的一个实施例，所述存储加工模块还可用于：利用存储过程对从所述数据运营层读出的数据进行转换，并将转换结果存入所述数据加工层；或者调用python转换脚本，利用所述python转换脚本对从所述数据运营层读出的数据进行转换，并将转换结
果存入所述数据加工层。
[0021]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0022]图1是本专利技术一个实施例的数据处理方法的流程图；
[0023]图2是本专利技术一个具体实施例的数据处理方法的示意图；
[0024]图3是本专利技术实施例的数据处理装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括以下步骤：构建中间数据库，并建立所述中间数据库与多个待同步业务数据库之间的通信连接；通过所述通信连接，将各待同步业务数据库的mysql表映射到本地；在本地mysql服务器进行数据分层，得到数据运营层和数据加工层；根据所述mysql表从对应的待同步业务数据库中抽取数据至所述数据运营层，并从所述数据运营层读出所抽取的数据至所述数据加工层进行加工；将加工后的数据回写至对应的待同步业务数据库。2.如权利要求1所述的数据处理方法，其特征在于，通过federated数据引擎建立所述中间数据库与所述多个待同步业务数据库之间的通信连接。3.如权利要求2所述的数据处理方法，其特征在于，所述根据所述mysql表从对应的待同步业务数据库中抽取数据至所述数据运营层，包括：根据所述mysql表确定待抽取的数据量级；如果所述数据量级小于预设量级，则通过所述federated数据引擎从对应的待同步业务数据库中抽取数据至所述数据运营层；如果所述数据量级大于或等于所述预设量级，则调取对应的python定时脚本，利用所述python定时脚本从对应的待同步业务数据库中定时抽取数据至所述数据运营层。4.如权利要求3所述的数据处理方法，其特征在于，所述从所述数据运营层读出所抽取的数据至所述数据加工层进行加工，包括：利用存储过程对从所述数据运营层读出的数据进行转换，并将转换结果存入所述数据加工层；或者调用python转换脚本，利用所述python转换脚本对从所述数据运营层读出的数据进行转换，并将转换结果存入所述数据加工层。5.如权利要求1
‑
4中任一项所述的数据处理方法，其特征在于，在本地mysql服务器进行数据分层处理，还得到应用层，所述方法还包括：将所述加工后的数据传输至所述应用层，以在所述应用层以可...

【专利技术属性】
技术研发人员：王超，
申请(专利权)人：合肥美的智能科技有限公司，
类型：发明
国别省市：