数据处理方法、装置以及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置以及存储介质。其中，数据处理方法包括：构建中间数据库，并建立中间数据库与多个待同步业务数据库之间的通信连接；通过通信连接，将各待同步业务数据库的mysql表映射到本地；在本地mysql服务器进行数据分层，得到数据运营层和数据加工层；根据mysql表从对应的待同步业务数据库中抽取数据至数据运营层，并从数据运营层读出所抽取的数据至数据加工层进行加工；将加工后的数据回写至对应的待同步业务数据库。该数据处理方法，可以通过一个本地服务器实现对多个数据库中的数据进行处理，从而降低成本。且本地服务器无需存储需要被处理的数据，从而减轻了本地服务器的负担。了本地服务器的负担。了本地服务器的负担。

【技术实现步骤摘要】
数据处理方法、装置以及存储介质


[0001]本专利技术涉及数据库
，尤其涉及一种数据处理方法、装置以及存储介质。

技术介绍

[0002]Mysql是一种关系型数据库管理系统，包括多个数据库与多个mysql服务器。但是，现有的数据库中各个数据库内存储的数据相互独立，从而影响数据同步。而且，若需要对多个数据库中的数据进行加工处理，则需要将多个数据库中的数据分别存储在与其对应的mysql服务器内，从而增大了服务器的负担，且由于需要多个服务器，会导致成本增加。

技术实现思路

[0003]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种数据处理方法，以通过一个本地服务器实现对多个数据库中的数据进行处理，从而降低成本。且本地服务器无需存储需要被处理的数据，从而减轻了本地服务器的负担。
[0004]本专利技术的第二个目的在于提出一种计算机可读存储介质。
[0005]本专利技术的第三个目的在于提出一种数据处理装置。
[0006]为达到上述目的，本专利技术第一方面实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括以下步骤：构建中间数据库，并建立所述中间数据库与多个待同步业务数据库之间的通信连接；通过所述通信连接，将各待同步业务数据库的mysql表映射到本地；在本地mysql服务器进行数据分层，得到数据运营层和数据加工层；根据所述mysql表从对应的待同步业务数据库中抽取数据至所述数据运营层，并从所述数据运营层读出所抽取的数据至所述数据加工层进行加工；将加工后的数据回写至对应的待同步业务数据库。2.如权利要求1所述的数据处理方法，其特征在于，通过federated数据引擎建立所述中间数据库与所述多个待同步业务数据库之间的通信连接。3.如权利要求2所述的数据处理方法，其特征在于，所述根据所述mysql表从对应的待同步业务数据库中抽取数据至所述数据运营层，包括：根据所述mysql表确定待抽取的数据量级；如果所述数据量级小于预设量级，则通过所述federated数据引擎从对应的待同步业务数据库中抽取数据至所述数据运营层；如果所述数据量级大于或等于所述预设量级，则调取对应的python定时脚本，利用所述python定时脚本从对应的待同步业务数据库中定时抽取数据至所述数据运营层。4.如权利要求3所述的数据处理方法，其特征在于，所述从所述数据运营层读出所抽取的数据至所述数据加工层进行加工，包括：利用存储过程对从所述数据运营层读出的数据进行转换，并将转换结果存入所述数据加工层；或者调用python转换脚本，利用所述python转换脚本对从所述数据运营层读出的数据进行转换，并将转换结果存入所述数据加工层。5.如权利要求1
‑
4中任一项所述的数据处理方法，其特征在于，在本地mysql服务器进行数据分层处理，还得到应用层，所述方法还包括：将所述加工后的数据传输至所述应用层，以在所述应用层以可...

【专利技术属性】
技术研发人员：王超，
申请(专利权)人：合肥美的智能科技有限公司，
类型：发明
国别省市：