基于分布式文件系统的数据库处理方法和电子设备技术方案

本发明专利技术公开了一种基于分布式文件系统的数据库处理方法和电子设备，用以解决酬金数据处理效率低的问题。本申请提供的方案根据预设采集逻辑获取至少一个数据库的酬金源数据；通过分布式文件系统对酬金源数据执行结构化拆分得到结构化酬金数据；基于预设处理逻辑对结构化酬金数据执行预处理，得到酬金预处理结果；根据计酬规则对酬金预处理结果执行计酬，将得到的酬金结果输出至结果数据库。本方案采用分布式文件系统对酬金源数据进行处理，能有效提高数据处理的效率。而且，可以预先设定采集逻辑、处理逻辑以及计酬规则来配置处理过程，灵活性强。通过分布式文件系统执行结构化拆分能有效降低数据处理对高端电子设备的依赖，降低数据处理成本。降低数据处理成本。降低数据处理成本。

【技术实现步骤摘要】
基于分布式文件系统的数据库处理方法和电子设备


[0001]本专利技术涉及数据处理领域，尤其涉及一种基于分布式文件系统的数据库处理方法和电子设备。

技术介绍

[0002]现有数据库数据量庞大，在根据酬金系统平台计酬时，需要大量时间进行酬金数据采集。采集得到的大量数据也需要花费大量时间进行计算处理才能生成酬金报表。
[0003]为了实现对大量数据进行处理，通常需要采用高存储量、高计算量的电子设备，所以现有的计酬方案依赖于高端电子设备，处理成本较高。
[0004]如何提高酬金数据处理效率，是本申请所要解决的技术问题。

技术实现思路

[0005]本申请实施例的目的是提供一种基于分布式文件系统的数据库处理方法和电子设备，用以解决酬金数据处理效率低的问题。
[0006]第一方面，提供了一种基于分布式文件系统的数据库处理方法，其特征在于，包括：
[0007]根据预设采集逻辑获取至少一个数据库的酬金源数据；
[0008]通过分布式文件系统对所述酬金源数据执行结构化拆分，得到结构化酬金数据，所述结构化酬金数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式文件系统的数据库处理方法，其特征在于，包括：根据预设采集逻辑获取至少一个数据库的酬金源数据；通过分布式文件系统对所述酬金源数据执行结构化拆分，得到结构化酬金数据，所述结构化酬金数据包括酬金业务数据和酬金校验数据；基于预设处理逻辑对所述结构化酬金数据执行预处理，得到酬金预处理结果；根据计酬规则对所述酬金预处理结果执行计酬，将得到的酬金结果输出至结果数据库。2.如权利要求1所述的方法，其特征在于，所述分布式文件系统包括Hadoop，所述根据预设采集逻辑获取至少一个数据库的酬金源数据，包括：通过Loader将酬金业务的酬金源数据导入至云端容器；其中，通过分布式文件系统对所述酬金源数据执行结构化拆分，得到结构化酬金数据，包括：通过分布式文件系统的云平台对所述云端容器的酬金源数据执行结构化拆分，得到结构化酬金数据。3.如权利要求2所述的方法，其特征在于，在通过分布式文件系统的云平台对所述云端容器的酬金源数据执行结构化拆分，得到结构化酬金数据之后，还包括：将所述结构化酬金数据压缩保存至所述分布式文件系统的集群主机。4.如权利要求2所述的方法，其特征在于，根据预设采集逻辑获取至少一个数据库的酬金源数据，包括：根据预设采集逻辑从以下至少一个系统的数据库获取酬金业务的酬金源数据：客户关系管理系统CRM、业务运营支撑系统BOSS、商业智能系统BI、终端销售系统。5.如权利要求1所述的方法，其特征在于，在根据预设采集逻辑获取至少一个数据库的酬金源数据之前，还包括：设定所述预设采集逻辑，所述预设采集逻辑包括以下至少一项：数据库连接信息、数据文件地址、数据导入字段、数据导出格式、数据输出目录。6.如权利要求5所述的方法，其特征在于...

【专利技术属性】
技术研发人员：李美霞，陈辉，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：