数据处理方法、装置、计算机可读存储介质及处理器制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、计算机可读存储介质及处理器。其中，该方法包括：获取数据配置信息；将数据配置信息加载至Shell脚本，并执行Shell脚本的第一预设指令，以连接至少一个分库数据库；从至少一个分库数据库抽取数据，并写入到数据分片文件中。本发明专利技术解决了相关技术中采用应用程序直连接数据库方式抽取数据，容易对应用性能和数据库性能产生不利影响的技术问题。

【技术实现步骤摘要】
数据处理方法、装置、计算机可读存储介质及处理器
本专利技术涉及数据处理
，具体而言，涉及一种数据处理方法、装置、计算机可读存储介质及处理器。
技术介绍
针对业务水平分库的数据有合并汇总分析需求时，通常采用的处理方式有两种：一种是在应用程序中利用分库中间件(例如，mycat)直接操作分库进行数据合并汇总分析；一种是采用程序将分库数据离线抽取到大数据平台进行离线计算分析。此两种方法均采用应用程序直连接数据库方法抽取数据，对应用性能和数据库性能均有一定要求和影响，并且抽取的数据库表发生变更时需要改动应用程序重新发布。另外，现有技术通常采用Java语言开发批量程序，通过JDBC连接方式查询数据库数据，再将数据写入到数据文件中。此种方法对Java应用的内存使用损耗较高，会间接影响其他批量程序执行。并且，一般情况Java批量应用是与数据库主库连接，抽取业务数据过程中，会对数据库主库产生一定性能压力，压力过大可能会影响正常业务处理。另外，使用Java应用频繁读写数据文件，I/O读写效率不高。针对上述的问题，目前尚未提出有效的解决方案。<本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取数据配置信息；/n将所述数据配置信息加载至Shell脚本，并执行所述Shell脚本的第一预设指令，以连接至少一个分库数据库；/n从所述至少一个分库数据库抽取数据，并写入到数据分片文件中。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取数据配置信息；
将所述数据配置信息加载至Shell脚本，并执行所述Shell脚本的第一预设指令，以连接至少一个分库数据库；
从所述至少一个分库数据库抽取数据，并写入到数据分片文件中。


2.根据权利要求1所述的方法，其特征在于，在获取数据配置信息之前，还包括：
接收查询配置指令；
依据所述查询配置指令，从抽数配置库中加载出所述数据配置信息，其中，所述数据配置信息包括以下至少之一：数据库名、数据表名、指定抽取sql、数据抽取时间、每个文件允许数据量。


3.根据权利要求1所述的方法，其特征在于，从所述至少一个分库数据库抽取数据，并写入到数据分片文件中，包括：
调用所述Shell脚本；
执行所述Shell脚本的第二预设指令，将所述至少一个分库数据库抽取的数据写入到所述数据分片文件中。


4.根据权利要求1至3中任一项所述的方法，其特征在于，在从所述至少一个分库数据库抽取数据，并写入到数据分片文件中之后，还包括：
对所述数据分片文件进行预设处理操作，其中，所述预设处理操作至少包括：汇总、格式化、切割。


5.根据权利要求4所述的方法，其特征在于，对所述数据分片文件进行预设处理操作，包括：
执行所述Shell脚本的第三预设指令，将所述数据分片文件进行汇总，得到原始数据文件；
执行所述Shell脚本的第四预设指令，将所...

【专利技术属性】
技术研发人员：张兰英，江黎枫，张海宁，续武强，施妍萍，许璐，王璐，王坤锋，
申请(专利权)人：中国邮政储蓄银行股份有限公司，
类型：发明
国别省市：北京;11