不同存储介质间的数据交换系统、方法、装置和存储介质制造方法及图纸

本发明专利技术提供一种不同存储介质间的数据交换系统、方法、装置和存储介质，所述系统包括：数据模块，用于不同介质间的数据导入、数据导出和数据连接；参数管理模块，用于对数据设置参数初始值和线程参数管理；工具模块，用于获取所述数据的营业日期、数据库密码加解密、文件格式校验和数据格式化；以及接口模块，用于提供所述数据连接的统一接口，使用dp‑dx脚本配置文件参数。本发明专利技术通过一种在不同存储介质之间进行大数据交换的方式，规范统一的接口、统一的配置文件描述等内容，可以大大降低开发和应用成本，极大提高应用的可扩展性。

【技术实现步骤摘要】
不同存储介质间的数据交换系统、方法、装置和存储介质
本专利技术涉及数据处理领域，具体而言，涉及一种不同存储介质间的数据交换系统、方法、装置和存储介质。
技术介绍
当前数据存储介质有很多，比如Oracle关系数据库和mysql关系数据库，Cassandra分布式数据库和HBase分布式数据库，本地文件系统，分布式文件系统hdfs等。在行内，不同存储介质有自身的使用场景。比如oracle，适用于联机交易服务开发；hbase和hdfs，适用于离线批数据处理任务开发。那么如何让数据在以上不同存储介质中迁移和转换，成为一个非常关键的环节。比如oracle数据库中的数据迁移到hbase中进行大数据分析，hdfs中批量任务计算得到的结果迁移到oracle供联机交易使用等场景非常普遍。当前确实有不少迁移工具能够支持部分存储介质间数据迁移，比如sqoop(实现oracle、mysql与hdfs的数据交换)、expdp(oracle提供的工具，实现数据导出到本地磁盘)等。但是各工具比较独立，都只能满足部分存储介质之前的数目迁移需求，且使用方法迥异，学习成本较高。所以如果设计一套通用的数据迁移框架，规范统本文档来自技高网...

【技术保护点】
1.一种不同存储介质间的数据交换系统，其特征在于，所述系统包括：数据模块，用于不同介质间的数据连接、数据导入和数据导出；参数管理模块，用于对数据设置参数初始值和线程参数管理；工具模块，用于获取所述数据的营业日期、数据库密码加解密、文件格式校验和数据格式化；以及接口模块，用于提供所述数据连接的统一接口，使用dp‑dx脚本配置文件参数。

【技术特征摘要】
1.一种不同存储介质间的数据交换系统，其特征在于，所述系统包括：数据模块，用于不同介质间的数据连接、数据导入和数据导出；参数管理模块，用于对数据设置参数初始值和线程参数管理；工具模块，用于获取所述数据的营业日期、数据库密码加解密、文件格式校验和数据格式化；以及接口模块，用于提供所述数据连接的统一接口，使用dp-dx脚本配置文件参数。2.如权利要求1所述系统，其特征在于，所述数据模块包括：数据导入子模块，用于通过sql查询方式将所述数据卸数到文件，再将所述文件上传至HDFS；数据导出子模块，用于利用Sqoopjavaclient卸数，导出所述数据到数据库；以及数据库连接子模块，用于所述数据库连接池的创建和管理，并通过配置文件解析建立jdbc连接。3.如权利要求2所述系统，其特征在于，所述系统还包括：参数配置模块，用于执行所述数据库配置和导数参数配置。4.如权利要求3所述系统，其特征在于，所述系统还包括：运行日志模块，用于保存所述工具模块执行过程中生成的日志信息。5.一种不同存储介质间的数据交换方法，其特征在于，所述方法包括：参数管理模块对数据设置参数初始值和线程参数管理；工具模块获取所述数据的营业日期、数据库密码加解密、文件格式校验和数据格式化；接口模块提供数据连接的统一接口，使用dp-dx脚...

【专利技术属性】
技术研发人员：李卓，张欣，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京,11