一种将数据从Hive导入传统数据仓库的方法及装置制造方法及图纸

本发明专利技术公开了一种将数据从Hive导入传统数据仓库的方法，包括继承Hive中的基础类，并根据用户输入的参数编写新类；依据参数在新类中重构Evaluate函数，并组装Insert语句；当接收到用户的导入指令时，调用Insert语句以将数据从Hive导入传统数据仓库中。由此可见，将数据导入传统数据仓库传统数据仓库的过程中，本方法无需指明HDFS和行、列分隔符，且能够克服软件编写繁琐的问题。此外，本发明专利技术还公开一种将数据从Hive导入传统数据仓库的装置，效果如上所述。

Method and device for importing data from traditional data warehouse from Hive

The invention discloses a method of data from the Hive into the traditional data warehouse, including inherited base class Hive, and according to user input parameters for the preparation of a new kind of parameters in the new class; reconstruction of Evaluate function, and assemble the Insert statement; when receiving user import instructions, calling the Insert statement to the data from the Hive into the traditional data warehouse. Thus, in the process of importing data into the traditional data warehouse traditional data warehouse, the method does not need to specify HDFS and row and column separators, and can overcome the tedious problem of software writing. In addition, the invention also discloses a device for importing data from a Hive into a traditional data warehouse, the effect as described above.

【技术实现步骤摘要】
一种将数据从Hive导入传统数据仓库的方法及装置
本专利技术涉及数据传输
，特别是涉及一种将数据从Hive导入传统数据仓库的方法及装置。
技术介绍
随着互联网技术的普及以及现代企业对于数据的重视，企业日常经营过程中记录的数据量呈指数级增长，因此，通常采用数据仓库来存储数据。传统的数据仓库(例如，MySQL、Oracle、Postgres等)在数据量过大时将会导致提取数据缓慢。在此基础上，采用Hadoop(一种分布式系统基础架构)+Hive的数据仓库模式，使得数据仓库在数据量上不再有限制，在一定程度上解决了上述问题，但也有灵活性不足的缺点。因此，现有技术中，将该模式的数据仓库与传统数据仓库结合使用，只将存储、基本分析、提取放在Hadoop+Hive的数据仓库上，更为复杂的放在传统数据仓库中，二者可以互为补充。为了实现上述两种数据仓库的数据传输，企业需要利用一种便捷的数据传输工具或方法将数据在企业内不同数据仓库之间进行传输。现有的传输工具Sqoop是实现不同数据仓库之间数据导入导出的一个工具。但是，这种方法在软件编写过程中较为繁琐，且需要明确指明HDFS和明确标明行、列分隔符。由此本文档来自技高网...

【技术保护点】
一种将数据从Hive导入传统数据仓库的方法，其特征在于，包括：继承Hive中的基础类，并根据用户输入的参数编写新类；依据所述参数在所述新类中重构Evaluate函数，并组装Insert语句；当接收到用户的导入指令时，调用所述Insert语句以将数据从Hive导入传统数据仓库中。

【技术特征摘要】
1.一种将数据从Hive导入传统数据仓库的方法，其特征在于，包括：继承Hive中的基础类，并根据用户输入的参数编写新类；依据所述参数在所述新类中重构Evaluate函数，并组装Insert语句；当接收到用户的导入指令时，调用所述Insert语句以将数据从Hive导入传统数据仓库中。2.根据权利要求1所述的方法，其特征在于，还包括：在所述数据从Hive导入所述传统数据仓库的过程中，调用TryCatch语句以捕捉错误信息。3.根据权利要求2所述的方法，其特征在于，还包括：当捕捉到所述错误信息时，通过日志记录所述错误信息。4.根据权利要求1所述的方法，其特征在于，还包括：在所述数据从Hive导入所述传统数据仓库的过程中，依据服务器的忙闲状态设置数据传输量的最大值。5.根据权利要求1-4任意一项所述的方法，其特征在于，所述参数具体包括：控制连接数据库的字符串、表名、需要入表的字段名。6.一种将数据从Hive导入传统数据仓库的...

【专利技术属性】
技术研发人员：王黎，肖宇涵，
申请(专利权)人：浙江极赢信息技术有限公司，
类型：发明
国别省市：浙江,33