在HIVE中数据迁移方法、装置及终端设备制造方法及图纸

本发明专利技术涉及数据处理领域，具体涉及一种在HIVE中数据迁移方法、装置及终端设备，所述方法包括步骤：将源数据库的数据文件通过Hive映射为源表；判断源表的预设分区是否存在数据记录；当所述源表的预设分区存在数据记录时，获取所述源表的预设分区的所有字段的数据记录；将所述源表的预设分区的数据记录写入目标数据库的目标表的对应分区中。发明专利技术通过HIVE将源数据库的数据文件映射为源表，利用HIVE的分区属性通过写查询语言的方式将数据从源表一部分一部分地写入目标表中，以完成源数据库的数据迁移至目标数据库，操作简单，逻辑清晰明了。

Data migration method, device and terminal device in HIVE

The present invention relates to the field of data processing, in particular relates to a data transfer method, device and terminal equipment in HIVE, the method comprises the steps of: the source database data files through the Hive map as the source table; determine the source table default partition whether there is data recording; when the source table preset data records partition exists when access to all field data records the source table default partition; partition corresponding to the target table of the source table default partition of the data record into the target database in. The invention of HIVE maps the data file source database as the source table, the query language by writing data from the source table in parts written in the target table using the partition property of HIVE, in order to complete the operation of the source database data migration to the target database, simple, clear logic.

【技术实现步骤摘要】
在HIVE中数据迁移方法、装置及终端设备
本专利技术涉及数据处理领域，具体涉及一种在HIVE中数据迁移方法、装置及终端设备。
技术介绍
在大数据时代，数据格式越来越多种，数据量越来越庞大，有时候需要把数据从一个数据库迁移至另一个数据库，相应地，也就是要把数据从一个表迁移至另外一个表，数据迁移包括迁移和删除操作，目前，数据迁移操作一是由人工手动完成，而人工手动完成费时且麻烦，或是在服务器写shell脚本完成，而利用shell脚本完成所需逻辑复杂也麻烦，因此需要一种新的方案来解决大量数据的迁移问题。
技术实现思路
本专利技术的目的在于提供一种在HIVE中数据迁移方法，以将大量数据从源表(源数据库)迁移至目标表(目标数据库)中。为实现该目的，本专利技术采用如下技术方案：第一方面，本专利技术提供一种在HIVE中数据迁移方法，包括如下步骤：将源数据库的数据文件通过Hive映射为源表；判断源表的预设分区是否存在数据记录；当所述源表的预设分区存在数据记录时，获取所述源表的预设分区的所有字段的数据记录；将所述源表的预设分区的数据记录写入目标数据库的目标表的对应分区中。进一步的，在所述将所述源本文档来自技高网...

【技术保护点】
一种在HIVE中数据迁移方法，其特征在于，包括如下步骤：将源数据库的数据文件通过Hive映射为源表；判断源表的预设分区是否存在数据记录；当所述源表的预设分区存在数据记录时，获取所述源表的预设分区的数据记录；将所述源表的预设分区的数据记录写入目标数据库的目标表的对应分区中。

【技术特征摘要】
1.一种在HIVE中数据迁移方法，其特征在于，包括如下步骤：将源数据库的数据文件通过Hive映射为源表；判断源表的预设分区是否存在数据记录；当所述源表的预设分区存在数据记录时，获取所述源表的预设分区的数据记录；将所述源表的预设分区的数据记录写入目标数据库的目标表的对应分区中。2.根据权利要求1所述的方法，其特征在于，在所述将所述源表的预设分区的数据记录写入目标数据库的目标表的对应分区中之后，还包括：判断目标表对应分区的数据记录条数与源表预设分区的数据记录条数是否相同，若相同，删除源表的预设分区的数据记录。3.根据权利要求1所述的方法，其特征在于，所述判断源表的预设分区是否存在数据记录，当所述源表的预设分区存在数据记录时的步骤，包括：利用断言函数判断源表的预设分区是否存在数据记录；当所述源表的预设分区的数据记录条数大于零时，确定所述源表的预设分区存在数据记录。4.根据权利要求2所述的方法，其特征在于，所述判断目标表对应分区的数据记录条数与源表预设分区的数据记录条数是否相同，包括：利用断言函数判断目标表对应分区的数据记录数与源表预设分区的数据记录数是否相同。5.根据权利要求1所述的方法，其特征在于，在所述判断源表的预设分区是否存在数据记录之后，还包括：当所述源表的预设分区不存在...

【专利技术属性】
技术研发人员：陶胜，
申请(专利权)人：广州虎牙信息科技有限公司，
类型：发明
国别省市：广东,44