一种基于大数据的字符类型转换方法技术

技术编号:19263485 阅读:44 留言:0更新日期:2018-10-27 02:23
本发明专利技术公开一种数据库字段类型转换方法,针对传统的数据库导入到大数据平台中,大数据平台仅保存数据信息而不保存数据的字段信息,从而导致传统的数据库表中字段信息丢失的问题;本发明专利技术通过在大数据平台上内置Hive数据库,Hive数据库新建字段转换矩阵表和数据库字段信息表;数据导入时,在Hive数据库中新建数据库表并保持数据库表类型与导入数据库表保持一致性;数据导出时,在导出数据库中新建数据库表并保持数据库表类型与Hive中数据库表类型的一致性;通过中间的Hive数据库表,保证了导入数据库、导出数据库中字段类型的一致性。

A method of character type conversion based on big data

The invention discloses a database field type conversion method, aiming at the problem that the traditional database is imported into the large data platform, the large data platform only saves the data information but does not save the field information of the data, thus causing the loss of field information in the traditional database table; the invention adopts the Hive number built in the large data platform. Database, Hive database new field transformation matrix tables and database field information tables; data import, new database tables in the Hive database and maintain the database table type and import database table consistency; data export, in the export database new database tables and maintain the database table type and Hive median number The consistency of database table type and the consistency of field type in importing and exporting database are guaranteed through the intermediate database table.

【技术实现步骤摘要】
一种基于大数据的字符类型转换方法
本专利技术属于大数据领域,特别涉及一种基于大数据的字符类型转换技术。
技术介绍
大数据技术的兴起,使得大规模的数据集中、数据清洗、数据导出成为现实。但当前的数据集中,为了降低数据导入的复杂性,人为地丢失了数据的字段属性而仅保留数据信息,从而导致了数据字段信息的丢失。目前,大规模的数据导入导出主要面临以下困难:1.导入的数据库类型多样化,不同类型的数据库字段定义存在差异性。2.数据库版本的多样性,同一类型数据库不同版本之间,字段定义存在差异性。3.导出的数据库类型多样化,不同类型的数据库字段定义存在差异性。
技术实现思路
本专利技术提出了一种数据库字段类型转换方法,通过中间的Hive数据库表,保证了导入数据库、导出数据库中字段类型的一致性。本专利技术采用的技术方案为:一种数据库字段类型转换方法,包括:大数据平台上内置Hive数据库,Hive数据库新建字段转换矩阵表和数据库字段信息表;字段转换矩阵表保存常见数据库字段类型定义信息;数据库字段信息表至少记录导入数据表中各字段类型与导入数据库地址;在新的数据库中新建数据表,所述新建的数据表类型与Hive数据库中数本文档来自技高网...

【技术保护点】
1.一种数据库字段类型转换方法,其特征在于,包括:大数据平台上内置Hive数据库,Hive数据库新建字段转换矩阵表和数据库字段信息表;字段转换矩阵表保存常见数据库字段类型定义信息;数据库字段信息表至少记录导入数据表中各字段类型与导入数据库地址;在新的数据库中新建数据表,所述新建的数据表类型与Hive数据库中数据表类型一致。

【技术特征摘要】
1.一种数据库字段类型转换方法,其特征在于,包括:大数据平台上内置Hive数据库,Hive数据库新建字段转换矩阵表和数据库字段信息表;字段转换矩阵表保存常见数据库字段类型定义信息;数据库字段信息表至少记录导入数据表中各字段类型与导入数据库地址;在新的数据库中新建数据表,所述新建的数据表类型与Hive数据库中数据表类型一致。2.根据权利要求1所述的一种数据库字段类型转换方法,其特征在于,当从大数据平台导出数据时,...

【专利技术属性】
技术研发人员:武伟伟黄涛殷嘉靓
申请(专利权)人:成都宇友科技有限公司
类型:发明
国别省市:四川,51

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1