一种大数据文件快速导入关系型数据库的方法技术

本发明专利技术涉及数据库技术领域，具体涉及一种大数据文件快速导入关系型数据库的方法。本发明专利技术所述的方法是在安装了oracle关系型数据库的linux服务器中，在shell的oracle用户下执行脚本命令，将存有大量数据的文本文件的内容，导入到oracle数据库事先创建好的表中。本发明专利技术的方法能快速、高效的将这些大数据的文本文件导入到oracle关系型数据库中，大大的减轻了数据库开发、维护人员的工作量；可以广泛应用于数据库管理员导入大数据的文本文件到oracle关系型数据。

【技术实现步骤摘要】

本专利技术涉及数据库
，具体涉及。
技术介绍
企业生存靠的是利润，如果没有了利润，一个企业是无法存活下来的。提高企业利润的方法多种多样，总结为一句话就是“提高工作效率”，只有工作效率上去了，企业才能以最小的投入获取最大的产生，既实现利润最大化。在企业中，数据库管理人员，遇到系统升级等情况，需要把大量大数据文本的内容数据导入到关系型数据库中。传统的方法费事费力，数据准确率低，在漫长的导入过程中，如果遇到网络原因等中断连接问题，需要重头再导，效率极低。
技术实现思路
本专利技术解决的技术问题在于提供；为数据库开发、维护人员提供一种更快捷、高效的文本文件导入方法；同时也可以尽量减轻了开发人员的工作量、提高了工作效率。本专利技术解决上述技术问题的技术方案是:所述的方法是在安装了 oracle关系型数据库的Iinux服务器中，在shell的oracle用户下执行脚本命令，将存有大量数据的文本文件的内容，导入到oracle数据库事先创建好的表中。所述的方法包括如下步骤:第I步、将文本文件主要按照列与列之间的分隔符进行特定格处理，；第2步、在oracle用户下创建一张表，这张表的字段与文本文件内容中的字段一致；第3步、删除文本文件中标题字段，即非数据的第一行；第4步、在LINUX中，使用oracle用户创建一个ctl后缀的文件；第5步、在该ctl后缀文件中编写导入语句；第6步、将windows上文本文件上传到Iinux中，放在/home/oracle下；第7步、在Iinux的root用户下，修改文本文件的权限及所属组；第8步、在Iinux的oracle用户下执行脚本命令，开始导入数据；第9步、导入成功后，通过oracle的sql语句查询结果。本专利技术的有益效果是:传统的导入方法是通过oracle关系型数据库的客户端工具toad或者plsql，到文本文件的内容达到10万行以上时，导入需要花费大半天的时间，这个是速度是无法忍受的。使用本专利技术的方法，可以把导入所需要的时间减少90% ;实现大数据文本快速导入到关系型数据库，可以让数据库开发、维护人员大大减少数据处理过程中的等待时间，提高工作效率。【附图说明】下面结合附图对本专利技术进一步说明:图1为本专利技术的业务流程图。【具体实施方式】本专利技术系统通过在安装了 oracle关系型数据库的Iinux服务器中，在shell的oracle用户下执行脚本命令，把存有大量数据的文本文件的内容，快速、高效导入到oracle数据库事先创建好的表中。下面具体以把Excel文件数据导入到oracle数据库为例:如附图1所示，是大数据文件快速导入关系型数据库的方法流程图；大数据文件快速导入关系型数据库的方法包括如下步骤:第I步、把import, xls文件另存为import, csv文件；第2步、在oracle用户user下创建一张表，这张表的字段与import, xls文件中的字段一致；Create table import(Id number.Name varcha2 (50))；第3步、将import, csv文件中的标题字段删除，即非数据的第一行；第4步、在LINUX中，使用oracle用户创建一个import, ctl文件，存放在/home/oracle目录下；第5步、在import, ctl文件中编写以下语句:load datainfile import, csvinto table importfields terminated by ‘，’(id，name)；第6 步、讲 windows 上 import, csv 文件上传到 linux 中，放在 /home/oracle 下；第7步、在Iinux的root用户下，修改import, csv文件的权限及所属组:chmod-R oracle:oinstall/home/oracle/import, csv ；第8步、在Iinux的oracle用户下执行脚本命令，开始导入数据:sqlldr user/tiger control = import.ctl ；第9步、导入成功后，通过oracle的sql语句查询结果:select id，name from importo【主权项】1.，其特征在于:所述的方法是在安装了 oracle关系型数据库的Iinux服务器中，在shell的oracle用户下执行脚本命令，将存有大量数据的文本文件的内容，导入到oracle数据库事先创建好的表中。2.根据权利要求1所述的大数据文件快速导入关系型数据库的方法，其特征在于:所述的方法包括如下步骤: 第I步、将文本文件主要按照列与列之间的分隔符进行特定格处理，； 第2步、在oracle用户下创建一张表，这张表的字段与文本文件内容中的字段一致； 第3步、删除文本文件中标题字段，即非数据的第一行； 第4步、在LINUX中，使用oracle用户创建一个ctl后缀的文件； 第5步、在该ctl后缀文件中编写导入语句； 第6步、将windows上文本文件上传到Iinux中，放在/home/oracle下； 第7步、在Iinux的root用户下，修改文本文件的权限及所属组； 第8步、在Iinux的oracle用户下执行脚本命令，开始导入数据； 第9步、导入成功后，通过oracle的sql语句查询结果。【专利摘要】本专利技术涉及数据库
，具体涉及。本专利技术所述的方法是在安装了oracle关系型数据库的linux服务器中，在shell的oracle用户下执行脚本命令，将存有大量数据的文本文件的内容，导入到oracle数据库事先创建好的表中。本专利技术的方法能快速、高效的将这些大数据的文本文件导入到oracle关系型数据库中，大大的减轻了数据库开发、维护人员的工作量；可以广泛应用于数据库管理员导入大数据的文本文件到oracle关系型数据。【IPC分类】G06F17-30【公开号】CN104866568【申请号】CN201510266576【专利技术人】庞毅, 季统凯, 孙傲冰, 徐震宇, 关班记 【申请人】国云科技股份有限公司【公开日】2015年8月26日【申请日】2015年5月22日本文档来自技高网...

【技术保护点】
一种大数据文件快速导入关系型数据库的方法，其特征在于：所述的方法是在安装了oracle关系型数据库的linux服务器中，在shell的oracle用户下执行脚本命令，将存有大量数据的文本文件的内容，导入到oracle数据库事先创建好的表中。

【技术特征摘要】

【专利技术属性】
技术研发人员：庞毅，季统凯，孙傲冰，徐震宇，关班记，
申请(专利权)人：国云科技股份有限公司，
类型：发明
国别省市：广东;44