一种FTP数据库与HDFS数据库自动互传数据的方法技术

本发明专利技术涉及一种FTP数据库与HDFS数据库自动互传数据的方法，包括如下步骤：数据抽取，GetFTP处理器查询并抽取到FTP数据库中的FTP数据，GetHDFS处理器查询并抽取到HDFS数据库中的HDFS数据；数据转换，对UpdateAttribute处理器进行属性配置，UpdateAttribute处理器将抽取到的FTP数据转换为HDFS数据，将抽取到的HDFS数据转换为FTP数据；数据加载，分别对PutHDFS处理器和PutFTP处理器进行属性配置，PutHDFS处理器将转换得到的HDFS数据加载到HDFS数据库的目标文件夹中，PutFTP处理器将转换得到的FTP数据加载到FTP数据库的目标文件夹中。本发明专利技术降低了数据转换的错误率，实现了数据的高效抽取与互传。

A method of automatic data exchange between FTP database and HDFS database

【技术实现步骤摘要】
一种FTP数据库与HDFS数据库自动互传数据的方法
本专利技术涉及数据库迁移
，具体地讲涉及一种FTP数据库与HDFS数据库自动互传数据的方法。
技术介绍
在互联网时代，用户行为数据量激增，涉及的数据信息广泛且庞大，分散式的数据存储，不利于数据的分析、统计和使用。由于的数据量的庞大，数据信息格式的多样式，传统单一的数据库存储方式越来越难以解决复杂多变的业务需求。HDFS是一个高度容错性的系统，适合部署在廉价的机器上，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用；FTP是TCP/IP网络上两台计算机传送文件的协议，它通过Internet控制客户机和服务器文件的双向传输，FTP客户机可以给服务器发出命令来下载文件，上传文件，创建或改变服务器上的目录。因此实现HDFS数据库与FTP数据库之间的数据转换与互传具有重要意义。
技术实现思路
根据现有技术中存在的问题，本专利技术提供了一种FTP数据库与HDFS数据库自动互传数据的方法，其降低了数据转换的错误率，实现了数据的高效抽取与互传。本专利技术采用以下技术方案：一种FTP数据库与HDFS数据库自动互传数据的方法，包括如下步骤：S1，数据抽取，将GetFTP处理器与FTP数据库创建连接服务，GetFTP处理器进而查询并抽取到FTP数据库中的FTP数据；将GetHDFS处理器与HDFS数据库创建连接服务，GetHDFS处理器进而查询并抽取到HDFS数据库中的HDFS数据；S2，数据转换，在GetFTP处理器和GetHDFS处理器的下游设置UpdateAttribute处理器，并对UpdateAttribute处理器进行属性配置；UpdateAttribute处理器将抽取到的FTP数据转换为HDFS数据，或者将抽取到的HDFS数据转换为FTP数据；S3，数据加载，在UpdateAttribute处理器的下游分别设置PutHDFS处理器和PutFTP处理器，并分别对PutHDFS处理器和PutFTP处理器进行属性配置；PutHDFS处理器将步骤S2中转换得到的HDFS数据加载到HDFS数据库的目标文件夹中，PutFTP处理器将步骤S2中转换得到的FTP数据加载到FTP数据库的目标文件夹中。优选的，步骤S1中，将GetFTP处理器与FTP数据库创建连接服务，即设置GetFTP处理器的连接属性，包括对属性Port、ConnectionMode、TransferMode、PollingInterval、SearchRecursively、IgnoreDottedFiles、DeleteOriginal的值的设置；即将属性Port的值设置为21，属性ConnectionMode的值设置为Passive，属性TransferMode的值设置为Binary，属性PollingInterval的值设置为60sec，属性SearchRecursively的值设置为false，属性IgnoreDottedFiles的值设置为true，属性DeleteOriginal的值设置为true。进一步优选的，步骤S1中，将GetHDFS处理器与HDFS数据库创建连接服务，即设置GetHDFS处理器的连接属性，包括对属性KerberosReloginPeriod、RecurseSubdirectories、KeepSourceFile、FilterMatchNameOnly、IgnoreDottedFiles、MinimumFileAge的值的设置；即将属性KerberosReloginPeriod的值设置为4hours，将属性RecurseSubdirectories的值设置为ture，将属性KeepSourceFile的值设置为false，将属性FilterMatchNameOnly的值设置为ture，将属性IgnoreDottedFiles的值设置为ture，将属性MinimumFileAge的值设置为0sec。更进一步优选的，步骤S1中，所述GetFTP处理器对FTP数据库中的FTP数据和GetHDFS处理器对HDFS数据库中的HDFS数据的抽取节点的文件类型包括定长格式文件、列分隔符字段文件和“名称-值”对文件。优选的，步骤S2中，UpdateAttribute处理器将抽取到的FTP数据转换为HDFS数据或者将抽取到的HDFS数据转换为FTP数据之前，均需对抽取到的FTP数据或HDFS数据依次进行路由、过滤、分组和踢重处理，从而得到进行转换工作所需的数据。进一步优选的，步骤S2中，对UpdateAttribute处理器进行属性配置包括对属性StoreState的值的设置，属性StoreState的值表示存储状态，将属性StoreState的值设置为Donotstorestate，表示以无状态形式提供存储流文件。优选的，步骤S3中，对PutHDFS处理器进行属性配置包括对属性KerberosReloginPeriod、ConflictResolutionStrategy的值的设置，即将属性KerberosReloginPeriod的值设置为4hours，将属性ConflictResolutionStrategy的值设置为fail。进一步优选的，步骤S3中，对PutFTP处理器进行属性配置包括对属性Port、CreateDirectory、BatchSize、Connectiontimeout、Datatimeout、ConflictResolution、DotRename、TransferMode的值的设置，即将属性Port的值设置为21，将属性CreateDirectory的值设置为false，将属性BatchSize的值设置为500，将属性Connectiontimeout的值设置为30sec，将属性Datatimeout的值设置为30sec，将属性ConflictResolution的值设置为NONE，将属性DotRename的值设置为ture，将属性TransferMode的值设置为Binary。优选的，所述GetFTP处理器、GetHDFS处理器与UpdateAttribute处理器之间，UpdateAttribute处理器与PutHDFS处理器、PutFTP处理器之间均使用任务队列作为数据缓冲区。本专利技术的优点和有益效果在于：1)本专利技术通过设置GetFTP处理器、GetHDFS处理器、UpdateAttribute处理器、PutHDFS处理器和PutFTP处理器，且各处理器之间均使用任务队列作为数据缓冲区，并对各处理器的属性的值进行设置，使得FTP数据库中的FTP数据与HDFS数据库中的HDFS数据实现自动转换与互传，最终加载存储在目标数据库中。整个转换互传过程中，每个处理器的属性的值的设置都是可视化的，操作过程可控性较强，使得数据转换互传的错误率大大降低，实现了数据的高效抽取与互传。附图说明图1为本专利技术的方法的流程图。图2为本专利技术的GetFTP处理器的属性的值的设置图。图3为本专利技术的GetHDFS处理器的属性的值的设置图。图4为本专利技术的UpdateAttribute处理器的属性的值的设置图。图5为本专利技术的PutHDFS处理器的属性的值的设置图。图6为本专利技术本文档来自技高网...

【技术保护点】
1.一种FTP数据库与HDFS数据库自动互传数据的方法，其特征在于，包括如下步骤：S1，数据抽取，将GetFTP处理器与FTP数据库创建连接服务，GetFTP处理器进而查询并抽取到FTP数据库中的FTP数据；将GetHDFS处理器与HDFS数据库创建连接服务，GetHDFS处理器进而查询并抽取到HDFS数据库中的HDFS数据；S2，数据转换，在GetFTP处理器和GetHDFS处理器的下游设置UpdateAttribute处理器，并对UpdateAttribute处理器进行属性配置；UpdateAttribute处理器将抽取到的FTP数据转换为HDFS数据，或者将抽取到的HDFS数据转换为FTP数据；S3，数据加载，在UpdateAttribute处理器的下游分别设置PutHDFS处理器和PutFTP处理器，并分别对PutHDFS处理器和PutFTP处理器进行属性配置；PutHDFS处理器将步骤S2中转换得到的HDFS数据加载到HDFS数据库的目标文件夹中，PutFTP处理器将步骤S2中转换得到的FTP数据加载到FTP数据库的目标文件夹中。

【技术特征摘要】
1.一种FTP数据库与HDFS数据库自动互传数据的方法，其特征在于，包括如下步骤：S1，数据抽取，将GetFTP处理器与FTP数据库创建连接服务，GetFTP处理器进而查询并抽取到FTP数据库中的FTP数据；将GetHDFS处理器与HDFS数据库创建连接服务，GetHDFS处理器进而查询并抽取到HDFS数据库中的HDFS数据；S2，数据转换，在GetFTP处理器和GetHDFS处理器的下游设置UpdateAttribute处理器，并对UpdateAttribute处理器进行属性配置；UpdateAttribute处理器将抽取到的FTP数据转换为HDFS数据，或者将抽取到的HDFS数据转换为FTP数据；S3，数据加载，在UpdateAttribute处理器的下游分别设置PutHDFS处理器和PutFTP处理器，并分别对PutHDFS处理器和PutFTP处理器进行属性配置；PutHDFS处理器将步骤S2中转换得到的HDFS数据加载到HDFS数据库的目标文件夹中，PutFTP处理器将步骤S2中转换得到的FTP数据加载到FTP数据库的目标文件夹中。2.根据权利要求1所述的一种FTP数据库与HDFS数据库自动互传数据的方法，其特征在于：步骤S1中，将GetFTP处理器与FTP数据库创建连接服务，即设置GetFTP处理器的连接属性，包括对属性Port、ConnectionMode、TransferMode、PollingInterval、SearchRecursively、IgnoreDottedFiles、DeleteOriginal的值的设置；即将属性Port的值设置为21，属性ConnectionMode的值设置为Passive，属性TransferMode的值设置为Binary，属性PollingInterval的值设置为60sec，属性SearchRecursively的值设置为false，属性IgnoreDottedFiles的值设置为true，属性DeleteOriginal的值设置为true。3.根据权利要求2所述的一种FTP数据库与HDFS数据库自动互传数据的方法，其特征在于：步骤S1中，将GetHDFS处理器与HDFS数据库创建连接服务，即设置GetHDFS处理器的连接属性，包括对属性KerberosReloginPeriod、RecurseSubdirectories、KeepSourceFile、FilterMatchNameOnly、IgnoreDottedFiles、MinimumFileAge的值的设置；即将属性KerberosReloginPeriod的值设置为4hours，将属性RecurseSubdirectories的值设置为ture，将属性KeepSourceFile的值设置为false，将属性FilterMatchNameOnly的值设置为ture，将属性IgnoreDottedFiles的值...

【专利技术属性】
技术研发人员：徐剑，范联伟，余保华，徐圣吉，李贤军，张金国，展昭，吴磊，何宽宽，胡鸿超，杨培韬，胡刚，陈磊，梅存林，韦良春，夏磊，
申请(专利权)人：安徽四创电子股份有限公司，
类型：发明
国别省市：安徽,34