一种通过FTP进行大数据批量导入导出的方法技术

本发明专利技术公开了一种通过FTP进行大数据批量导入导出的方法，属于数据处理技术领域，包括导入验证、数据传入、非空处理、数据替换、数据重构、拆分数据、设置分隔符和数据导出。本发明专利技术在导入大数据商品的时候，通过验证每行数据，将该行数据通过FTP传入FTP服务器，对导入前的最后操作通过后台程序运行，保障数据能够成功导入；当大数据导出时，先通过后台程序将数据通过FTP传入到FTP服务器，后续导出通过FTP已有文件导出，可支持断点续传。避免在大数据批量导入导出时出现超时现象，用以支持断点续传。

A method of bulk data import and export through FTP

The invention discloses a method for importing and exporting large data batch through FTP, which belongs to the field of data processing technology, including import verification, data incoming, non empty processing, data replacement, data reconfiguration, disassembly data, setting separator and data export. When importing large data goods, by verifying each row of data, the data is passed through the FTP to the FTP server, the final operation before the introduction is run through the background program, and the data can be imported successfully. When the large data is exported, the data is passed through the background program to the FTP server by the FTP, and the follow-up is first passed to the server. Export is exported by FTP existing files, which can support breakpoint renewal. Avoid the phenomenon of timeout when large data are imported and exported in batches, so as to support breakpoint renewal.

【技术实现步骤摘要】
一种通过FTP进行大数据批量导入导出的方法
本专利技术涉及一种通过FTP进行大数据批量导入导出的方法，属于数据处理

技术介绍
目前实时商品大批量导入，实时验证导入数据有效性和保存数据到数据库，会导致数据处理慢，最终会导入商品超时，实时导出大数据的时候，因为导出数据过大会超时并且不能支持断点续传导出。
技术实现思路
本专利技术的主要目的是为了提供一种通过FTP进行大数据批量导入导出的方法，以避免在大数据批量导入导出时出现超时现象，用以支持断点续传。本专利技术的目的可以通过采用如下技术方案达到：一种通过FTP进行大数据批量导入导出的方法，包括以下步骤：S1：导入验证：多商品数据分行导入，验证每行数据；S2：数据传入：将该行数据通过FTP文传协议传入FTP服务器；S3：非空处理：捕获该行数据的字段空值进行非空处理；S4：数据替换：通过有效数据对无效数据、缺失数据进行替换；S5：数据重构：对字段格式进行约束，将数据源中格式多样的数据在结构、格式、类型上重构统一，自定义导出格式；S6：拆分数据：依据数据业务需求对重构后的字段进行分解；S7：设置分隔符：依据不同数据业务需求设置不同数据分隔符；S8：数据导出：通过后台程序将数据通过FTP文传协议传入到FTP服务器，并通过FTP服务器导出数据，并支持断点续传。进一步的，所述S1中，数据分行导入时，验证多商品数据的合法性，全部合法时，多商品数据写入数据库，反之，提示不合法的多商品数据的行数和相对的错误内容。进一步的，所述S2中，FTP文传协议包括ASCII传输模式和二进制数据传输模式。进一步的，所述S3中，非空处理包括加载或替换每行数据的字段。进一步的，所述加载每行数据的字段包括：输入参数为字符类型，且允许为空的；输入类型为整型，且允许为空的；输入参数为字符类型，且是非空非空格的；输入类型为整型，且是非空的。进一步的，所述S4中，通过有效数据对无效数据、缺失数据进行替换的数据包括结构、格式、类型有效的数据。进一步的，所述S5中，格式多样的数据包括时间、数值、字符。进一步的，所述S7中，分隔符包括行分隔符、列分隔符、字段包围符和转义符。本专利技术的有益技术效果：按照本专利技术的通过FTP进行大数据批量导入导出的方法，本专利技术提供的通过FTP进行大数据批量导入导出的方法，在导入大数据商品的时候，通过验证每行数据，将该行数据通过FTP传入FTP服务器，对导入前的最后操作通过后台程序运行，保障数据能够成功导入；当大数据导出时，先通过后台程序将数据通过FTP传入到FTP服务器，后续导出通过FTP已有文件导出，可支持断点续传，避免在大数据批量导入导出时出现超时现象，用以支持断点续传。具体实施方式为使本领域技术人员更加清楚和明确本专利技术的技术方案，下面结合实施例对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。本实施例提供的一种通过FTP进行大数据批量导入导出的方法，包括以下步骤：S1：导入验证：多商品数据分行导入，验证每行数据；S2：数据传入：将该行数据通过FTP文传协议传入FTP服务器；S3：非空处理：捕获该行数据的字段空值进行非空处理；S4：数据替换：通过有效数据对无效数据、缺失数据进行替换；S5：数据重构：对字段格式进行约束，将数据源中格式多样的数据在结构、格式、类型上重构统一，自定义导出格式；S6：拆分数据：依据数据业务需求对重构后的字段进行分解；S7：设置分隔符：依据不同数据业务需求设置不同数据分隔符；S8：数据导出：通过后台程序将数据通过FTP文传协议传入到FTP服务器，并通过FTP服务器导出数据，并支持断点续传。进一步的，在一些实施例中，所述S1中，数据分行导入时，验证多商品数据的合法性，全部合法时，多商品数据写入数据库，反之，提示不合法的多商品数据的行数和相对的错误内容。进一步的，在一些实施例中，所述S2中，FTP文传协议包括ASCII传输模式和二进制数据传输模式。进一步的，在一些实施例中，所述S3中，非空处理包括加载或替换每行数据的字段。进一步的，在一些实施例中，所述加载每行数据的字段包括：输入参数为字符类型，且允许为空的；输入类型为整型，且允许为空的；输入参数为字符类型，且是非空非空格的；输入类型为整型，且是非空的。进一步的，在一些实施例中，所述S4中，通过有效数据对无效数据、缺失数据进行替换的数据包括结构、格式、类型有效的数据。进一步的，在一些实施例中，所述S5中，格式多样的数据包括时间、数值、字符。进一步的，在一些实施例中，所述S7中，分隔符包括行分隔符、列分隔符、字段包围符和转义符。进一步的，在一些实施例中，FTP文传协议包括ASCII传输模式和二进制数据传输模式。ASCII传输方式：假定用户正在拷贝的文件包含的简单ASCII码文本，如果在远程机器上运行的不是UNIX，当文件传输时ftp通常会自动地调整文件的内容以便于把文件解释成另外那台计算机存储文本文件的格式；但是常常有这样的情况，用户正在传输的文件包含的不是文本文件，它们可能是程序，数据库，字处理文件或者压缩文件(尽管字处理文件包含的大部分是文本，其中也包含有指示页尺寸，字库等信息的非打印字符)，在拷贝任何非文本文件之前，用binary命令告诉ftp逐字拷贝，不要对这些文件进行处理，这也是下面要讲的二进制传输。二进制传输模式：在二进制传输中，保存文件的位序，以便原始和拷贝的是逐位一一对应的，即使目的地机器上包含位序列的文件是没意义的，例如，macintosh以二进制方式传送可执行文件到Windows系统，在对方系统上，此文件不能执行。综上所述，在本实施例中，按照本实施例的通过FTP进行大数据批量导入导出的方法，本实施例提供的通过FTP进行大数据批量导入导出的方法，在导入大数据商品的时候，通过验证每行数据，将该行数据通过FTP传入FTP服务器，对导入前的最后操作通过后台程序运行，保障数据能够成功导入；当大数据导出时，先通过后台程序将数据通过FTP传入到FTP服务器，后续导出通过FTP已有文件导出，可支持断点续传。避免在大数据批量导入导出时出现超时现象，用以支持断点续传。以上所述，仅为本专利技术进一步的实施例，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术所公开的范围内，根据本专利技术的技术方案及其构思加以等同替换或改变，都属于本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种通过FTP进行大数据批量导入导出的方法，其特征在于，包括以下步骤：S1：导入验证：多商品数据分行导入，验证每行数据；S2：数据传入：将该行数据通过FTP文传协议传入FTP服务器；S3：非空处理：捕获该行数据的字段空值进行非空处理；S4：数据替换：通过有效数据对无效数据、缺失数据进行替换；S5：数据重构：对字段格式进行约束，将数据源中格式多样的数据在结构、格式、类型上重构统一，自定义导出格式；S6：拆分数据：依据数据业务需求对重构后的字段进行分解；S7：设置分隔符：依据不同数据业务需求设置不同数据分隔符；S8：数据导出：通过后台程序将数据通过FTP文传协议传入到FTP服务器，并通过FTP服务器导出数据，并支持断点续传。

【技术特征摘要】
1.一种通过FTP进行大数据批量导入导出的方法，其特征在于，包括以下步骤：S1：导入验证：多商品数据分行导入，验证每行数据；S2：数据传入：将该行数据通过FTP文传协议传入FTP服务器；S3：非空处理：捕获该行数据的字段空值进行非空处理；S4：数据替换：通过有效数据对无效数据、缺失数据进行替换；S5：数据重构：对字段格式进行约束，将数据源中格式多样的数据在结构、格式、类型上重构统一，自定义导出格式；S6：拆分数据：依据数据业务需求对重构后的字段进行分解；S7：设置分隔符：依据不同数据业务需求设置不同数据分隔符；S8：数据导出：通过后台程序将数据通过FTP文传协议传入到FTP服务器，并通过FTP服务器导出数据，并支持断点续传。2.根据权利要求1所述的一种通过FTP进行大数据批量导入导出的方法，其特征在于，所述S1中，数据分行导入时，验证多商品数据的合法性，全部合法时，多商品数据写入数据库，反之，提示不合法的多商品数据的行数和相对的错误内容。3.根据权利要求1所述的一种通过FTP进行大数据批量导...

【专利技术属性】
技术研发人员：吴伟，徐唤春，裴大鹏，
申请(专利权)人：商派软件有限公司，
类型：发明
国别省市：上海,31