数据文件读取方法、装置、电子设备和介质制造方法及图纸

本发明专利技术实施例公开了一种数据文件读取方法、装置、电子设备和介质。所述方法包括：获取读取完成的数据文件对应的第一标识集合，并根据所述第一标识集合确定FTP服务器中未读取完成的数据文件对应的第一标识信息；获取已读取数据文件对应的第二标识集合，并根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息；根据所述第二标识信息，从所述FTP服务器中下载所述第二标识信息对应的数据文件并进行读取。本发明专利技术实施例实现了无需在本地端建立下载模块也可实现FTP数据文件的读取的效果，减少了FTP数据文件读取的成本。

【技术实现步骤摘要】
数据文件读取方法、装置、电子设备和介质
本专利技术实施例涉及计算机
，尤其涉及一种数据文件读取方法、装置、电子设备和介质。
技术介绍
FTP(FileTransferProtocol，文件传输协议)是一种数据传输协议，通常由客户端和服务器构成的系统实现，用户通过一个客户端程序连接至在远程计算机上运行的服务器程序，可以实现数据的上传以及下载。FTP中数据文件的读取通常先由本地端的下载模块将FTP数据文件下载到本地端，再由ETL工具对本地端中的FTP数据文件进行读取。由于需要在本地端预先建立下载模块才能实现对FTP数据文件的读取，这无疑增加了FTP数据文件读取的成本。
技术实现思路
本申请实施例公开一种数据文件读取方法、装置、电子设备和介质，以减少FTP数据文件读取的成本。第一方面，本专利技术实施例提供了一种数据文件读取方法，由ETL(Extract-Transform-Load，读取-转换-加载)工具客户端执行，所述方法包括：获取读取完成的数据文件对应的第一标识集合，并根据所述第一标识集合确定FT本文档来自技高网...

【技术保护点】
1.一种数据文件读取方法，其特征在于，由ETL(Extract-Transform-Load，读取-转换-加载)工具客户端执行，所述方法包括：/n获取读取完成的数据文件对应的第一标识集合，并根据所述第一标识集合确定FTP(File Transfer Protocol，文件传输协议)服务器中未读取完成的数据文件对应的第一标识信息；/n获取已读取数据文件对应的第二标识集合，并根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息；/n根据所述第二标识信息，从所述FTP服务器中下载所述第二标识信息对应的数据文件并进行读取。/n

【技术特征摘要】
1.一种数据文件读取方法，其特征在于，由ETL(Extract-Transform-Load，读取-转换-加载)工具客户端执行，所述方法包括：
获取读取完成的数据文件对应的第一标识集合，并根据所述第一标识集合确定FTP(FileTransferProtocol，文件传输协议)服务器中未读取完成的数据文件对应的第一标识信息；
获取已读取数据文件对应的第二标识集合，并根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息；
根据所述第二标识信息，从所述FTP服务器中下载所述第二标识信息对应的数据文件并进行读取。


2.根据权利要求1所述的方法，其特征在于，根据所述第一标识集合确定FTP服务器中未读取完成的数据文件对应的第一标识信息，包括：
获取所述FTP服务器中各数据文件对应的标识信息；
将所述第一标识集合与所述各数据文件对应的标识信息进行匹配，将所述各数据文件对应的标识信息中，除所述第一标识集合外的标识信息，作为第一标识信息。


3.根据权利要求1所述的方法，其特征在于，根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息，包括：
将所述第二标识集合与所述第一标识信息进行匹配，将所述第一标识信息中除所述第二标识集合外的标识信息，作为第二标识信息。


4.根据权利要求1所述的方法，其特征在于，获取已读取数据文件对应的第二标识集合之后，包括：
将所述第二标识集合与所述第一标识信息进行匹配，将所述第一标识信息中属于所述第二标识集合的标识信息，作为第三标识信息；
根据所述第三标识信息，从本地端读取所述第三标识信息对应的数据文件。


5.根据权利要求4所述的方法，其特征在于，从本地端读取所述第三标识信息对应的数据文件，包括：
根据所述第三标识信息，获取所述第三标识信息对应的追溯数据；
根据所述追溯数据确定所述第三标识信息对应数据文件的历史读取位置，并将所述历史读取位置为起点对所述第三标识信息对应的数据文件进行读取。


6.根据权利要求2所述的方法，其特征在于，获取所述FTP服务器中各数据文件对应的标识信息之前，包括：
从所述FTP服务器对应的配置文件中获取FTP配置信息；其中，所述FTP配置信息包括地址信息、端口信息、用户名、密码以及数据文件存放目录；
基于所述FTP配置信息建立与所述FTP服务器之间的通信连接。


7.一种数据文件读取装置，其特征在于，配置于ETL客户端中，所述装置包括：
第一标识信息确定模块，用于获取读取完...

【专利技术属性】
技术研发人员：白晨旭，谢永恒，石志中，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：北京;11