一种通过制造技术

本发明专利技术公开了一种通过

【技术实现步骤摘要】
一种通过ETL工具实现云盘数据的上传下载方法及装置


[0001]本专利技术涉及云盘文件处理
，并且更具体地，涉及一种通过
ETL
工具实现云盘数据的上传下载方法及装置
。

技术介绍

[0002]目前云盘上存储大量的数据，用户需要在云盘上进行数据的上传和下载，目前云盘文件的上传
、
下载需要单独进行繁琐的程序开发
。
云盘文件的处理与
ETL
工作流无法结合在一起，导致用户在云盘使用过程中存在程序繁琐的技术问题
。

技术实现思路

[0003]针对现有技术的不足，本专利技术提供一种通过
ETL
工具实现云盘数据的上传下载方法及装置
。
[0004]根据本专利技术的一个方面，提供了一种通过
ETL
工具实现云盘数据的上传下载方法，包括：
[0005]利用云盘提供的接口使用编程语言开发上传插件和下载插件；
[0006]将上传插件和下载插件放到
ETL
工具的根目录下；
[0007]在
ETL
工具上新建上传任务和下载任务；
[0008]用户通过在
ETL
工具上配置上传任务或者下载任务中的云盘参数，运行上传任务或下载任务的代码，实现云盘数据的上传或下载
。
[0009]可选地，云盘参数配置包括：用户名
、
密码
、
本地目录以及云盘目录
。r/>[0010]可选地，云盘目录为云盘文件全称或云盘文件模糊名称
。
[0011]可选地，还包括：
[0012]利用云盘提供的接口使用编程语言开发处理插件；
[0013]在
ETL
工具上部署处理插件；
[0014]用户通过配置处理插件实现云盘数据的处理操作
。
[0015]根据本专利技术的另一个方面，提供了一种通过
ETL
工具实现云盘数据的上传下载装置，包括：
[0016]第一开发模块，用于利用云盘提供的接口使用编程语言开发上传插件和下载插件；
[0017]存放模块，用于将上传插件和下载插件放到
ETL
工具的根目录下；
[0018]新建模块，用于在
ETL
工具上新建上传任务和下载任务；
[0019]运行模块，用于用户通过在
ETL
工具上配置上传任务或者下载任务中的云盘参数，运行上传任务或下载任务的代码，实现云盘数据的上传或下载
。
[0020]根据本专利技术的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本专利技术上述任一方面所述的方法
。
[0021]根据本专利技术的又一个方面，提供了一种电子设备，所述电子设备包括：处理器；用
于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本专利技术上述任一方面所述的方法
。
[0022]从而，本专利技术提供基于
ETL
工具的云盘文件上传
、
下载方法，利用云盘提供的接口使用
java
开发相应的插件，使得
ETL
工具支持云盘文件的上传
、
下载，从而完成对云盘文件数据处理的全流程的控制并与
ETL
数据处理有机结合，实现文件下载
、
入库
、
转换
、
整合
、
上传等全链路服务，并且能够定时自动调度任务
、
当出现问题时能告警并自动重试
。
典型场景如从云盘上获取债券手工数据，经清理后加载进数据库，与数据库中其余自动化数据整合后输出债券相关的报表，并可将结果数据导出成文件后，上传至云盘的指定目录下
。
附图说明
[0023]通过参考下面的附图，可以更为完整地理解本专利技术的示例性实施方式：
[0024]图1是本专利技术一示例性实施例提供的通过
ETL
工具实现云盘数据的上传下载方法的流程示意图；
[0025]图2是本专利技术一示例性实施例提供的通过
ETL
工具实现云盘数据的上传下载装置的结构示意图；
[0026]图3是本专利技术一示例性实施例提供的电子设备的结构
。
具体实施方式
[0027]下面，将参考附图详细地描述根据本专利技术的示例实施例
。
显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制
。
[0028]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置
、
数字表达式和数值不限制本专利技术的范围
。
[0029]本领域技术人员可以理解，本专利技术实施例中的“第一”、“第二”等术语仅用于区别不同步骤
、
设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序
。
[0030]还应理解，在本专利技术实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个
、
两个或两个以上
。
[0031]还应理解，对于本专利技术实施例中提及的任一部件
、
数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个
。
[0032]另外，本专利技术中术语“和
/
或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，
A
和
/
或
B
，可以表示：单独存在
A
，同时存在
A
和
B
，单独存在
B
这三种情况
。
另外，本专利技术中字符“/”，一般表示前后关联对象是一种“或”的关系
。
[0033]还应理解，本专利技术对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述
。
[0034]同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的
。
[0035]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制
。
[0036]对于相关领域普通技术人员已知的技术
、
方法和设备可能不作详细讨论，但在适当情况下，技术
、
方法和设备应当被视为说明书的一部分
。
[0037]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种通过
ETL
工具实现云盘数据的上传下载方法，其特征在于，包括：利用云盘提供的接口使用编程语言开发上传插件和下载插件；将所述上传插件和所述下载插件放到
ETL
工具的根目录下；在所述
ETL
工具上新建上传任务和下载任务；用户通过在所述
ETL
工具上配置所述上传任务或者下载任务中的云盘参数，运行所述上传任务或所述下载任务的代码，实现所述云盘数据的上传或下载
。2.
根据权利要求1所述的方法，其特征在于，所述云盘参数配置包括：用户名
、
密码
、
本地目录以及云盘目录
。3.
根据权利要求2所述的方法，其特征在于，所述云盘目录为云盘文件全称或云盘文件模糊名称
。4.
根据权利要求1所述的方法，其特征在于，还包括：利用所述云盘提供的接口使用编程语言开发处理插件；在所述
ETL
工具上部署所述处理插件；所述用户通过配置所述处理插件实现所述云盘数据的处理操作
。5.
一种通过
ETL
工具实现云盘数据的上传下载装置，其特征在于，包括：第一开发模块，用于利用云盘提供的接口使用编程语言开发上传插件和下载插件；存放模块，用于将所述上传插件和所述下载插件放到
ETL<...

【专利技术属性】
技术研发人员：梁志江，陈凌云，李宁，陈炎，李宛哲，
申请(专利权)人：德邦证券股份有限公司，
类型：发明
国别省市：