一种多数据源写入的文件传输方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种能够适用于多数据源写入的文件传输方法、装置及存储介质。具体的，所述多数据源写入的文件传输方法包括以下步骤：接收线程数据；接收配置参数；根据配置参数，选择传输方式，所述传输方式设置有多种；接收目标文件；根据配置参数及线程数据，传输目标文件。采用上述方案，能够实现对目标文件的多种数据源写入的文件传输方式，通过线程数据及配置参数的设置提供多线程传输方式，使用者可通过修改配置参数来调整传输过程，来解决文件传输堆积或者计算和存储资源浪费的问题。

【技术实现步骤摘要】
一种多数据源写入的文件传输方法、装置及存储介质
：本专利技术涉及计算机
，尤其涉及一种多数据源写入的文件传输方法、装置及存储介质。
技术介绍
：在目前的计算机
中，涉及linux本地文件传输至HDFS、Kafka、SFTPServer等节点或集群时，主要采用HDFS、Kafka、SFTP的原生命令或使用Flume开源工具，并且依赖使用HDFS、Kafka、SFTP的原生命令进行手动操作，实际使用时操作不便，并且在生产环境中使用原生命令进行逐个文件传输效率低，无法进行批量上传，也无法灵活配置传输效率。同时，使用开源工具进行文件传输，如Flume，其配置繁琐，易出现source、channel、sink的关系在配置文件内相互交织的问题，不便于配置和管理，且文件传输速度慢，易产生文件堆积，浪费存储资源；其次，无法通过修改配置选项灵活调整传输能力和传输速度。因此，本领域亟需一种多数据源写入的文件传输方法、装置及存储介质。有鉴于此，提出本专利技术。
技术实现思路
：本专利技术的目的在于提供一种能够适本文档来自技高网...

【技术保护点】
1.一种多数据源写入的文件传输方法，其特征在于：所述多数据源写入的文件传输方法包括以下步骤：/n接收线程数据；/n接收配置参数；/n根据配置参数，选择传输方式，所述传输方式设置有多种；/n接收目标文件；/n根据配置参数及线程数据，传输目标文件。/n

【技术特征摘要】
1.一种多数据源写入的文件传输方法，其特征在于：所述多数据源写入的文件传输方法包括以下步骤：
接收线程数据；
接收配置参数；
根据配置参数，选择传输方式，所述传输方式设置有多种；
接收目标文件；
根据配置参数及线程数据，传输目标文件。


2.根据权利要求1所述多数据源写入的文件传输方法，其特征在于：所述接收线程数据步骤中，所述线程数据包括至少一条流水线。


3.根据权利要求2所述多数据源写入的文件传输方法，其特征在于：所述接收配置参数步骤中，所述配置参数包括：源目录参数、目标目录参数及本地目录参数，所述源目录为每条流水线的监控目录，所述源目录参数用于配置待传输的目标文件所在路径，所述目标目录为传输工作的目的地，所述目标目录参数用于配置待传输目标文件的传输方式，所述本地目录为备份目录，所述本地目录参数为已传输目标文件存储在本地位置的路径。


4.根据权利要求3所述多数据源写入的文件传输方法，其特征在于：所述源目录参数包括传输格式、传输文件位置，所述传输格式为待传输目标文件的格式类型，所述传输文件位置为待传输的目标文件的存储位置。


5.根据权利要求3或4所述多数据源写入的文件传输方法，其特征在于：所述目标目录参数包括目的集群种类、文件压缩种类、传输目的地址，所述目的集群种类为待...

【专利技术属性】
技术研发人员：刘少凯，张硕，刘婷，
申请(专利权)人：北京浩瀚深度信息技术股份有限公司，
类型：发明
国别省市：北京;11