支持多源多目标的分布式文件分发方法和装置制造方法及图纸

技术编号:40103469 阅读:26 留言:0更新日期:2024-01-23 18:03
本发明专利技术提供了一种支持多源多目标的分布式文件分发方法和装置,涉及分布式文件分发技术领域,包括:响应于用户操作,确定业务场景对应的文件传输通道、消息队列主题和对象存储桶;基于源端节点的文件发送模块获取文件传输通道的通道配置信息,定期扫描本地目录文件,将文件内容上传到目标对象存储桶中,将文件元数据写入目标消息队列主题中;基于目标端节点的文件接收模块获取文件传输通道的通道配置信息,从目标消息队列主题中逐个读取文件元数据,判断是否执行处理操作,如果需要处理则从指定对象存储桶中下载文件到本地目录,以缓解了现有技术中存在的文件传输安全性较差以及效率较低的技术问题。

【技术实现步骤摘要】

本专利技术涉及分布式文件分发,尤其是涉及一种支持多源多目标的分布式文件分发方法和装置


技术介绍

1、文件分发交换是常见的业务应用场景,文件传输协议(file transfer protocol,ftp)协议是一种常用于文件分发交换的传输协议,ftp协议包含两个部分,即ftp服务器和ftp客户端,用户可以通过ftp客户端访问ftp服务器上的资源,ftp具有可靠和高效的传输数据等优点。

2、在大规模分布式文件分发场景中,会有多个源端节点不断产生大量文件,不同业务系统生成的文件大小差异也很大,这些海量文件需要根据业务需求分发到多个使用方系统,每个使用方系统会提供多个目标端节点来接收处理文件,但存在安全性差,易被防火墙拦截,在传输小文件时效率较低等缺点。


技术实现思路

1、本专利技术的目的在于提供一种支持多源多目标的分布式文件分发方法和装置,以缓解了现有技术中存在的文件传输安全性较差以及效率较低的技术问题。

2、第一方面,本专利技术实施例提供了一种支持多源多目标的分布式文件分发方法,包括:<本文档来自技高网...

【技术保护点】

1.一种支持多源多目标的分布式文件分发方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在响应于用户操作,确定业务场景对应的文件传输通道、消息队列主题和对象存储桶的步骤之前,所述方法包括:

3.根据权利要求1所述的方法,其特征在于,响应于用户操作,确定业务场景对应的文件传输通道、消息队列主题和对象存储桶的步骤,包括:

4.根据权利要求1所述的方法,其特征在于,基于所述源端节点的文件发送模块获取所述文件传输通道的通道配置信息,定期扫描本地目录文件,将文件内容上传到目标对象存储桶中,将文件元数据写入目标消息队列主题中的步骤,包括:

...

【技术特征摘要】

1.一种支持多源多目标的分布式文件分发方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在响应于用户操作,确定业务场景对应的文件传输通道、消息队列主题和对象存储桶的步骤之前,所述方法包括:

3.根据权利要求1所述的方法,其特征在于,响应于用户操作,确定业务场景对应的文件传输通道、消息队列主题和对象存储桶的步骤,包括:

4.根据权利要求1所述的方法,其特征在于,基于所述源端节点的文件发送模块获取所述文件传输通道的通道配置信息,定期扫描本地目录文件,将文件内容上传到目标对象存储桶中,将文件元数据写入目标消息队列主题中的步骤,包括:

5.根据权利要求1所述的方法,其特征在于,基于所述源端节点的文件发送模块获取所述文件传输通道的通道配置信息,定期扫描本地目录文件,将文件内容上传到目标对象存储桶中,将文件元数据写入目标消息队列主题中的步骤,还包括:

6.根据权利要求1所述的方法,其特征在于,...

【专利技术属性】
技术研发人员:李艳红宋伟强李明明
申请(专利权)人:北京锐安科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1