本发明专利技术提供了一种支持多源多目标的分布式文件分发方法和装置，涉及分布式文件分发技术领域，包括：响应于用户操作，确定业务场景对应的文件传输通道、消息队列主题和对象存储桶；基于源端节点的文件发送模块获取文件传输通道的通道配置信息，定期扫描本地目录文件，将文件内容上传到目标对象存储桶中，将文件元数据写入目标消息队列主题中；基于目标端节点的文件接收模块获取文件传输通道的通道配置信息，从目标消息队列主题中逐个读取文件元数据，判断是否执行处理操作，如果需要处理则从指定对象存储桶中下载文件到本地目录，以缓解了现有技术中存在的文件传输安全性较差以及效率较低的技术问题。
【技术实现步骤摘要】
本专利技术涉及分布式文件分发，尤其是涉及一种支持多源多目标的分布式文件分发方法和装置。
技术介绍
1、文件分发交换是常见的业务应用场景，文件传输协议(file transfer protocol，ftp)协议是一种常用于文件分发交换的传输协议，ftp协议包含两个部分，即ftp服务器和ftp客户端，用户可以通过ftp客户端访问ftp服务器上的资源，ftp具有可靠和高效的传输数据等优点。
2、在大规模分布式文件分发场景中，会有多个源端节点不断产生大量文件，不同业务系统生成的文件大小差异也很大，这些海量文件需要根据业务需求分发到多个使用方系统，每个使用方系统会提供多个目标端节点来接收处理文件，但存在安全性差，易被防火墙拦截，在传输小文件时效率较低等缺点。
技术实现思路
1、本专利技术的目的在于提供一种支持多源多目标的分布式文件分发方法和装置，以缓解了现有技术中存在的文件传输安全性较差以及效率较低的技术问题。
2、第一方面，本专利技术实施例提供了一种支持多源多目标的分布式文件分发方法，包括：
3、响应于用户操作，确定业务场景对应的文件传输通道、消息队列主题和对象存储桶；其中，所述文件传输通道包括一个或多个源端节点和一个或多个接收组，每个所述接收组包括一个或多个目标端节点；
4、基于所述源端节点的文件发送模块获取所述文件传输通道的通道配置信息，定期扫描本地目录文件，将文件内容上传到目标对象存储桶中，将文件元数据写入目标消息队列主题中；
<
p>5、基于所述目标端节点的文件接收模块获取所述文件传输通道的通道配置信息，从所述目标消息队列主题中逐个读取所述文件元数据，判断是否执行处理操作，如果需要处理则从指定对象存储桶中下载文件到本地目录。6、结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，在响应于用户操作，确定业务场景对应的文件传输通道、消息队列主题和对象存储桶的步骤之前，所述方法包括：
7、搭建消息队列kafka集群和对象存储minio集群。
8、结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，响应于用户操作，确定业务场景对应的文件传输通道、消息队列主题和对象存储桶的步骤，包括：
9、构建文件分发管理web；
10、响应于用户操作，按业务场景设置文件传输通道；
11、根据所述文件传输通道的通道配置信息创建消息队列主题和对象存储桶；
12、向所述文件传输通道的源端节点部署文件发送模块；
13、向所述文件传输通道的目标端节点部署文件接收模块。
14、结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，基于所述源端节点的文件发送模块获取所述文件传输通道的通道配置信息，定期扫描本地目录文件，将文件内容上传到目标对象存储桶中，将文件元数据写入目标消息队列主题中的步骤，包括：
15、文件发送模块定期扫描每个所述文件传输通道的本地目录文件；当扫描到的文件在发送成功后，则删除原文件；当扫描到的文件发送失败后，则将所述扫描到的文件备份到错误数据目录；
16、将文件内容分块上传到目标对象存储桶中，将多个文件元数据进行聚合写入目标消息队列主题中。
17、结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，基于所述源端节点的文件发送模块获取所述文件传输通道的通道配置信息，定期扫描本地目录文件，将文件内容上传到目标对象存储桶中，将文件元数据写入目标消息队列主题中的步骤，还包括：
18、获取文件发送模块的配置信息，所述配置信息包括源端节点的所有传输通道配置信息；
19、初始化本地文件元数据缓存，连接消息队列集群和文件对象存储集群；
20、创建并启动文件发送器线程；
21、创建并启动文件扫描器线程，分配文件传输通道；
22、文件扫描器线程定期针对分配的每个文件传输通道，读取目录第一预设数量文件，存储到本地文件元数据缓存中；
23、文件发送器线程监视本地文件元数据缓存，逐个获取文件进行校验；若检验通过则将文件内容上传到对象存储桶中，并将文件元数据写入消息队列集群主题中；若检验不通过则将文件写入错误目录用于后续排查；
24、当收到进程终止指令时，关闭文件扫描器线程和文件发送器线程，释放当前连接资源。
25、结合第一方面，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，基于所述目标端节点的文件接收模块获取所述文件传输通道的通道配置信息，从所述目标消息队列主题中逐个读取所述文件元数据，判断是否执行处理操作，如果需要处理则从指定对象存储桶中下载文件到本地目录的步骤，包括：
26、如果所述文件元数据大于第一文件体量阈值，则根据文件块存储位置从目标对象存储桶中并行下载后再组装成原始文件放到本地目录；
27、如果元数据为小于第二文件体量阈值的文件聚合而成，则根据文件块存储位置从目标对象存储桶中下载后再抽取组装成原始文件放到本地目录。
28、结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，基于所述目标端节点的文件接收模块获取所述文件传输通道的通道配置信息，从所述目标消息队列主题中逐个读取所述文件元数据，判断是否执行处理操作，如果需要处理则从指定对象存储桶中下载文件到本地目录的步骤，包括：
29、获取文件接收模块的配置信息，所述配置信息包括目标端节点的全部传输通道配置信息；
30、初始化本地文件元数据缓存，连接消息队列集群和文件对象存储集群；
31、创建并启动文件下载器线程；
32、创建并启动文件元数据接收器线程，分配文件传输通道；
33、文件元数据接收器线程针对分配的每个通道，从消息队列集群中读取第二预设数量的文件元数据，存储到本地文件元数据缓存；
34、文件下载器线程监视本地文件元数据缓存，读取解析文件元数据，获取文件存储位置，从对象存储桶中下载并组装文件内容，输出文件到本地指定目录；
35、当收到进程终止指令时，关闭文件元数据接收器线程和文件下载器线程，释放当前连接资源。
36、第二方面，本专利技术实施例还提供一种支持多源多目标的分布式文件分发装置，包括：
37、确定单元，响应于用户操作，确定业务场景对应的文件传输通道、消息队列主题和对象存储桶；其中，所述文件传输通道包括一个或多个源端节点和一个或多个接收组，每个所述接收组包括一个或多个目标端节点；
38、发送单元，基于所述源端节点的文件发送模块获取所述文件传输通道的通道配置信息，定期扫描本地目录文件，将文件内容上传到目标对象存储桶中，将文件元数据写入目标消息队列主题中；
39、接收单元，基于所述目标端节点的文件接收模块获取所述文件传输通道的通道配置信息，从所述目标消息本文档来自技高网
...
【技术保护点】
1.一种支持多源多目标的分布式文件分发方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在响应于用户操作，确定业务场景对应的文件传输通道、消息队列主题和对象存储桶的步骤之前，所述方法包括：
3.根据权利要求1所述的方法，其特征在于，响应于用户操作，确定业务场景对应的文件传输通道、消息队列主题和对象存储桶的步骤，包括：
4.根据权利要求1所述的方法，其特征在于，基于所述源端节点的文件发送模块获取所述文件传输通道的通道配置信息，定期扫描本地目录文件，将文件内容上传到目标对象存储桶中，将文件元数据写入目标消息队列主题中的步骤，包括：
5.根据权利要求1所述的方法，其特征在于，基于所述源端节点的文件发送模块获取所述文件传输通道的通道配置信息，定期扫描本地目录文件，将文件内容上传到目标对象存储桶中，将文件元数据写入目标消息队列主题中的步骤，还包括：
6.根据权利要求1所述的方法，其特征在于，基于所述目标端节点的文件接收模块获取所述文件传输通道的通道配置信息，从所述目标消息队列主题中逐个读取所述文件元数据，判断是否执行处理操作，如果需要处理则从指定对象存储桶中下载文件到本地目录的步骤，包括：
7.根据权利要求1所述的方法，其特征在于，基于所述目标端节点的文件接收模块获取所述文件传输通道的通道配置信息，从所述目标消息队列主题中逐个读取所述文件元数据，判断是否执行处理操作，如果需要处理则从指定对象存储桶中下载文件到本地目录的步骤，包括：
8.一种支持多源多目标的分布式文件分发装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并且能够在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任意一项所述的方法。
...
【技术特征摘要】
1.一种支持多源多目标的分布式文件分发方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在响应于用户操作，确定业务场景对应的文件传输通道、消息队列主题和对象存储桶的步骤之前，所述方法包括：
3.根据权利要求1所述的方法，其特征在于，响应于用户操作，确定业务场景对应的文件传输通道、消息队列主题和对象存储桶的步骤，包括：
4.根据权利要求1所述的方法，其特征在于，基于所述源端节点的文件发送模块获取所述文件传输通道的通道配置信息，定期扫描本地目录文件，将文件内容上传到目标对象存储桶中，将文件元数据写入目标消息队列主题中的步骤，包括：
5.根据权利要求1所述的方法，其特征在于，基于所述源端节点的文件发送模块获取所述文件传输通道的通道配置信息，定期扫描本地目录文件，将文件内容上传到目标对象存储桶中，将文件元数据写入目标消息队列主题中的步骤，还包括：
6.根据权利要求1所述的方法，其特征在于，...
【专利技术属性】
技术研发人员：李艳红，宋伟强，李明明，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。