文件传输方法技术

本公开提供了文件传输方法

【技术实现步骤摘要】
文件传输方法、装置、电子设备以及存储介质


[0001]本公开涉及计算机
，尤其涉及云计算
、
大数据
、
信息流等领域，具体地，涉及一种文件传输方法
、
装置
、
电子设备以及存储介质
。

技术介绍

[0002]在云环境下，很多业务会运维管理一些超大规模的集群，比如常见的上千个节点的
Hadoop(
一种分布式系统基础架构
)
大数据集群
。
在该种环境下，经常会有需求将一个文件
(
部署包
、
配置文件或者是数据
)
从一台机器或者是外部环境下载到集群内的多台机器上
。

技术实现思路

[0003]本公开提供了一种文件传输方法
、
装置
、
电子设备以及存储介质
。
[0004]根据本公开的一方面，提供了一种文件传输方法，包括：响应于确定集群的目标节点已获得待传输文件，获取针对目标节点配置的目标文件分发任务的信息，集群还包括目标节点的下游节点，目标文件分发任务的信息包括下游节点的下游节点标识；以及响应于接收到用于执行目标文件分发任务的第一执行指令，根据下游节点标识，将待传输文件发送至下游节点
。
[0005]根据本公开的另一方面，提供了一种文件传输装置，包括：任务信息获取模块，用于响应于确定集群的目标节点已获得待传输文件，获取针对目标节点配置的目标文件分发任务的信息，集群还包括目标节点的下游节点，目标文件分发任务的信息包括下游节点的下游节点标识；以及文件发送模块，用于响应于接收到用于执行目标文件分发任务的第一执行指令，根据下游节点标识，将待传输文件发送至下游节点
。
[0006]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的文件传输方法
。
[0007]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开的文件传输方法
。
[0008]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现本公开的文件传输方法
。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围
。
本公开的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0010]附图用于更好地理解本方案，不构成对本公开的限定
。
其中：
[0011]图1示意性示出了根据本公开实施例的可以应用文件传输方法及装置的示例性系统架构；
[0012]图2示意性示出了根据本公开实施例的文件传输方法的流程图；
[0013]图3示意性示出了根据本公开实施例的集群中节点的示例性结构图；
[0014]图4示意性示出了根据本公开实施例的文件分发任务的处理逻辑的示意图；
[0015]图5示意性使出了根据本公开实施例的确定当前任务的任务执行状态的整体流程图；
[0016]图6示意性示出了根据本公开实施例的单个文件分发任务或文件分发任务组中任务的任务状态转换图；
[0017]图7示意性示出了根据本公开实施例的文件传输装置的框图；以及
[0018]图8示出了可以用来实施本公开的实施例的示例电子设备的示意性框图
。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的
。
因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神
。
同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述
。
[0020]在本公开的技术方案中，所涉及的用户个人信息的收集
、
存储
、
使用
、
加工
、
传输
、
提供
、
公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗
。
[0021]在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意
。
[0022]在需要将一个文件从一台机器或外部环境下载到集群内的多台机器上时，一般通过单独搭建独立的源服务器或者服务集群实现
。
具体地，在集群内选取一个或者多个节点作为源，需要下载文件的多台机器同时从这些源并行下载文件，并且需要有一个固定的中心节点来监控每一个节点的下载状态
。
[0023]专利技术人在实现本公开构思的过程中发现，上述方法需要单独维护独立的源服务器，成本较大，且源服务器的带宽容易成为下载瓶颈，导致整个下载任务效率变低
。
此外，还需要维护固定的中心节点，由中心节点来完成文件传输过程中的各项操作，中心节点很容易成为该种方案的稳定性瓶颈
。
[0024]图1示意性示出了根据本公开实施例的可以应用文件传输方法及装置的示例性系统架构
。
[0025]需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于其他设备
、
系统
、
环境或场景
。
例如，在另一实施例中，可以应用文件传输方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的文件传输方法及装置
。
[0026]如图1所示，根据该实施例的系统架构
100
可以包括第一终端设备
101、
第二终端设备
102、
第三终端设备
103
，网络
104
和服务器
105。
网络
104
用以在第一终端设备
101、
第二终
端设备
102、
第三终端设备
103
和服务器
105
之间提供通信链路的介质
。
网络
104
可以包括各种连接类型，例如有线和
/
或无线通信链路等等
。
[0027]用户可以使用第一终端设备
101、
第二终端设备
102、<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种文件传输方法，包括：响应于确定集群的目标节点已获得待传输文件，获取针对所述目标节点配置的目标文件分发任务的信息，所述集群还包括所述目标节点的下游节点，所述目标文件分发任务的信息包括所述下游节点的下游节点标识；以及响应于接收到用于执行所述目标文件分发任务的第一执行指令，根据所述下游节点标识，将所述待传输文件发送至所述下游节点
。2.
根据权利要求1所述的方法，还包括：响应于确定当前时刻到达预定义时刻，确定所述目标文件分发任务的目标任务执行状态信息；以及将所述目标任务执行状态信息发送至与所述集群的各个节点相连接的第一外部存储单元，以通过所述第一外部存储单元将所述目标任务执行状态信息发送至所述集群的各个节点
。3.
根据权利要求2所述的方法，其中，所述目标文件分发任务包括在多个时刻生成的多个文件分发任务；所述确定所述目标文件分发任务的目标任务执行状态信息包括：根据所述多个文件分发任务各自的任务执行路径信息，将任务执行路径相同的文件分发任务分配至同一个文件分发任务组；以及根据针对所述同一个文件分发任务组定义的预设规则，确定所述同一个文件分发任务组中文件分发任务的任务执行状态，所述预设规则为根据互斥机制定义的规则
。4.
根据权利要求3所述的方法，其中，所述预设规则包括：所述同一个文件分发任务组中最多一个文件分发任务的任务执行状态信息指示了正在执行
。5.
根据权利要求3或4所述的方法，其中，所述同一个文件分发任务组包括在第一时刻生成的第一文件分发任务以及在第二时刻生成的第二文件分发任务；所述根据针对所述同一个文件分发任务组定义的预设规则，确定所述同一个文件分发任务组中文件分发任务的任务执行状态包括：响应于确定所述第一文件分发任务的第一任务执行状态信息指示了正在执行且所述第一时刻晚于所述第二时刻，将所述第二文件分发任务的第二任务执行状态信息更新为表征跳过执行的忽略状态
。6.
根据权利要求5所述的方法，其中，所述根据针对所述同一个文件分发任务组定义的预设规则，确定所述同一个文件分发任务组中文件分发任务的任务执行状态还包括：响应于确定所述第一任务执行状态信息指示了执行成功，将所述第二任务执行状态信息更新为执行成功；以及响应于确定所述第一任务执行状态信息指示了执行失败，将所述第二任务执行状态信息更新为执行失败
。7.
根据权利要求2所述的方法，其中，所述集群还包括所述目标节点的上游节点；所述确定所述目标文件分发任务的目标任务执行状态信息包括：获取针对所述上游节点配置的上游文件分发任务的上游任务执行状态信息；响应于确定所述上游任务执行状态信息指示了未执行完成，在预设时间间隔之后再次读取所述上游任务执行状态信息；以及响应于确定所述上游任务执行状态信息指示了执行成功，将所述目标任务执行状态信
息更新为正在执行
。8.
根据权利要求7所述的方法，其中，所述确定所述目标文件分发任务的目标任务执行状态信息还包括：响应于确定所述上游任务执行状态信息指示了执行失败，将所述目标任务执行状态信息更新为执行失败
。9.
根据权利要求2或7或8所述的方法，其中，所述确定所述目标文件分发任务的目标任务执行状态信息包括：响应于确定所述目标文件分发任务的重试次数等于预设次数，将所述目标任务执行状态信息更新为执行失败
。10.
根据权利要求9所述的方法，还包括：在所述响应于确定所述目标文件分发任务的重试次数等于预设次数，将所述目标任务执行状态信息更新为执行失败之前，响应于确定所述目标文件分发任务执行失败，且确定所述重试次数小于所述预设次数，生成重新执行所述目标文件分发任务的第二执行指令，并将所述重试次数加1，所述重试次数的初始值为
0。11.
根据权利要求9或
10
所述的方法，还包括：在所述响应于确定所述目标文件分发任务的重试次数等于预设次数，将所述目标任务执行状态信息更新为执行失败之前，根据所述目标文件分发任务的启动时刻和当前时刻，确定所述目标文件分发任务的单次执行时长；以及响应于确定所述单次执行时长达到预设时长，且确定所述重试次数小于所述预设次数，生成重新执行所述目标文件分发任务的第三执行指令，并将所述重试次数加
1。12.
根据权利要求1‑
11
中任一项所述的方法，还包括：在所述响应于确定集群的目标节点已获得待传输文件，获取针对所述目标节点配置的目标文件分发任务的信息之前，响应于接收到表征向所述集群分发所述待传输文件的文件传输指令，根据所述文件传输指令所表征的文件传输信息，生成所述目标文件分发任务；以及将所述目标文件分发任务的信息发送至与所述集群的各个节点相连接的第二外部存储单元，以通过所述第二外部存储单元将所述目标文件分发任务的信息发送至所述集群的节点
。13.
根据权利要求
11
所述的方法，其中，所述集群包括第一节点和第二节点，所述文件传输信息包括所述第一节点的第一节点标识和所述第二节点的第二节点标识；所述根据所述文件传输指令所表征的文件传输信息，生成所述目标文件分发任务包括：根据所述第一节点标识和所述第二节点标识，生成以所述第一节点为源节点
、
以所述第二节点为目的节点的目标文件分发任务
。14.
根据权利要求
13
所述的方法，其中，所述文件传输信息还包括所述待传输文件的目标存储地址；所述根据所述文件传输指令所表征的文件传输信息，生成所述目标文件分发任务还包括：根据所述第一节点标识
、
所述第二节点标识和所述目标存储地址，生成以所述第一节点为源节点
、
以所述第二节点为目的节点
、
以所述第二节点中的所述目标存储地址为所述待传输文件的文件存储地址的目标文件分发任务
。15.
根据权利要求
13
或
14
所述的方法，其中，所述将所述目标文件分发任务的信息发送
至所述集群的节点包括：根据所述目标文件分发任务的源节点的源节点标识，将所述目标文件分发任务发送至与所述源节点标识相对应的节点
。16.
一种文件传输装置，包括：任务信息获取模块，用于响应于确定集群的目标节点已获得待传输文件，获取针对所述目标节点配置的目标文件分发任务的信息，所述集群还包括所述目标节点的下游节点，所述目标文件分发任务的信息包括所述下游节点的下游节点标识；以及文件发送模块，用于响应于接收到用于执行所述目标文件分发任务的第一执行指令，根据所述下游节点标识，将所述待传输文件发送至所述下游节点
。17.
根据权利要求
16
所述的装置，还包括：状态...

【专利技术属性】
技术研发人员：何雪源，陈锐，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：