一种数据下载方法及相关设备技术

技术编号:42069516 阅读:16 留言:0更新日期:2024-07-19 16:51
本说明书提供了一种数据下载方法及相关设备。应用于计算节点,所述计算节点存储了与已创建的若干历史下载会话对应的若干历史会话标识;所述下载会话用于从与所述计算节点对接的数据存储节点中下载参与计算的数据。该方法包括:响应于针对目标数据的计算任务,确定在当前时刻之前的预设时长内是否创建了与所述目标数据对应的下载会话;其中,所述预设时长小于或者等于已创建的下载会话的有效期;若是,则从存储的所述若干历史会话标识中获取与所述目标数据对应的目标会话标识;从已创建的若干历史下载会话中确定出与存储的所述目标会话标识对应的目标下载会话,并基于已创建的所述目标下载会话,从所述数据存储节点中下载所述目标数据。

【技术实现步骤摘要】

本说明书一个或多个实施例涉及数据处理,尤其涉及一种数据下载方法及相关设备


技术介绍

1、计算节点在执行计算任务时,往往需要先从数据存储节点中下载本次计算所使用的数据。而在下载数据前,需要先通过数据通道(tunnel)服务创建一个下载会话(downloadsession),该downloadsession可以用于管理和控制计算节点从数据存储接节点下载数据的整个过程,以便更加高效地执行数据下载。

2、然而,tunne服务中创建downloadsession的过程通常比较慢,耗时较长,这严重影响了数据下载的整体效率。


技术实现思路

1、有鉴于此,本说明书一个或多个实施例提供一种数据下载方法及相关设备。

2、第一方面,本说明书提供了一种数据下载方法,应用于计算节点,所述计算节点存储了与已创建的若干历史下载会话对应的若干历史会话标识;所述下载会话用于从与所述计算节点对接的数据存储节点中下载参与计算的数据;所述方法包括:

3、响应于针对目标数据的计算任务,确定在当前时刻之前的预设时长本文档来自技高网...

【技术保护点】

1.一种数据下载方法,其特征在于,应用于计算节点,所述计算节点存储了与已创建的若干历史下载会话对应的若干历史会话标识;所述下载会话用于从与所述计算节点对接的数据存储节点中下载参与计算的数据;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述计算节点与所述数据存储节点之间部署了tunnel服务端;所述tunnel服务端用于创建所述下载会话。

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述通过所述tunnel服务端创建与所述目标数据对应的目标下载会话和目标会话标识,包括:

...

【技术特征摘要】

1.一种数据下载方法,其特征在于,应用于计算节点,所述计算节点存储了与已创建的若干历史下载会话对应的若干历史会话标识;所述下载会话用于从与所述计算节点对接的数据存储节点中下载参与计算的数据;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述计算节点与所述数据存储节点之间部署了tunnel服务端;所述tunnel服务端用于创建所述下载会话。

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述通过所述tunnel服务端创建与所述目标数据对应的目标下载会话和目标会话标识,包括:

5.根据权利要求4所述的方法,其特征在于,所述确定在当前时刻之前的预设时长内是否创建了与所述目标数据对应的下载会话,包括:

6.根据权利要求2所述的方法,其特征在于,所述tunnel服务端中维护了已创建的若干历史下载会话;所述从已创建的若干历史下载会话中确定出与存储的所述目标会话标识对应的目标下载会话,包括:

7.根据权利要求2所述的方法,其特征在于,所述计算节点还存储了已创建的若干历史下载会话中包含的会话信息;

8.根据权利要求2所述的方法,其特征在于,所述方法还包括:

9.根据权利要求1所述的方法,其特征在于,所述方法还包括:

10.根据权利要求1-9任意一项所述的方法,其特征在于,所述计算节点为分布式计算引擎中的任一计算节点,针对所述目...

【专利技术属性】
技术研发人员:曾彬炜黄超丘浩成李惠
申请(专利权)人:支付宝杭州信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1