数据下载方法和系统、介质和计算机设备技术方案

一种数据下载方法和系统、介质和计算机设备，所述方法包括：在接收到数据下载请求之后，从对象存储系统拉取目标对象的元数据；在拉取到所述目标对象的元数据之后，经虚拟文件系统将所述元数据写入云并行文件系统；其中，将所述元数据写入云并行文件系统的操作能够被所述云并行文件系统的命令行工具截获，所述命令行工具在截获将所述元数据写入云并行文件系统的操作之后，调用所述云并行文件系统的接口为所述目标对象对应的文件设置数据流动属性。为所述目标对象对应的文件设置数据流动属性。为所述目标对象对应的文件设置数据流动属性。

【技术实现步骤摘要】
数据下载方法和系统、介质和计算机设备


[0001]本公开涉及云存储
，尤其涉及数据下载方法和系统、介质和计算机设备。

技术介绍

[0002]对象存储系统能够提供便捷的对象存储服务(Object Storage Service，OSS)，而云并行文件系统(Cloud Parallel File Storage，CPFS)则能够提供较高的数据吞吐量。数据流动服务可以提供对象存储系统与云并行文件系统之间的交互能力，例如，将对象存储系统中的对象的数据和元数据下载到云并行文件系统，从而使用户能够同时享受到对象存储系统和云并行文件系统的服务。然而，相关技术中的数据流动服务无法同时实现以下目的：(1)解决与云并行文件系统之间的兼容适配问题；以及(2)保证下载到云并行文件系统的数据具有数据流动属性。

技术实现思路

[0003]第一方面，本公开实施例提供一种数据下载方法，由gateway节点执行，所述方法包括：在接收到数据下载请求之后，从对象存储系统拉取目标对象的元数据；在拉取到所述目标对象的元数据之后，经虚拟文件系统将所述元数据写入云并行文件系统；其中，将所述元数据写入云并行文件系统的操作能够被所述云并行文件系统的命令行工具截获，所述命令行工具在截获将所述元数据写入云并行文件系统的操作之后，调用所述云并行文件系统的接口为所述目标对象对应的文件设置数据流动属性。
[0004]第二方面，本公开实施例提供一种数据下载方法，由云并行文件系统的命令行工具执行，所述方法包括：监听gateway节点的写操作；所述写操作用于将所述gateway节点从对象存储系统中获取的目标对象的元数据经虚拟文件系统写入所述云并行文件系统；若监听到所述写操作，调用所述云并行文件系统的接口为所述目标对象对应的文件设置数据流动属性。
[0005]第三方面，本公开实施例提供一种数据下载系统，所述系统包括：数据流动服务，部署在gateway节点上，用于执行上述第一方面中任一实施例的方法；命令行工具，部署在云并行文件系统上，用于执行上述第二方面中任一实施例的方法。
[0006]第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开任一实施例所述的方法。
[0007]第五方面，本公开实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本公开任一实施例所述的方法。
[0008]在本公开实施例中，gateway节点在拉取到需要下载到云并行文件系统的目标对象的元数据之后，可以经虚拟文件系统将该元数据写入云并行文件系统，由于命令行工具为云并行文件系统自带的工具，因此，gateway节点上的数据流动服务无需兼容云并行文件系统的接口。此外，由于数据流动服务将目标对象的元数据写入云并行文件系统的操作能
够被文件系统的命令行工具截获，从而使得云并行文件系统的命令行工具能够自动调用文件系统的接口为目标对象对应的文件设置数据流动属性。基于此，本公开实施例既解决了数据流动服务与云并行文件系统之间的兼容适配问题，又能够为目标对象在云并行文件系统中对应的文件设置数据流动属性。
[0009]应当理解，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
[0010]此处的附图被并入说明书中并构成本公开的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
[0011]图1是本公开实施例的数据下载方法的流程图。
[0012]图2A是相关技术中的下载方式的示意图。
[0013]图2B是本公开实施例的方式的示意图。
[0014]图3是gateway节点集群的数据下载方式的示意图。
[0015]图4是本公开另一实施例的数据下载方法的流程图。
[0016]图5是本公开实施例的数据下载系统的示意图。
[0017]图6是本公开实施例的数据下载装置的框图。
[0018]图7是本公开另一实施例的数据下载装置的框图。
[0019]图8是本公开实施例的计算机设备的示意图。
具体实施方式
[0020]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0021]在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
[0022]应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0023]为了使本
的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
[0024]在将对象存储系统中的对象的数据和元数据下载到云并行文件系统时，一般有两
种实现方式。一种实现方式是通过数据流动服务(一种用于实现数据流动功能的软件程序)调用云并行文件系统的应用程序接口(Application Programming Interface，API)将对象存储系统中对象的数据和元数据下载到云并行文件系统中。在这种方式中，数据流动服务与云并行文件系统的接口可能基于不同的语言实现，因此，数据流动服务需要与云并行文件系统的接口进行兼容适配。另一种实现方式是，对象存储系统上的命令行工具(如ossutil)经虚拟文件系统(Virtual File System，VFS)将对象存储系统中对象的数据和元数据下载到云并行文件系统中。其中，虚拟文件系统是一个内核软件层，能够给各种文件系统提供一个通用的接口，使上层的应用程序能够使用通用的接口访问不同的文件系统。然而，通过这种方式下载的对象不具有数据流动属性，这会导致云并行文件系统中的文件所需的数据无法按需从对象存储系统下载到云并行文件系统。
[0025]其中，数据流动属性可以包括文件的状态属性，包括cached、uncached、dirty中的至少一种。其中，cached表示云并行文件系统中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据下载方法，由gateway节点执行，所述方法包括：在接收到数据下载请求之后，从对象存储系统拉取目标对象的元数据；在拉取到所述目标对象的元数据之后，经虚拟文件系统将所述元数据写入云并行文件系统；其中，将所述元数据写入云并行文件系统的操作能够被所述云并行文件系统的命令行工具截获，所述命令行工具在截获将所述元数据写入云并行文件系统的操作之后，调用所述云并行文件系统的接口为所述目标对象对应的文件设置数据流动属性。2.根据权利要求1所述的方法，所述数据下载请求中携带第一目标参数，用于指示所述数据下载请求对应的任务类型，所述任务类型包括仅下载所述目标对象的元数据的第一任务类型以及对所述目标对象的元数据和数据均进行下载的第二任务类型；所述从对象存储系统拉取目标对象的元数据，包括：若所述任务类型为所述第一任务类型，从所述对象存储系统单独拉取所述目标对象的元数据；若所述任务类型为所述第二任务类型，从所述对象存储系统分别拉取所述目标对象的元数据和数据。3.根据权利要求1所述的方法，所述数据下载请求中携带第二目标参数，用于确定所述目标对象；所述从对象存储系统拉取目标对象的元数据，包括：若所述第二目标参数中包括指定路径，将所述指定路径下的各个对象均确定为所述目标对象；若所述第二目标参数中包括对象名列表，将所述对象名列表中各个对象名对应的对象均确定为所述目标对象。4.根据权利要求1所述的方法，在所述目标对象的元数据被写入所述云并行文件系统之后，所述目标对象在所述云并行文件系统中的最后修改时间为所述目标对象的元数据被写入所述云并行文件系统的时间；所述方法还包括：获取所述目标对象在所述对象存储系统中的最后修改时间；将所述目标对象对应的文件在所述云并行文件系统中的最后修改时间更新为所述目标对象在所述对象存储系统中的最后修改时间。5.根据权利要求1所述的方法，所述gateway节点为gateway节点集群中的其中一个gateway节点，所述目标对象的数量大于1，且各个目标对象存储在所述对象存储系统的同一个桶中；其中，...

【专利技术属性】
技术研发人员：熊双辉，廖泽贤，柯蓬，廖晨歌，张兴运，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：