将文件复制和迁移到辅助存储站点制造技术

本发明专利技术提供了一种用于将文件复制和迁移至辅助存储站点的计算机程序产品、系统和方法。在主存储站点处的文件集中的文件被迁移至文件容器，其中迁移至文件容器的文件的数据在辅助存储站点之间分发。更新每个迁移文件的文件元数据以包括关于文件容器中的迁移文件的访问信息。在本地存储装置中删除迁移文件的数据。通过网络将迁移文件的文件元数据复制到辅助存储站点以在辅助存储站点处的文件集中存储，而不复制迁移文件的文件数据以在辅助存储站点处的文件集中存储。

Copying and migrating files to a secondary storage site

【技术实现步骤摘要】
【国外来华专利技术】将文件复制和迁移到辅助存储站点
本专利技术涉及一种用于将文件复制和迁移到辅助存储站点的计算机程序产品、系统和方法。
技术介绍
灾难恢复系统将数据的文件集从主站点镜像到一个或多个辅助站点。在主要站点处故障的情况下，来自连接的主机的读取和写入请求可被重定向到辅助站点。进一步，网络中的系统可实现云分层(tiering)，其中文件被传送到云对象存储以在本地存储上腾出空间，诸如国际商业机器公司(IBM)云对象存储系统TM、服务、(云对象存储(CLOUDOBJECTSTORAGE)是IBM的商标，AWS是AmazonWebServices的商标，OpenStack是OpenStackFoundation的商标)。在云分层之后，在文件系统上将仅存在存根(stub)。当存根被访问时，由访问的存根表示的文件被透明调用。所描述的实施例提供用于出于灾难恢复目的而在辅助站点处维护数据的冗余副本的改进技术。
技术实现思路
本专利技术提供了一种用于将文件复制和迁移至辅助存储站点的计算机程序产品、系统和方法。主存储站点处的文件集中的文件被迁移至文件容器，其中迁移至文件容器的文件的数据在辅助存储站点之间分发。更新每个迁移文件的文件元数据以包括关于文件容器中的迁移文件的访问信息。在本地存储装置中删除迁移文件的数据。通过网络将迁移文件的文件元数据复制到辅助存储站点以存储在辅助存储站点处的文件集中，而不复制迁移文件的文件数据以存储在辅助存储站点处的文件集中。根据一个方面，提供了一种用于通过网络管理在主存储站点和辅助存储站点处的文件集中的文件的计算机程序产品，其中所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有体现在其上的程序指令，所述程序指令可由处理器执行以引起操作，该操作包括：将所述主存储站点处的文件集中的文件迁移到文件容器，其中迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；删除本地存储装置中的所述迁移文件的数据；以及，通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。根据另一个方面，提供了一种用于管理在通过网络与多个辅助存储站点通信的主存储站点处的文件集中的文件的系统，包括：具有文件集的本地存储装置；具有文件容器的对象存储装置；服务器，所述服务器与所述本地存储装置和所述对象存储装置通信，以执行包括以下各项的操作：将所述文件集的一个文件集中的文件迁移到所述文件容器，其中，迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；删除本地存储装置中的所述迁移文件的数据；以及，通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。根据另一个方面，提供了一种用于管理文件的系统，包括：主存储站点；通过网络与所述主存储站点通信的多个辅助存储站点；其中，所述主存储站点包括：具有文件集的本地存储装置；具有文件容器的对象存储装置；服务器，所述服务器与所述本地存储装置和所述对象存储装置通信，以执行包括以下各项的操作：将所述文件集的一个文件集中的文件迁移到所述文件容器，其中，迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；删除本地存储装置中的所述迁移文件的数据；以及，通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。根据另一个方面，提供了一种用于通过网络管理在主存储站点和辅助存储站点处的文件集中的文件的方法，包括：将所述主存储站点处的文件集中的文件迁移到文件容器，其中迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；删除本地存储装置中的所述迁移文件的数据；以及通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。通过上述实施例，在将文件迁移至其内容分发在主、辅助存储站点中的对象文件容器时，仅将文件元数据迁移至辅助存储站点的文件集，而不是将实际文件作为对象迁移至文件容器。这节省了网络带宽，因为非常大的文件的多个实例没有与作为对象迁移到要分发到辅助存储站点的文件容器上的文件一起被完全复制到辅助存储站点。将文件双重复制到辅助存储站点文件集以及迁移到要跨存储站点分发的文件容器将使用大量的网络带宽。通过避免将完整的非常大的文件复制到辅助存储站点中的每一个，限制将文件复制到辅助存储站点以将文件的每个片段的一个实例分发给辅助存储站点，节省了大量的网络带宽。然而，小得多的文件元数据被复制到辅助存储站点处的文件集，并且如果需要的话，该文件元数据在辅助存储站点处可以用于访问文件，其中可以从包括作为分布式对象的文件的文件容器调用文件。在进一步的实施例中，迁移至文件容器的文件的文件元数据也被迁移至跨主和辅助存储站点分发的元数据容器。响应于将文件元数据迁移至元数据容器，将文件元数据的完整副本迁移至每个辅助存储站点处的元数据容器。利用该进一步的实施例，因为文件元数据是相对小的对象，所以将完整副本迁移到每个辅助存储站点消耗非常小的网络带宽。进一步，具有该文件的对象的元数据格式可能不足以存储完整的文件元数据。由此，将文件元数据迁移至元数据容器，然后从该元数据容器将文件元数据对象复制到所有辅助存储站点，提供用于存储在文件容器中的文件对象的文件元数据对象，以便在主和辅助存储站点(如果需要的话)完整可用。在另一实施例中，确定文件集中的文件是否在阈值时间内未被访问，使得迁移的文件包括在阈值时间内未被访问的第一组文件。将在阈值时间内已被访问的文件集中的第二组文件预迁移至文件容器，同时将文件集中的第二组中的文件的副本留在文件集中。利用进一步的预迁移实施例，可以在请求迁移文件的时间之前迁移文件，以在需要时减少完成迁移操作中的等待时间。进一步地，对于不满足归档策略的文件的预迁移，将所述文件保持在文件集中进行访问。在另一实施例中，接收包括更新的文件的对文件集中的文件之一的更新。更新的文件的文件元数据被更新以包括关于更新的文件的信息。更新的文件的文件元数据通过网络被复制到辅助存储站点。利用进一步的实施例，更新的文件的文件元数据被复制到辅助存储站点以与它们的文件集一起存储，以提供辅助存储站点对文件的最当前版本的访问，这反映在文件元数据中，即使辅助存储站点还没有更新的文件的所有更新数据。在另一实本文档来自技高网...

【技术保护点】
1.一种用于通过网络管理在主存储站点和辅助存储站点处的文件集中的文件的计算机程序产品，其中所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有体现在其上的程序指令，所述程序指令可由处理器执行以引起操作，该操作包括：/n将所述主存储站点处的文件集中的文件迁移到文件容器，其中迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；/n更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；/n删除本地存储装置中的所述迁移文件的数据；以及/n通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。/n

【技术特征摘要】
【国外来华专利技术】20170804 US 15/669,3191.一种用于通过网络管理在主存储站点和辅助存储站点处的文件集中的文件的计算机程序产品，其中所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有体现在其上的程序指令，所述程序指令可由处理器执行以引起操作，该操作包括：
将所述主存储站点处的文件集中的文件迁移到文件容器，其中迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；
更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文件的访问信息；
删除本地存储装置中的所述迁移文件的数据；以及
通过所述网络将所述迁移文件的所述文件元数据复制到所述辅助存储站点以存储在所述辅助存储站点处的文件集中，而不复制所述迁移文件的文件数据以存储在所述辅助存储站点处的所述文件集中。


2.权利要求1的计算机程序产品，其中所述文件容器跨所述主存储站点和所述辅助存储站点分发，并且其中分发迁移到所述文件容器的所述文件的所述数据使得迁移文件中的每个迁移文件被编码为片段并且在所述辅助存储站点之间分发。


3.权利要求2的计算机程序产品，其中该操作进一步包括：
将迁移到所述文件容器的所述文件的所述文件元数据迁移到跨所述主存储站点和所述辅助存储站点分发的元数据容器；以及
响应于将所述文件元数据迁移到所述元数据容器，将所述文件元数据的完整副本拷贝到所述辅助存储站点处的所述元数据容器。


4.如权利要求2所述的计算程序产品，其中，通过检索分发在所述辅助存储站点处的所述文件容器中的所述片段，然后对所检索的片段进行解码以重构所述迁移文件，重新调用所述迁移文件中的一个迁移文件。


5.权利要求1的计算机程序产品，其中该操作进一步包括：
确定所述文件集中的文件是否包括在阈值时间内未被访问的文件，其中所述迁移文件包括在所述阈值时间内未被访问的第一组文件；以及
将在所述阈值时间内已被访问的所述文件集中的第二组文件预迁移至所述文件容器，同时将所述第二组中的文件的副本留在所述文件集中。


6.权利要求1的计算机程序产品，其中该操作进一步包括：
确定是否满足关于正被迁移的所述文件的条件；以及
通过网络将满足所述条件的任何文件的至少一部分复制到所述辅助存储站点。


7.权利要求1的计算机程序产品，其中该操作进一步包括：
接收包括更新的文件的对所述文件集中的文件之一的更新；
更新所述更新的文件的所述文件元数据以包括关于所述更新的文件的信息；以及
通过所述网络将所述更新的文件的所述文件元数据复制到所述辅助存储站点。


8.权利要求7的计算机程序产品，其中该操作进一步包括：
通过所述网络将所述更新的文件的更新数据复制到所述辅助存储站点，其中所述更新数据包括对所述更新的文件的改变，其小于所述更新的文件的完整内容。


9.权利要求8的计算机程序产品，其中将所述更新数据复制到所述辅助存储站点使得所述辅助存储站点中的一个辅助存储站点执行：
当所述辅助存储站点包括所述更新的文件的副本时，用所述更新数据更新所述辅助存储站点处的所述更新的文件的先前版本；
当所述辅助存储站点不包括所述更新的文件的副本时，从所述文件容器重新调用所述更新的文件；以及
用所述更新数据更新所述重新调用的更新的文件。


10.权利要求1的计算机程序产品，其中该操作进一步包括：
确定在复制时间阈值内所述文件集中的其文件元数据被复制到所述辅助存储站点的新文件是否已经被迁移到所述文件容器；以及
响应于确定在所述复制时间阈值内所述新文件尚未被迁移到所述文件容器，通过所述网络将所述新文件复制到所述辅助存储站点。


11.权利要求1的计算机程序产品，其中该操作进一步包括：
接收删除所述文件集中的文件的删除请求；
删除所述文件以及所述文件的文件元数据以在文件集中删除；
发送从所述文件容器删除所述文件的删除请求，所述删除请求致使发出用以删除分发在所述辅助存储站点处的所述文件的数据的命令；以及
发送从元数据容器删除所述文件元数据的删除请求，所述删除请求致使发出用以删除所述辅助存储站点处的所述文件元数据的命令。


12.权利要求1的计算机程序产品，其中在所述主存储站点处的所述文件集包括读和写文件集，并且其中所述辅助存储站点具有只读文件集，并且其中所述辅助存储站点包括如果所述主存储站点在所述网络上不可用则用于文件集操作的灾难恢复站点。


13.一种用于管理在通过网络与多个辅助存储站点通信的主存储站点处的文件集中的文件的系统，包括：
具有文件集的本地存储装置；
具有文件容器的对象存储装置；
服务器，所述服务器与所述本地存储装置和所述对象存储装置通信，以执行包括以下各项的操作：
将所述文件集的一个文件集中的文件迁移到所述文件容器，其中，迁移到所述文件容器的所述文件的数据在所述辅助存储站点之间分发；
更新每个迁移文件的文件元数据以包括关于所述文件容器中的所述迁移文...

【专利技术属性】
技术研发人员：A·玛尼，R·巴沙姆，R·柯德拉，H·J·罗伯森二世，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US