通过存储设备迁移信息制造技术

诸如可连接网络的数据传输设备之类的设备可被配置来在集群中操作以协调数据的存储。可生成第一清单，所述第一清单盘点从数据源成功传输到所述数据传输设备的第一数据集。可生成第二清单，所述第二清单盘点从所述数据传输设备成功传输到数据目的地的第二数据集。可将所述第一清单与所述第二清单进行比较以确定一个或多个数据对象的传输状态。所述传输状态可指示已成功从所述数据源传输到所述数据目的地的一个或多个数据对象。可根据所述传输状态来处理所述一个或多个对象。

Migrating information through storage devices

【技术实现步骤摘要】
【国外来华专利技术】通过存储设备迁移信息相关申请的交叉引用本申请要求2017年3月29日提交的名称为“MIGRATIONOFINFORMATIONVIASTORAGEDEVICES”的美国专利申请号15/473,475和2017年3月29日提交的名称为“MANIFESTGENERATIONFORDATATRANSFERS”的美国专利申请号15/473,479的权益，其公开内容以引用方式整体并入本文。
技术介绍
数据存储容量和数据用户需求的增长已经远远超过了网络数据传输带宽。比如，大规模数据集(例如“大数据”)可能包含如此庞大或复杂的数据集合，以至于传统的数据传输解决方案无法高效地或有效地传输它们。将大规模数据集从源目的地移动到数据存储系统上的过程可能会消耗大量资源和/或涉及风险。例如，数据集的大小可能使得通过网络进行数据传输是不切实际的。另外，由于数据集的大小或复杂性，可能难以确定整个数据集是否已成功地从源位置传输或复制到数据存储系统上。确定数据集是否已成功传输到最终目的地处的数据存储位置也可能很有挑战性，尤其是在以避免至少部分传输使用任何计算机网络的方式传输数据时。附图说明各种技术将参考附图来描述，在附图中：图1示出在其中可实践各种实施方案的环境；图2示出在其中可实践各种实施方案的环境的说明性示例；图3示出根据各种实施方案的可连接网络的数据传输设备的说明性示例；图4示出根据各种实施方案的数据传输清单的说明性示例；图5示出用于向数据传输设备传输数据对象和从数据传输设备传输数据对象的过程的说明性示例；图6示出由在数据传输设备上操作的传输设备服务执行的用于盘点和传输数据对象的过程的说明性示例；图7示出由服务提供方执行的用于从数据传输设备接收和存储数据对象的过程的说明性示例；图8示出由集群服务执行的用于基于清单来处理数据对象的说明性过程；图9示出用于在客户端位置处和服务提供方位置处处理数据传输的环境；并且图10示出在其中可实现各种实施方案的环境。具体实施方式本文描述和建议的技术涉及利用可连接网络的数据传输设备(其可被配置在集群中)将大规模数据集从一个位置以物理方式运输到另一个位置。在一个示例中，可连接网络的数据传输设备的可连接网络的集群可被配置，以使得设备彼此通信并互相传输数据。设备集群可指被配置来一起操作(诸如协同操作以存储数据)的多个设备。例如，设备集群可用于提供超出单个存储设备能够提供的扩展的数据存储和/或处理能力和/或通过存储多个副本和/或通过使用冗余(例如，擦除)编码进行存储来提供持久性。与集群的操作相关的数据和元数据可在集群设备之间分布。本文描述的设备可以是可连接网络的数据传输设备。如所指出的，各种实现方式可用于将大规模数据集从客户端运输到服务提供方。可将数据集上载到服务提供方的一项或多项服务，使得客户端能够容易地访问数据集。通过服务提供方的大规模数据集的可用性可能使客户端摆脱维护和存储大规模数据集的成本和负担。因此，客户端可能希望从其数据存储系统中删除或移除大规模数据集。然而，从客户端的数据存储系统中删除大规模数据集可能会永久丢失一些或全部数据集。比如，在数据集没有完全或准确地复制到被运输到服务提供方的数据传输设备中的情况下，或者数据集没有从数据传输设备中完全或准确地复制到服务提供方的数据存储系统中的情况下，客户端数据存储系统中的数据集的删除将导致至少一些数据集的永久丢失。此外，在服务提供方处检查整个大规模数据集以确保将数据集成功地传输到其上可能是过度的负担。当客户端系统和服务提供方连接到无法相互通信的不同网络时，情况尤其如此。为了将数据从一个位置安全地传输到另一个位置，各种实现方式涉及盘点已成功传输到可连接网络的数据传输设备的可连接网络的集群中的数据传输设备中的一个或从其中一个成功传输的数据。与例如将大规模数据集从设备集群复制到数据传输设备结合，可生成源清单，所述源清单对成功传输到数据传输设备的数据集的数据对象进行盘点。当数据传输设备在服务提供方处时，服务提供方的计算机系统可生成接收清单以盘点已成功地从数据传输设备上载到服务提供方的服务的数据对象。可在源清单与接收清单之间执行比较，以确定大规模数据集的数据对象集已成功复制到以下两者：(1)从客户端数据存储系统复制到数据传输设备，以及(2)从数据传输设备复制到服务提供方。客户端可以任何合适的方式安全地处理客户端数据存储系统上的对应数据对象集，诸如通过从数据存储系统中删除所述数据对象集。相反地，客户端可维护未指示要成功复制到服务提供方的任何数据对象的完整性或保护未指示要成功复制到服务提供方的任何数据对象。因此，可大大降低由于数据对象的复制不成功而在源处错误删除数据对象的风险。在上文和下文的描述中，描述了各种技术。出于解释的目的，将阐述具体的配置和细节，以便提供对实现所述技术的可能方式的透彻理解。然而，也将显而易见，以下所描述的技术可在没有具体细节的情况下实践于不同配置中。此外，可省略或简化众所周知的特征，以避免使所描述的技术模糊。图1示出在其中可实践本公开的各种实施方案的环境100的说明性示例。在一个实施方案中，执行数据传输操作以将包括数据对象集的数据集复制到可连接网络的数据存储和传输设备102上，所述可连接网络的数据存储和传输设备102用于从数据源104接收数据集并将其以物理方式运输到数据目的地106。可执行数据盘点操作以生成源清单108，所述源清单108对成功复制到数据传输设备102上的数据集的数据对象进行盘点。执行数据传输操作后，可使用一种或多种运输方法108，诸如采用一种或多种车辆(包括卡车、小汽车、自行车、飞机或直升机)的运送服务(作为非限制性示例)，将传输设备102从数据源104以物理方式运输到数据目的地106。当传输设备102到达数据目的地106时，可在传输设备102上执行数据传输操作。数据传输操作包括：尝试将数据集的数据对象从数据传输设备102复制到数据目的地106的一个或多个数据存储设备上。可执行数据盘点操作以生成接收清单112，所述接收清单112对数据传输设备102上成功复制到数据目的地106的数据集的数据对象进行盘点。数据源104的数据存储服务可执行操作114，所述操作114将源清单106与接收清单112进行比较，以确定已成功从数据源104传输到数据目的地106的数据对象集。操作114可包括：确定与在接收清单112上盘点的数据对象相对应的在源清单108上盘点的数据对象。比较操作114的结果可提供对能被安全处理而没有永久丢失数据的风险的数据对象的指示。数据存储服务可根据用于从数据传输设备102读取数据对象、传输到目的地106并相应地更新接收清单112的自动化过程来进行操作，诸如下文所描述。基于比较操作114，可执行一组操作以处理被指示为成功传输的一个或多个数据对象。在一个实施方案中，可针对被指示为已成功地从数据源104传输到传输设备102上并且从传输设备102传输到数据目的地106的数据对象集执行删除操作，如下文关于图5所描述。<本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，其包括：/n将多个数据对象从客户数据源复制到位于客户端位置处的可连接网络的数据传输设备上，用于以物理方式运输到服务提供方位置；/n生成源清单，所述源清单盘点已成功复制到所述客户端位置处的所述可连接网络的数据传输设备的所述多个数据对象中的数据对象基；/n接收接收清单，所述接收清单盘点从位于服务提供方位置处的所述可连接网络的数据传输设备已成功传输到数据存储服务的所述多个数据对象中的数据对象；/n将所述源清单与所述接收清单执行比较，以确定已成功从所述数据传输设备传输到所述数据存储服务的所述数据对象集的子集；以及/n执行对所述数据对象集的所述子集的单个数据对象进行转换的一组操作。/n

【技术特征摘要】
【国外来华专利技术】20170329 US 15/473,475;20170329 US 15/473,4791.一种计算机实现的方法，其包括：
将多个数据对象从客户数据源复制到位于客户端位置处的可连接网络的数据传输设备上，用于以物理方式运输到服务提供方位置；
生成源清单，所述源清单盘点已成功复制到所述客户端位置处的所述可连接网络的数据传输设备的所述多个数据对象中的数据对象基；
接收接收清单，所述接收清单盘点从位于服务提供方位置处的所述可连接网络的数据传输设备已成功传输到数据存储服务的所述多个数据对象中的数据对象；
将所述源清单与所述接收清单执行比较，以确定已成功从所述数据传输设备传输到所述数据存储服务的所述数据对象集的子集；以及
执行对所述数据对象集的所述子集的单个数据对象进行转换的一组操作。


2.如权利要求1所述的计算机实现的方法，其中：
所述源清单和所述接收清单中的至少一者包括所述多个数据对象中的一个或多个数据对象的完整性信息；并且
所述比较利用了所述完整性信息。


3.如权利要求1所述的计算机实现的方法，其中所述一组操作包括使得能够覆写存储所述第一数据对象集的所述子集的数据存储区域。


4.如权利要求1所述的计算机实现的方法，其中：
所述接收清单包括数据传输服务的数字签名；并且
执行所述一组操作的条件是所述数字签名的成功验证。


5.一种系统，其包括：
一个或多个处理器；以及
存储器，所述存储器存储计算机可执行指令，所述指令被执行时致使所述一个或多个处理器：
接收第一清单，所述第一清单盘点写入数据传输设备的第一数据对象集；
在所述第一清单与第二清单之间执行比较，所述第二清单盘点从所述第二数据传输设备写入的第二数据对象集，以确定所述第一数据对象集中的数据对象的状态；并且
根据所述状态处理所述数据对象。


6.如权利要求5所述的系统，其中所述状态至少部分地基于对应于数据对象标识符的所述第一清单中的传输状态与对应于所述相同数据对象标识符的所述第二清单中的通信状态的比较来确定。


7....

【专利技术属性】
技术研发人员：C·L·拉齐尔，
申请(专利权)人：亚马逊技术有限公司，
类型：发明
国别省市：美国;US