云存储系统间的数据迁移技术方案

本发明专利技术的目的是提供一种用于云存储系统间的数据迁移的方法、设备与系统以及计算机设备与计算机可读存储介质。其中，用户设备根据待迁移的文件列表，生成其中每个文件的描述信息；将一个或多个数据迁移请求分别发送至可用的服务器，以由相应的服务器在不同云存储系统之间执行数据迁移，其中，每个数据迁移请求中包括对数据迁移的源端和目的端的指示信息以及一个或多个待迁移文件的描述信息。本发明专利技术使得在各种云存储系统之间数据迁移的核心流程得到了复用，并可对各种数据源端以及数据目的端进行扩展，从而提供了对性能、灵活性、可扩展性、自动化、数据校验以及框架通用性等各项性能要求均可以满足的在不同云存储系统之间进行数据迁移的方案。

【技术实现步骤摘要】
云存储系统间的数据迁移
本专利技术涉及数据迁移的
，尤其涉及一种用于云存储系统间的数据迁移的技术。
技术介绍
云存储服务提供了稳定、安全、高效以及高扩展的存储服务，不仅直接面向用户提供服务，同时也为上层业务提供了强大支持，是公有云服务中一项非常重要的基础服务。市场上云存储产品众多，随着市场或者云存储用户的需求的不断变动，云存储用户可能会选择使用不同的云存储服务。这就会产生数据在不同的云存储间进行迁移的需求，例如从阿里云OSS将数据迁移到百度云BOS等。对于云存储系统间的数据迁移，目前都是针对特定系统、特定场景下开发的不同工具，如七牛云的迁移工具qrsync、阿里云OSS的importer等，这些迁移工具将数据从指定的源端读取，然后写到目的端，进而校验数据是否正确写入目的端，这样就完成了一个数据迁移的动作。此外，基于上述各种迁移工具的方法，均需要将数据写入一次磁盘，从而产生了不必要的磁盘I/O，且在迁移速度和规模上进行控制的难度高。然而，在云存储系统中，数据量是非常大的，并且由于云存储系统间的数据迁移，其本质上是网络交互，有很多的不确定性，因此，数据迁移过程中需要考虑几个非常重要的方面：1)在数据量非常大的情况下，如何能在不对当前系统造成影响下以最快的速度完成数据迁移---即性能高，速度可控，扩展性强的需求；2)在网络等情况不确定因素繁多复杂的情况下，能够自动/准确的完成数据的迁移---即自动化，强校验的需求；3)市面上有许多不同的云存储产品，如果为每两个云存储系统间数据迁移都开发一个要支持以上两点的迁移工具，显然开发量是重复而巨大的---即迁移框架的通用性的需求。基于以上几个方面考虑，云存储系统间的数据迁移就有了对性能、灵活性、可扩展性、自动化、数据校验以及框架通用性等有了巨大的挑战。
技术实现思路
本专利技术的目的是提供一种用于云存储系统间的数据迁移的方法、设备与系统以及计算机设备与计算机可读存储介质。根据本专利技术的一个方面，提供了一种用于云存储系统间的数据迁移方法，其中，在用户设备，该方法包括以下步骤：-根据待迁移的文件列表，生成其中每个文件的描述信息；-将一个或多个数据迁移请求分别发送至可用的服务器，以由相应的服务器在不同云存储系统之间执行数据迁移，其中，每个数据迁移请求中包括对数据迁移的源端和目的端的指示信息以及一个或多个待迁移文件的描述信息。根据本专利技术的一个方面，还提供了一种用于云存储系统间的数据迁移方法，其中，在网络设备，该方法包括以下步骤：-根据自用户设备接收的数据迁移请求，确定所述数据迁移请求所指示的数据迁移的源端和目的端；-从所述数据迁移请求中获取一个或多个待迁移文件的描述信息；-按照所述一个或多个待迁移文件的描述信息，从所述源端获取所述一个或多个待迁移文件并将其写入所述目的端。根据本专利技术的一个方面，还提供了一种用于云存储系统间数据迁移的装置，其中，该装置被装于用户设备，该装置包括：用于根据待迁移的文件列表，生成其中每个文件的描述信息的装置；用于将一个或多个数据迁移请求分别发送至可用的服务器的装置，以由相应的服务器在不同云存储系统之间执行数据迁移，其中，每个数据迁移请求中包括对数据迁移的源端和目的端的指示信息以及一个或多个待迁移文件的描述信息。根据本专利技术的一个方面，还提供了一种用于云存储系统间数据迁移的装置，其中，该装置被装置于网络设备，该装置包括：用于根据自用户设备接收的数据迁移请求，确定所述数据迁移请求所指示的数据迁移的源端和目的端的装置；用于从所述数据迁移请求中获取一个或多个待迁移文件的描述信息的装置；用于按照所述一个或多个待迁移文件的描述信息，从所述源端获取所述一个或多个待迁移文件并将其写入所述目的端的装置。根据本专利技术的一个方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现根据本专利技术的一个方面的在用户设备用于云存储系统间的数据迁移的方法。根据本专利技术的一个方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现根据本专利技术的一个方面的在网络设备用于云存储系统间的数据迁移的方法。根据本专利技术的一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现根据本专利技术的一个方面的在用户设备用于云存储系统间的数据迁移的方法。根据本专利技术的一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现根据本专利技术的一个方面的在网络设备用于云存储系统间的数据迁移的方法。与现有技术相比，本专利技术提供了一种通用的云存储系统间进行数据迁移的方案。本专利技术使得在各种云存储系统之间数据迁移的核心流程得到了复用，并可对各种数据源端以及数据目的端进行扩展，从而提供了对性能、灵活性、可扩展性、自动化、数据校验以及框架通用性等各项性能要求均可以满足的在不同云存储系统之间进行数据迁移的方案。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1示出适于用来实现本专利技术实施方式的示例性计算机系统/服务器12的框图；图2示出根据本专利技术一个实施例的一种用于云存储系统间的数据迁移方法的流程图；图3示出根据本专利技术一个实施例的一种用于云存储系统间的数据迁移系统的示意图。附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的程序指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人计算机(PC)、笔记本电脑、平板电脑、智能手机等。所述计算机设备例如包括用户设备与网络设备。其中，所述用户设备包括但不限于个人计算机(PC)、笔记本电脑、移动终端等，所述移动终端包括但不限于智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本专利技术，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本专利技术。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用本文档来自技高网...

【技术保护点】
一种用于云存储系统间的数据迁移方法，其中，在用户设备，该方法包括以下步骤：‑根据待迁移的文件列表，生成其中每个文件的描述信息；‑将一个或多个数据迁移请求分别发送至可用的服务器，以由相应的服务器在不同云存储系统之间执行数据迁移，其中，每个数据迁移请求中包括对数据迁移的源端和目的端的指示信息以及一个或多个待迁移文件的描述信息。

【技术特征摘要】
1.一种用于云存储系统间的数据迁移方法，其中，在用户设备，该方法包括以下步骤：-根据待迁移的文件列表，生成其中每个文件的描述信息；-将一个或多个数据迁移请求分别发送至可用的服务器，以由相应的服务器在不同云存储系统之间执行数据迁移，其中，每个数据迁移请求中包括对数据迁移的源端和目的端的指示信息以及一个或多个待迁移文件的描述信息。2.根据权利要求1所述的方法，其中，所述数据迁移请求中还包括对所述待迁移文件的迁移方式。3.根据权利要求1所述的方法，其中，所述可用的服务器从预配置的服务器列表中确定。4.根据权利要求1所述的方法，其中，该方法还包括以下步骤：-从所述服务器接收所述数据迁移请求所对应的迁移结果信息。5.根据权利要求4所述的方法，其中，该方法还包括以下步骤：-汇总从各服务器接收的所述迁移结果信息，以生成此次迁移任务的迁移进度信息。6.根据权利要求4所述的方法，其中，该方法还包括以下步骤：-根据各服务器对所述数据迁移请求的响应时间，实时调整此次迁移任务的压力分布。7.一种用于云存储系统间的数据迁移方法，其中，在网络设备，该方法包括以下步骤：-根据自用户设备接收的数据迁移请求，确定所述数据迁移请求所指示的数据迁移的源端和目的端；-从所述数据迁移请求中获取一个或多个待迁移文件的描述信息；-按照所述一个或多个待迁移文件的描述信息，从所述源端获取所述一个或多个待迁移文件并将其写入所述目的端。8.根据权利要求7所述的方法，其中，该方法还包括以下步骤：-根据所述描述信息中所述待迁移文件的内容验证信息以及所述目的端返回的所述待迁移文件的内容验证信息，对所述待迁移文件进行校验。9.根据权利要求8所述的方法，其中，该方法还包括以下步骤：-对从所述源端获取的所述待迁移文件计算内容验证信息，并将所获得的内容验证信息加入所述待迁移文件的描述信息。10.根据权利要求7所述的方法，其中，根据所述数据迁移请求中指定的迁移方式，确定需要实际执行数据迁移的所述一个或多个待迁移文件。11.根据权利要求7所述的方法，其中，该方法还包括以下步骤：-合并所述一个或多个待迁移文件的迁移结果；-将合并后的迁移结果信息发送至所述用户设备。12.一种用于云存储系统间数据迁移的装置，其中，该装置被装于用户设备，该装...

【专利技术属性】
技术研发人员：周飞，牛献会，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11