用于传输数据的方法、装置和系统制造方法及图纸

本公开的实施例公开了用于传输数据的方法、装置和系统。该系统的一具体实施方式包括：移动存储服务器，被配置成响应于接收到用户输入的包括源数据路径的拷贝任务，通过至少一个USB设备和/或NFS文件系统并行执行拷贝任务并对拷贝出的数据进行流式加密，拷贝完毕后移动存储服务器被运输到云端控制器所在机房；云端控制器，被配置成将移动存储服务器中的数据解密得到源数据，根据源数据生成校验码，将带有校验码的源数据通过内网上传至云存储服务器；云存储服务器，被配置成对接收到的源数据进行数据一致性校验，若校验失败，则向云端控制器发送重传指令。该实施方式的带宽成本下降，传输速度提升，数据安全得到保障。

【技术实现步骤摘要】
用于传输数据的方法、装置和系统
本公开的实施例涉及计算机
，具体涉及用于传输数据的方法、装置和系统。
技术介绍
随着互联网时代的发展，企业数据规模不断呈现数量级的跃升，从原来的GB级别发展到TB、PB甚至EB级别，数据量的爆炸式增长给企业带来了数据存储压力。与此同时，云计算技术的普及使得数据存储云端化成为主流选择，云存储能为企业提供安全可靠、海量高扩展、数据容灾的存储服务，降低成本。PB甚至EB级别数据从本地数据中心传输到云存储系统是一件高成本、耗时久的工程，因此数据爆炸给海量数据传输和数据迁移上云带来新的挑战，传统的数据迁移方案难以应对海量数据的传输场景目前业界对于海量数据从本地IDC(InternetDataCenter，互联网数据中心)传输到云端数据中心主要有以下几种方式：第一种是搭建点对点网络专线，数据走外网传输，需要部署迁移集群，读取源数据和写入目的数据过程都消耗带宽等资源，总体迁移周期长，耗时非常久，带宽成本和专线搭建成本高。外网带宽费用相对于物流运输费用而言非常昂贵。第二种是在本地数据中心拷贝数据到硬盘，一次性寄送多块硬盘走企业物流，云端收到硬盘后再读取数据并上传到云存储服务器，此方式单次寄送硬盘数目有限，数据安全性较低。该方式在传输成本上比专线网络低，但是数据明文运输，物流过程中存在数据损坏、数据泄密等安全问题；而且不支持多种数据源，只能从本地文件系统拷贝数据到硬盘，拷贝过程无法管理任务状态，容易出现数据遗漏和数据重复，浪费存储空间。第三种是数据镜像回源，一种被动触发数据迁移的方式，在用户访问云存储数据时，实时地去访问本地数据中心服务，拉取数据到云存储，适合增量数据和少量数据传输到云端。无法适用于海量数据传输上云。
技术实现思路
本公开的实施例提出了用于传输数据的方法、装置和系统。第一方面，本公开的实施例提供了一种用于传输数据的系统，包括：移动存储服务器，被配置成响应于接收到用户输入的包括源数据路径的拷贝任务，通过至少一个USB设备和/或NFS文件系统并行执行拷贝任务并对拷贝出的数据进行流式加密，拷贝完毕后移动存储服务器被运输到云端控制器所在机房；云端控制器，被配置成将移动存储服务器中的数据解密得到源数据，根据源数据生成校验码，将带有校验码的源数据通过内网上传至云存储服务器；云存储服务器，被配置成对接收到的源数据进行数据一致性校验，若校验失败，则向云端控制器发送重传指令。在一些实施例中，响应于接收到用户输入的包括源数据路径的拷贝任务，包括：响应接收到用户通过web端输入的用于从源数据路径拷贝数据的指令，将指令通过非对称方式加密后发送给服务端；服务端解密后解析出拷贝任务。在一些实施例中，移动存储服务器和web端分别需要密码登录。在一些实施例中，根据源数据生成校验码，包括：若源数据大于预定第一阈值，则将源数据按预定格式分块成至少一个小文件；对于至少一个小文件中每个小文件，若该小文件小于预定第二阈值，则通过MD5摘要算法生成校验码，否则通过CRC算法生成校验码。在一些实施例中，云端控制器进一步被配置成：响应于接收到云存储服务器发送的重传指令，将校验失败的文件重传。在一些实施例中，移动存储服务器内置至少一个网口，至少一个USB接口，至少一块硬盘，达到预定内存阈值的RAM，其中，至少一块硬盘通过RAID5保证数据安全。第二方面，本公开的实施例提供了一种用于传输数据的方法，应用于移动存储服务器，包括：接收用户输入的包括源数据路径的拷贝任务；通过至少一个USB设备和/或NFS文件系统并行执行拷贝任务；对拷贝出的数据进行流式加密；将数据发送到云端控制器。第三方面，本公开的实施例提供了一种用于传输数据的方法，应用于云端控制器，包括：接收来自移动存储服务器的数据；将数据解密得到源数据；根据源数据生成校验码；将带有校验码的源数据通过内网上传至云存储服务器。第四方面，本公开的实施例提供了一种用于传输数据的方法，应用于云存储服务器，包括：对接收到的源数据进行数据一致性校验；若校验失败，则向云端控制器发送重传指令。第五方面，本公开的实施例提供了一种用于传输数据的装置，应用于移动存储服务器，包括：接收单元，被配置成接收用户输入的包括源数据路径的拷贝任务；执行单元，被配置通过至少一个USB设备和/或NFS文件系统并行执行拷贝任务；加密单元，被配置对拷贝出的数据进行流式加密；发送单元，被配置将数据发送到云端控制器。第六方面，本公开的实施例提供了一种用于传输数据的装置，应用于云端控制器，包括：解密单元，被配置接收来自移动存储服务器的数据，并将数据解密得到源数据；生成单元，被配置根据源数据生成校验码；上传单元，被配置将带有校验码的源数据通过内网上传至云存储服务器。第七方面，本公开的实施例提供了一种用于传输数据的装置，应用于云存储服务器，包括：校验单元，被配置对接收到的源数据进行数据一致性校验；重传单元，被配置若校验失败，则向云端控制器发送重传指令。第八方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第二方面至第四方面中任一的方法。第九方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第二方面至第四方面中任一的方法。本公开的实施例提供的用于传输数据的方法、装置和系统，设计了专有数据存储设备和数据迁移软件系统来为客户提供高速安全的数据上云传输方案，广泛应用于中小企业数据中心数据迁移上云存储；相比传统的网络专线或者物流硬盘方式，带宽成本下降，传输速度提升，数据安全得到保障。该用于传输数据的系统由移动存储服务器、云端控制器、云存储服务器三部分组成。移动存储服务器采用软件磁盘阵列RAID5级别保证数据安全，兼顾数据安全和存储成本，任意N-1块硬盘都有完整的数据。用于传输数据的系统提供高并发、多任务的数据传输策略，充分利用设备多网卡、多磁盘特性提升传输速度；同时支持传输本地存储设备、NFS网络文件系统等多种数据源，满足客户多场景需求；数据传输系统支持任务启停和状态管理，提供迁移任务粒度的数据AES256端到端加密，保证数据存储和传输过程中的安全性。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：图1是本公开的一个实施例可以应用于其中的示例性系统架构图；图2是根据本公开的用于传输数据的方法的一个实施例的流程图；图3是根据本公开的用于传输数据的方法的一个应用场景的示意图；图4是根据本公开的用于传输数据的装置的一个实施例的结构示意图；图5是根据本公开的用于传输数据的装置的又一个实施例的结构示意图；图6是根据本公开的用于传输数据的装置的另一个实施例的结构示意图；图7是适于用来实现本公开的实施例的电本文档来自技高网...

【技术保护点】
1.一种用于传输数据的系统，包括：/n移动存储服务器，被配置成响应于接收到用户输入的包括源数据路径的拷贝任务，通过至少一个USB设备和/或NFS文件系统并行执行拷贝任务并对拷贝出的数据进行流式加密，拷贝完毕后移动存储服务器被运输到云端控制器所在机房；/n云端控制器，被配置成将所述移动存储服务器中的数据解密得到源数据，根据所述源数据生成校验码，将带有校验码的所述源数据通过内网上传至云存储服务器；/n云存储服务器，被配置成对接收到的源数据进行数据一致性校验，若校验失败，则向所述云端控制器发送重传指令。/n

【技术特征摘要】
1.一种用于传输数据的系统，包括：
移动存储服务器，被配置成响应于接收到用户输入的包括源数据路径的拷贝任务，通过至少一个USB设备和/或NFS文件系统并行执行拷贝任务并对拷贝出的数据进行流式加密，拷贝完毕后移动存储服务器被运输到云端控制器所在机房；
云端控制器，被配置成将所述移动存储服务器中的数据解密得到源数据，根据所述源数据生成校验码，将带有校验码的所述源数据通过内网上传至云存储服务器；
云存储服务器，被配置成对接收到的源数据进行数据一致性校验，若校验失败，则向所述云端控制器发送重传指令。


2.根据权利要求1所述的系统，其中，所述响应于接收到用户输入的包括源数据路径的拷贝任务，包括：
响应接收到用户通过web端输入的用于从源数据路径拷贝数据的指令，将所述指令通过非对称方式加密后发送给服务端；
服务端解密后解析出拷贝任务。


3.根据权利要求2所述的系统，其中，所述移动存储服务器和所述web端分别需要密码登录。


4.根据权利要求1所述的系统，其中，所述根据所述源数据生成校验码，包括：
若所述源数据大于预定第一阈值，则将所述源数据按预定格式分块成至少一个小文件；
对于所述至少一个小文件中每个小文件，若该小文件小于预定第二阈值，则通过MD5摘要算法生成校验码，否则通过CRC算法生成校验码。


5.根据权利要求4所述的系统，其中，所述云端控制器进一步被配置成：
响应于接收到所述云存储服务器发送的重传指令，将校验失败的文件重传。


6.根据权利要求1-5之一所述的系统，其中，所述移动存储服务器内置至少一个网口，至少一个USB接口，至少一块硬盘，达到预定内存阈值的RAM，其中，所述至少一块硬盘通过RAID5保证数据安全。


7.一种用于传输数据的方法，应用于移动存储服务器，包括：
接收用户输入的包括源数据路径的拷贝任务；
通过至少...

【专利技术属性】
技术研发人员：肖勇，段立国，于淼，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11