数据容灾系统、方法和装置制造方法及图纸

本申请公开了数据容灾系统、方法和装置。所述方法的一具体实施方式包括：接收待存储文件；对所述待存储文件中的待存储数据进行编码，得到第一校验文件；对所述待存储文件的第一编码文件进行切分，得到至少两个第一编码文件分片，其中，所述第一编码文件包括所述待存储文件和所述第一校验文件，每个第一编码文件分片均包括待存储文件中的待存储数据和第一校验文件中的第一校验数据；发送得到的第一编码文件分片至至少一个第一数据存储端。该实施方式减少了用于数据容灾的存储空间。

Data disaster recovery systems, methods and devices

The application discloses a data disaster tolerance system, method and device. A specific implementation method of the method includes receiving the stored file, encoding the stored data in the stored file, obtaining the first check file, dividing the first encoding file of the stored file, and obtaining at least two first encoding files, in which the first coded file package is described. Including the stored files and the first check files, each first coded file partition includes the data to be stored in the stored file and the first check data in the first check file; the first encoded file is sent to at least one first data store. The implementation reduces storage space for data disaster recovery.

【技术实现步骤摘要】
数据容灾系统、方法和装置
本申请涉及计算机
，具体涉及互联网
，尤其涉及数据容灾方法和装置。
技术介绍
数据容灾，是当计算机系统在遭受自然灾难或者人为灾难时，保证数据的安全性。然而，现有的数据容灾方式通常是采用多副本容灾技术，将一个数据文件的多个副本分别保存在不同的电子设备上，就通常使用的三个副本备份而言，占用的存储空间是原数据文件的大小的三倍，直接增加了容灾的硬件存储成本，从而，存在着占用过多的存储空间的问题。
技术实现思路
本申请的目的在于提出一种改进的数据容灾系统、方法和装置，来解决以上
技术介绍
部分提到的技术问题。第一方面，本申请提供了一种数据容灾系统，所述系统包括：数据发送端和至少一个第一数据存储端；数据发送端，用于接收待存储文件；对所述待存储文件中的待存储数据进行编码，得到第一校验文件，其中，所述第一校验文件包括对所述待存储数据进行编码得到的第一校验数据；对所述待存储文件的第一编码文件进行切分，得到至少两个第一编码文件分片，其中，所述第一编码文件包括所述待存储文件和所述第一校验文件，每个第一编码文件分片均包括待存储文件中的待存储数据和第一校验文件中的第一校验数据；发送得到的第一编码文件分片至至少一个第一数据存储端；第一数据存储端，用于接收数据发送端发送的第一编码文件分片；存储接收到的第一编码文件分片。第二方面，本申请提供了一种数据容灾方法，所述方法包括：接收待存储文件；对所述待存储文件中的待存储数据进行编码，得到第一校验文件，其中，所述第一校验文件包括对所述待存储数据进行编码得到的第一校验数据；对所述待存储文件的第一编码文件进行切分，得到至少两个第一编码文件分片，其中，所述第一编码文件包括所述待存储文件和所述第一校验文件，每个第一编码文件分片均包括待存储文件中的待存储数据和第一校验文件中的第一校验数据；发送得到的第一编码文件分片至至少一个第一数据存储端，以供所述第一数据存储端接收并存储第一编码文件分片。第三方面，本申请提供了一种数据容灾装置，所述装置包括：接收单元，用于接收待存储文件；编码单元，用于对所述待存储文件中的待存储数据进行编码，得到第一校验文件，其中，所述第一校验文件包括对所述待存储数据进行编码得到的第一校验数据；切分单元，用于对所述待存储文件的第一编码文件进行切分，得到至少两个第一编码文件分片，其中，所述第一编码文件包括所述待存储文件和所述第一校验文件，每个第一编码文件分片均包括待存储文件中的待存储数据和第一校验文件中的第一校验数据；发送单元，用于发送得到的第一编码文件分片至至少一个第一数据存储端，以供所述第一数据存储端接收并存储第一编码文件分片。本申请提供的数据容灾系统、方法和装置，通过对待存储文件进行编码，得到第一校验数据文件，对包括待存储文件和第一校验数据文件的第一编码文件进行切分，并将切分得到的多个第一编码文件分片发送至第一数据存储端进行存储，存储待存储文件所占用的空间是编码文件的大小，通常情况下，编码文件的大小介于待存储文件大小的一倍到两倍之间，相对于现有技术中的多副本容灾，减少了用于数据容灾的存储空间。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1a是根据本申请的数据容灾系统的第一实施例的系统架构图；图1b是根据本申请的数据容灾系统的第二实施例的系统架构图；图1c是根据本申请的数据容灾系统的第三实施例的系统架构图；图1d是根据本申请的数据容灾系统的第四实施例的系统架构图；图2是根据本申请的数据容灾方法的一个实施例的流程图；图3是根据本申请的数据容灾装置的一个实施例的结构示意图；图4是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1a示出了本申请的数据存储系统的一个实施例的系统架构110。如图1a所示，系统架构110可以包括数据发送端101和至少一个第一数据存储端103或104。在本实施例中，上述数据发送端101，用于接收待存储文件；对上述待存储文件中的待存储数据进行编码，得到第一校验文件，其中，上述第一校验文件包括对上述待存储数据进行编码得到的第一校验数据；对上述待存储文件的第一编码文件进行切分，得到至少两个第一编码文件分片，其中，上述第一编码文件包括上述待存储文件和上述第一校验文件，每个第一编码文件分片均包括待存储文件中的待存储数据和第一校验文件中的第一校验数据；发送得到的第一编码文件分片至至少一个第一数据存储端。在这里，待存储文件中是各个待存储数据组成的集合；待存储文件可以是数据发送端接收的用户输入的数据文件；待存储文件还可以是数据发送端接收自其他电子设备的数据文件。在这里，数据发送端可以利用各种编码方法对上述待存储文件中的待存储数据进行编码；作为示例，数据发送端可以利用里所(RS，ReedSolomon)编码方法对上述待存储文件中的待存储数据进行编码，如何利用RS编码方法进行编码本身是本领域技术人员所公知的，在此不再赘述。在这里，第一校验文件是各个第一校验数据的集合，第一校验数据是对待存储数据进行编码得到的数据。在这里，数据发送端对第一编码文件进行切分，得到至少两个第一编码文件分片。上述第一编码文件包括上述待存储文件和上述第一校验文件，切分得到的每个第一编码文件分片均包括待存储文件中的待存储数据和第一校验文件中的第一校验数据。在本实施例的一些可选的实现方式中，可以将待存储文件分为第一数目份待存储文件分片，将第一校验文件也分为第一数目份第一校验文件分片，任意取一个待存储文件分片和一个第一校验文件分片作为第一编码文件分片。在本实施例的一些可选的实现方式中，上述数据发送端可以将得到编码文件分片发送至一个第一数据存储端。如果编码文件分片均在一个第一数据存储端中存储，那么容灾的范围仅限于对人为灾难的容灾，即第一数据存储端中的部分编码文件损毁；在面对该第一数据存储端被物理破坏时，不能起到容灾的作用。在本实施例的一些可选的实现方式中，上述数据发送端可以将编码文件发送至多个第一数据存储端，此处的多个至少是两个。在这里，如果编码文件分片存储于多个第一数据存储端，那么容灾的范围包括人为灾难和自然灾难。在本实施例中，第一数据存储端103、104，用于接收数据发送端发送的第一编码文件分片；存储接收到的第一编码文件分片。在本实施例的一些可选的实现方式中，上述数据发送端，还用于：从存储有第一编码文件分片的第一数据存储端读取预定数目个第一编码文件分片；对读取的第一编码文件分片进行译码，得到上述待存储文件。在本实施例的一些可选的实现方式中，系统架构还可以包括网络102。网络102用以在数据发送端101、和数据存储端103、104之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。在本实施例的一些可选的实现方式中，上本文档来自技高网...

【技术保护点】
一种数据容灾系统，其特征在于，所述系统包括数据发送端和至少一个第一数据存储端；数据发送端，用于接收待存储文件；对所述待存储文件中的待存储数据进行编码，得到第一校验文件，其中，所述第一校验文件包括对所述待存储数据进行编码得到的第一校验数据；对所述待存储文件的第一编码文件进行切分，得到至少两个第一编码文件分片，其中，所述第一编码文件包括所述待存储文件和所述第一校验文件，每个第一编码文件分片均包括待存储文件中的待存储数据和第一校验文件中的第一校验数据；发送得到的第一编码文件分片至至少一个第一数据存储端；第一数据存储端，用于接收数据发送端发送的第一编码文件分片；存储接收到的第一编码文件分片。

【技术特征摘要】
1.一种数据容灾系统，其特征在于，所述系统包括数据发送端和至少一个第一数据存储端；数据发送端，用于接收待存储文件；对所述待存储文件中的待存储数据进行编码，得到第一校验文件，其中，所述第一校验文件包括对所述待存储数据进行编码得到的第一校验数据；对所述待存储文件的第一编码文件进行切分，得到至少两个第一编码文件分片，其中，所述第一编码文件包括所述待存储文件和所述第一校验文件，每个第一编码文件分片均包括待存储文件中的待存储数据和第一校验文件中的第一校验数据；发送得到的第一编码文件分片至至少一个第一数据存储端；第一数据存储端，用于接收数据发送端发送的第一编码文件分片；存储接收到的第一编码文件分片。2.根据权利要求1所述的系统，其特征在于，所述系统还包括主控端；所述数据发送端，还用于向所述主控端发送文件存储请求，其中，所述文件存储请求包括所述待存储文件的文件标识；所述主控端，用于响应于接收到文件存储请求为所述待存储文件分配用于存储所述第一编码文件分片的第一数据存储端；发送分配的第一数据存储端的第一地址至数据发送端；将所述待存储文件的文件标识和所述第一地址对应存储；所述数据发送端，还用于接收主控端发送的第一地址；发送第一编码文件分片至所述第一地址所指示的第一数据存储端。3.根据权利要求2所述的系统，其特征在于，所述主控端，还用于：监控存储有第一编码文件分片的第一数据存储端的心跳消息；响应于存储有第一编码文件分片的第一数据存储端的心跳消息停止，确定心跳消息停止的第一数据存储端宕机；确定宕机的第一数据存储端的数量；响应于所述数量超过预定阈值，发送所述第一地址至预先指定的第二数据存储端，以供所述第二数据存储端生成所述待存储文件。4.根据权利要求3所述的系统，其特征在于，所述系统还包括第二数据存储端；所述第二数据存储端，用于：根据主控端发送的第一地址获取预定数目个第一编码文件分片；对获取的第一编码文件分片进行译码，得到所述待存储文件；对得到的待存储文件中的待存储数据进行编码，得到所述待存储文件的第二校验文件，其中，所述第二校验文件包括对所述待存储数据进行编码得到的第二校验数据；对所述待存储文件的第二编码文件进行切分，得到至少两个第二编码文件分片，其中，所述第二编码文件包括所述待存储文件和所述第二校验文件，每个第二编码文件分片均包括所述待存储文件中的待存储数据和第二校验文件中的第二校验数据。5.根据权利要求4所述的系统，其特征在于，所述系统还包括至少一个第三数据存储端；以及所述主控端，还用于为所述待存储文件分配用于存储所述第二编码文件分片的第三数据存储端；发送分配的第三数据存储端的第二地址至所述第二数据存储端；将与所述待存储文件的文件标识对应存储的所述第一地址替换为所述第二地址；所述第二数据存储端，还用于接收主控端发送的第二地址；发送得到的第二编码文件分片至所述第二地址所指示的第三数据存储端；所述第三数据存储端，用于接收第二数据存储端发送的第二编码文件分片；存储接收到的第二编码文件分片。6.根据权利要求1-5中任一项...

【专利技术属性】
技术研发人员：朱媛媛，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11