一种用于文件拆分的冗余和恢复方法及系统技术方案

本发明专利技术公开了一种用于文件拆分的冗余和恢复方法和系统，能够在一个文件拆分过程中或拆分后，通过文件块或子文件按位异或操作生成校验子文件，当其中一个子文件损坏或丢失时，可以通过包括校验子文件在内的其他子文件恢复该子文件。该系统包括冗余模和恢复模块，冗余模块用于文件拆分过程中或拆分后将子文件或文件块按位异或操作生成校验子文件；恢复模块，通过包括校验子文件在内的其他子文件恢复损坏或丢失的子文件。从而可以实现当某一个子文件损坏或丢失时不影响文件重组。本发明专利技术提供了一种具有较高存储效率的增强拆分文件存储可靠性的方法。

A Redundancy and Recovery Method and System for File Splitting

The invention discloses a redundancy and recovery method and system for file splitting, which can generate a check sub-file by bitwise exclusive or operation of file blocks or sub-files during or after a file splitting. When one of the sub-files is damaged or lost, the sub-file can be recovered by other sub-files including the check sub-file. The system includes redundancy module and recovery module. The redundancy module is used to generate check sub-files by bitwise exclusive or operation during or after file splitting. The recovery module recovers damaged or lost sub-files through other sub-files including check sub-files. Thus, it can be realized that when a subfile is damaged or lost, it will not affect file reorganization. The invention provides a method for enhancing storage reliability of split files with high storage efficiency.

【技术实现步骤摘要】
一种用于文件拆分的冗余和恢复方法及系统
本专利技术涉及网络信息管理技术,属于计算机科学与技术学科中的智能信息处理领域。
技术介绍
随着信息技术及互联网应用的发展，特别是云计算技术的发展给信息的存储和使用带来了很大的便利性，但同时人们对隐私及信息安全的重视程度也越来越高，防止重要信息泄密和丢失已成为企业和个人越来越关注的焦点。文件拆分后的子文件存储到多个云平台或硬盘系统，可以较好地防止信息泄密，但跨云平台或硬件系统之间的文件冗余没有好的方法，常见的备份冗余方法，存储空间需求翻倍，效率较低。
技术实现思路
本专利技术公开了一种用于文件拆分的冗余和恢复方法及系统，通过该方法和系统能够在拆分的子文件外生成一个校验子文件，当其中任何一个子文件丢失时，该丢失的子文件可以通过其他子文件及校验子文件得到恢复，从而不影响文件的重组。如果将各子文件和校验子文件分别存储在不同的云平台或硬盘系统中，当其中一个云平台或硬盘系统出现问题时，只会导致一个子文件或校验子文件丢失，而该丢失的子文件可以通过存储在其他云平台或硬盘系统的其他子文件及校验子文件得到恢复，不会影响文件的重组，提高了文件存储的可靠性，而其存储空间效率与子文件个数有关，随着子文件个数的增加，其存储空间效率可以从66％提高到90％以上。本专利技术涉及的一种用于文件拆分的冗余和恢复方法能够在一个文件拆分过程中或拆分后，通过文件块或子文件按位异或运算生成校验子文件，当其中一个子文件损坏或丢失时，可以通过包括校验子文件在内的其他子文件恢复该子文件。一个文件拆分为两个以上子文件的方法由拆分方法确定，可以等长也可以不等长，可以加密也可以不加密，可以增加额外数据也可以不增加额外数据，不影响本专利技术的冗余和恢复方法及系统的使用。按位异或运算是指参加运算的两个对象(其运算符号为A⊕B)，两个相应二进制位置的值为“异”(值不同)，则该位运算结果为1，两个相应二进制位置的值为“同”(值相同)则为0；当对多个对象进行按位异或运算(其运算符号为AI⊕A2┄Ai⊕Ai+1┄⊕An)时，则依次进行按位异或运算，该运算也等同于，如果相应二进制位置1的个数为奇数，则该位运算结果为1，如果相应位置1的个数为偶数，则该位运算结果为0。本专利技术包括以下两种情况：第一种情况：基于文件块的冗余和恢复流程1)在文件拆分过程中，会循环读取等于拆分子文件个数n的文件块直接写入各子文件或进行加密等处理后分别写入各个子文件。本专利技术的特征在于，对于每次读取的n个文件块，直接或进行加密等处理后，按其中最大文件块长度在前面或后面补零后按位进行异或运算得到校验文件块，按拆分子文件同样的规则存储校验文件块得到校验子文件，并将按等长字节记录的各文件块长度按位异或运算后的结果作为校验文件块长度，文件块长度的记录方法由拆分文件的方法确定，可以记录在文件块头部，也可以是默认预设值不在文件中体现，对于不在文件中体现文件块长度的情况，各子文件写入的最后一个文件块的长度需要在文件尾部或文件名中记录(因为该文件块长度有可能不同于默认预设值)，确保子文件恢复时最后的文件块能够截取正确的长度；流程参见图1基于文件块的冗余流程图。2)对应恢复的方法为按拆分的子文件合并时同样的规则读取除损坏或丢失子文件外所有子文件(包括校验子文件)的文件块和文件块长度，对各文件块长度按位进行异或运算得到损坏或丢失的子文件块长度并记录下来，将各文件块按最大文件块长度补零后，按位进行异或运算得到新的文件块，从前面或后面删除多余的零作为损坏或丢失子文件的文件块(如果生成校验文件块时文件块是在前面补零，则删除前面多余的零；如果生成校验文件块时文件块是在后面补零，则删除后面多余的零)，按拆分的子文件同样的规则存储损坏或丢失子文件的文件块，得到损坏或丢失子文件，并按1)中文件块长度记录方法记录该文件块长度。流程参见图2基于文件块的恢复流程图。第二种情况：基于子文件的冗余和恢复流程1)当一个文件拆分为两个及以上子文件后，按等长字节记录各子文件长度，将所有子文件按最大子文件长度在前面或后面补零后，按位进行异或运算，生成校验子文件，同时将各子文件长度按位进行异或运算并将结果记录下来，文件长度的记录方法可以是在文件名中体现，也可以在文件头中记录，还可以在文件尾部记录；流程参见图3基于子文件的冗余流程图。2)对应的恢复方法为将除损坏或丢失子文件外的其他所有子文件(包括校验子文件)长度按位进行异或运算得到损坏或丢失的子文件长度，将除损坏或丢失文件外的其他所有子文件(包括校验子文件)按最大子文件长度在前面或后面补零后，按位进行异或运算，并截取损坏或丢失子文件长度的内容得到损坏或丢失子文件，并按1)中文件长度的记录方法记录该子文件长度。流程参见图4基于子文件的恢复流程图。附图说明图1基于文件块的冗余流程图；图2基于文件块的恢复流程图；图3基于子文件的冗余流程图；图4基于子文件的恢复流程图。本专利技术用于文件拆分的冗余和恢复系统包括：1)冗余模块，用于文件拆分过程中或拆分后将子文件或文件块按位异或运算生成校验子文件；2)恢复模块，通过包括校验子文件在内的其他子文件恢复损坏或丢失的子文件。本文档来自技高网...

【技术保护点】
1.一种用于文件拆分的冗余方法，该方法用于一个文件拆分为两个以上子文件，其特征在于，一个文件拆分过程中或拆分后，将文件块或子文件按位异或运算生成校验子文件。

【技术特征摘要】
1.一种用于文件拆分的冗余方法，该方法用于一个文件拆分为两个以上子文件，其特征在于，一个文件拆分过程中或拆分后，将文件块或子文件按位异或运算生成校验子文件。2.根据权利要求1所述的文件拆分的恢复方法，其特征在于，当其中一个子文件坏或丢失时，可以通过包括校验子文件在...

【专利技术属性】
技术研发人员：唐学军，
申请(专利权)人：唐学军，
类型：发明
国别省市：广东,44