一种数据存储方法及系统、数据校验方法及系统技术方案

本发明专利技术提供一种数据存储方法及系统、数据校验方法及系统，将源数据文件分成大小均为p的n个数据块文件；根据所述源数据文件通过校验算法生成校验特征码；设置所述数据块文件的文件名包括源数据标识、校验特征码和数据块文件编号；根据所述数据块文件生成数据块文件副本；将所述数据块文件和所述数据块文件副本分别存储在光存储设备中的不同分布节点下。本发明专利技术可以通过对数据块文件的文件名进行命名设置以及数据块文件副本的存储，实现对源数据文件的完整性校验、准确性校验和一致性校验。

A data storage method and system, data verification method and system

【技术实现步骤摘要】
一种数据存储方法及系统、数据校验方法及系统
本专利技术涉及数据校验
，更具体地，涉及一种数据存储方法及系统、数据校验方法及系统。
技术介绍
常用的数据校验技术，是基于块设备、SAN设备、NAS设备等分布式存储设备，缺少对系统级的大容量光存储系统的数据校验技术。块设备是将数据存储在固定大小的块中，每个块都有自己的地址而且每个块都能独立于其它块而读写的存储设备。SAN(StorageAreaNetwork，存储区域网络)设备是通过FC(FibreChannel，网状通道)交换机连接存储设备和服务器，建立一个专用存储网络，而NAS(NetworkAttachedStorage：网络附属存储)设备则是利用现有的以太网连接存储设备和服务器。SAN设备和NAS设备均允许独立地增加存储容量，也允许任何服务器连接到任何存储设备，这样不管数据放在哪里，服务器都可以直接存取所需的数据。目前已有的大容量光存储系统主要有光盘库、光盘塔和光盘阵列三种。光盘库是由光盘驱动器、盘槽架、机械手和定位系统组成。光盘塔的物理结构为多个光盘驱动器通过SCSI总线和SCSI适配器与主机相连接，逻辑结构为光盘上的数据不分块，每个光盘上的数据都是完整的。光盘阵列的物理结构与光盘塔相同，但逻辑结构不相同，光盘阵列的数据分块存放在所有的数据光盘上，并且具有校验盘。对于大容量光存储系统，需要进行所存储数据的完整性校验和准确性校验。而对于分布式的大容量光存储系统，由于服务器故障和并行存储等情况的存在，需要将一个数据生成多份并存储在不同分布节点下的服务器中，而同一个数据的多个副本之间可能存在不一致的情况，所以还需要进行其一致性校验。
技术实现思路
本专利技术旨在克服上述现有技术的至少一种缺陷(不足)，提供一种数据存储方法及系统、数据校验方法及系统，通过对数据块文件的文件名进行命名设置以及数据块文件副本的存储，实现对源数据文件的完整性校验、准确性校验和一致性校验。本专利技术采取的技术方案是：一种数据存储方法，包括以下步骤：将源数据文件分成大小均为p的n个数据块文件，n为大于或等于1的整数；根据所述源数据文件通过校验算法生成校验特征码；设置所述数据块文件的文件名包括源数据标识、校验特征码和数据块文件编号；根据所述数据块文件生成数据块文件副本；将所述数据块文件和所述数据块文件副本分别存储在光存储设备中的不同分布节点下。源数据标识可以标识这些数据块文件是由哪个源数据文件划分出的，校验特征码可以唯一标识和验证源数据文件，数据块文件编号是由同一个源数据文件划分出的不同数据块文件之间的区分标识。通过数据块文件的文件名可以对源数据文件进行完整性和准确性的校验。当需要校验源数据文件的完整性时，先根据源数据标识获取该待校验的源数据文件对应的数据块文件，然后解析该数据块文件的文件名得到数据块文件编号，根据数据块文件编号是否连续即可判断待校验的源数据文件是否有缺失。当需要校验源数据文件的准确性时，先根据待校验的源数据文件生成待校验特征码，并获取该待校验的源数据文件对应的数据块文件，然后解析该数据块文件的文件名得到校验特征码，根据待校验特征码和校验特征码是否一致即可判断待校验的源数据文件是否准确。当需要校验源数据文件的一致性时，读取存储在其它分布节点下的数据块文件副本，根据数据块文件副本与数据块文件是否一致即可判断待校验的源数据文件与存储在其它分布节点的副本是否一致。进一步地，所述数据存储方法还包括以下步骤：每m个所述数据块文件计算出一个校验数据文件，m为大于或等于1的整数，m小于或等于n；设置所述校验数据文件的文件名包括校验数据标识、校验特征码和校验数据文件编号；将所述校验数据文件存储在光存储设备中。校验数据标识可以标识校验数据文件是对应哪个源数据文件，校验数据文件编号是同一个源数据文件对应的不同校验数据文件之间的区分标识。通过校验数据文件可以确定源数据文件出错的位置。通过校验数据文件还可以在数据块文件和数据块文件副本不一致时，判断是数据块文件出错还是数据块文件副本出错。一种数据校验方法，用于校验待校验源数据文件，包括以下步骤：根据源数据标识，从光存储设备中某个分布节点下获取待校验源数据文件对应的如上所述的数据块文件；从光存储设备中另一个分布节点下获取如权利要求1所述的数据块文件副本；根据所述数据块文本和所述数据块文件副本之间的对比结果，判断待校验源数据文件在光存储设备中不同分布节点下的一致性。由于数据块文件的文件名包括源数据标识、校验特征码和数据块文件编号，所以根据源数据标识可以从某个分布节点下得到待校验源数据文件对应的数据块文件，同时可以根据预设的数据块文件与数据块文件副本之间的关联关系或者预设的数据块文件副本存储位置或者数据块文件副本的文件名等等，在不同的分布节点下可以得到待校验源数据文件对应的数据块文件副本，对数据块文件和数据块文件副本进行比较，根据数据块文件和数据块文件副本之间是否一致即可判断待校验源数据文件在光存储设备中不同分布节点下是否一致。进一步地，所述数据校验方法还包括以下步骤：当判断待校验源数据文件在光存储设备中不同分布节点下存在不一致时，从光存储设备中根据校验数据标识获取待校验源数据文件对应的如权利要求2所述的校验数据文件；每m个所述数据块文件计算出一个待校验数据文件；根据所述待校验数据文件和所述校验数据文件之间的对比结果，查找出发生错误的数据块文件。由于校验数据文件的文件名包括校验数据标识、校验特征码和校验数据文件编号，所以根据校验数据标识可以获取待校验源数据文件对应的校验数据文件，而数据块文件可以重新生成待校验数据文件，对比所述校验数据文件和所述待校验数据文件，根据两者之间的对比结果，可以判断待校验源数据文件发生错误的位置，也即可以查找出具体发生错误的数据块文件。进一步地，所述数据校验方法还包括以下步骤：当没有查找出发生错误的数据块文件时，根据所述数据块文件重新生成新的数据块文件副本，将新的数据块文件副本替换旧的数据块文件副本。当查找出发生错误的数据块文件时，表明数据块文件发生了错误；当没有查找出发生错误的数据块文件时，表明数据块文件副本发生了错误，此时根据准确的数据块文件重新生成数据块文件副本，可以替换掉发生错误的数据块文件副本。一种数据存储系统，包括数据划分模块、校验算法模块、数据块命名模块、副本生成模块和数据存储模块；所述数据划分模块，用于将源数据文件分成大小均为p的n个数据块文件，n为大于或等于1的整数；所述校验算法模块，用于根据所述源数据文件通过校验算法生成校验特征码；所述数据块命名模块，用于设置所述数据块文件的文件名包括源数据标识、校验特征码和数据块文件编号；所述副本生成模块，用于根据所述数据块文件生成数据块文件副本；所述数据存储模块，用于将所述数据块文件和所述数据块本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，包括以下步骤：/n将源数据文件分成大小均为p的n个数据块文件，n为大于或等于1的整数；/n根据所述源数据文件通过校验算法生成校验特征码；/n设置所述数据块文件的文件名包括源数据标识、校验特征码和数据块文件编号；/n根据所述数据块文件生成数据块文件副本；/n将所述数据块文件和所述数据块文件副本分别存储在光存储设备中的不同分布节点下。/n

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括以下步骤：
将源数据文件分成大小均为p的n个数据块文件，n为大于或等于1的整数；
根据所述源数据文件通过校验算法生成校验特征码；
设置所述数据块文件的文件名包括源数据标识、校验特征码和数据块文件编号；
根据所述数据块文件生成数据块文件副本；
将所述数据块文件和所述数据块文件副本分别存储在光存储设备中的不同分布节点下。


2.根据权利要求1所述的一种数据存储方法，其特征在于，还包括以下步骤：
每m个所述数据块文件计算出一个校验数据文件，m为大于或等于1的整数，m小于或等于n；
设置所述校验数据文件的文件名包括校验数据标识、校验特征码和校验数据文件编号；
将所述校验数据文件存储在光存储设备中。


3.一种数据校验方法，用于校验待校验源数据文件，其特征在于，包括以下步骤：
根据源数据标识，从光存储设备中某个分布节点下获取待校验源数据文件对应的如权利要求1所述的数据块文件；
从光存储设备中另一个分布节点下获取如权利要求1所述的数据块文件副本；
根据所述数据块文本和所述数据块文件副本之间的对比结果，判断待校验源数据文件在光存储设备中不同分布节点下的一致性。


4.根据权利要求3所述的一种数据校验方法，其特征在于，还包括以下步骤：
当判断待校验源数据文件在光存储设备中不同分布节点下存在不一致时，从光存储设备中根据校验数据标识获取待校验源数据文件对应的如权利要求2所述的校验数据文件；
每m个所述数据块文件计算出一个待校验数据文件；
根据所述待校验数据文件和所述校验数据文件之间的对比结果，查找出发生错误的数据块文件。


5.根据权利要求4所述的一种数据校验方法，其特征在于，还包括以下步骤：
当没有查找出发生错误的数据块文件时，根据所述数据块文件重新生成新的数据块文件副本，将新的数据块文件副本替换旧的数据块文件副本。


6.一种数据存储系统，其特征在于，包括数据划分模块、校验算法模块、数据块命名模块、副本生成模块和数据存储模块；
所述数据划分模块，用于将源数据文件分成大小均为p的n个数据块文件，n为大于或等于1的整数；
所述校验算法模块，用于根据所述源数据文件通过校验算法生成校验特征码；
所述数据块命名模块，用于设置所述数据块文件的文件名...

【专利技术属性】
技术研发人员：钟国裕，张龙，
申请(专利权)人：广东紫晶信息存储技术股份有限公司，
类型：发明
国别省市：广东;44