一种存储池数据校验方法、系统、设备以及介质技术方案

本发明专利技术公开了一种存储池数据校验方法，包括以下步骤：响应于接收到数据访问请求，获取对应的存储池预先配置的第一配置项的值；响应于第一配置项的值为第一预设值，根据数据访问请求进行数据访问并根据第一预设值对应的校验算法进行数据校验；响应于第一配置项的值为第二预设值，根据数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验。本发明专利技术还公开了一种系统、计算机设备以及可读存储介质。本发明专利技术提出的方案通过对每一个存储池设置数据校验开关，使得可以单独控制每一个存储池的数据校验功能，使得数据校验策略更加灵活，对有一些不需要即时数据校验的存储池而言节省了一部分读写性能。分读写性能。分读写性能。

【技术实现步骤摘要】
一种存储池数据校验方法、系统、设备以及介质


[0001]本专利技术涉及存储领域，具体涉及一种存储池数据校验方法、系统、设备以及存储介质。

技术介绍

[0002]CEPH是一种基于对象的分布式数据存储系统。它具有能够存储海量数据，高性能，高可用性，良好的扩展性以及高性价比等优势，能够满足企业日益增长的数据持久化存储的性能与容量要求。
[0003]为了保障存入数据的正确性，CPEH使用副本或纠删码这些冗余存储的方式来保障数据的安全性。同时，为了及时发现集群中可能由于各种原因损坏的数据，CEPH还引入了即时数据校验功能和SCRUB一致性检查机制。其中，SCRUB机制较为简单，通过定时(通常每天执行一次)地读取PG的所有副本并互相对比他们储存的数据，来检查PG的不同的副本上是否有数据不一致的情况。而即时数据校验功能则是在写入数据时，对写入的blob上整块数据进行数据校验，将计算出的校验块储存起来，并在下次读取时对比校验数据块验证读出的数据，在每次更新写入数据的同时更新校验块，来保障读到的数据在存储期间没有发生损坏。如果发现了损坏的数据就从其他的副本或纠删块中恢复这里的数据。相比于SCRUB数据一致性检查机制，即时数据校验功能能够更快更及时的发现集群中数据的损坏情况，并迅速的恢复损坏的数据。但同时也会需要消耗更多的cpu性能和存储空间。
[0004]如图1所示，在CEPH分布式存储系统中，存储的内容按照固定大小切割，这一块固定大小的数据称为一个Onode，PG就是多个Onode的聚合，是一个逻辑上的概念，PG和Onode之间通过一致性哈希算法对应起来，一个PG对应于多个Onode。而每个PG与OSD的对应是通过数据分布算法对应起来的，一个PG对应于多个OSD，OSD可以简单理解为物理上的磁盘，一个OSD上可以有多个PG，这样想要存储的内容就放置在了磁盘上。存储池就是PG的聚合。
[0005]CEPH的数据静默校验开关是全局的，由存储引擎的配置项控制。当此开关开启时，所有的对象在读写时都会执行校验块的计算、更新或读取。但是在实际应用场景中，单个集群中可能存在有多个同时在使用中的存储池，并且这些存储池对于数据校验的需求各不相同，对于有的数据池，简单的SCRUB机制就可以满足其数据一致性要求。数据校验机制在业务运行过程中会有额外的性能和空间消耗。

技术实现思路

[0006]有鉴于此，为了克服上述问题的至少一个方面，本专利技术实施例提出一种存储池数据校验方法，包括以下步骤：
[0007]响应于接收到数据访问请求，获取对应的存储池预先配置的第一配置项的值；
[0008]响应于所述第一配置项的值为第一预设值，根据所述数据访问请求进行数据访问并根据所述第一预设值对应的校验算法进行数据校验；
[0009]响应于所述第一配置项的值为第二预设值，根据所述数据访问请求进行数据访问
并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验。
[0010]在一些实施例中，还包括：
[0011]响应于所述第一配置项的值为第三预设值，根据所述数据访问请求进行数据访问不进行数据校验。
[0012]在一些实施例中，根据所述数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验，进一步包括：
[0013]响应于根据在系统的存储引擎中配置的第二配置项的值为第四预设值，不进行数据校验。
[0014]在一些实施例中，根据所述第一预设值对应的校验算法进行数据校验，进一步包括：
[0015]响应于所述数据访问请求为分配写请求，根据所述第一预设值对应的校验算法计算所述分配写请求对应的待写入数据的校验数据块并落盘；
[0016]响应于所述数据访问请求为覆盖写请求，根据所述第一预设值对应的校验算法计算所述覆盖写请求对应的待写入数据的校验数据块并更新原有的校验数据块；
[0017]响应于所述数据访问请求为读请求，根据所述第一预设值对应的校验算法计算所述读请求对应的待读取数据的校验值并与在保存所述待读取数据时生产的校验数据块对比匹配。
[0018]在一些实施例中，根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验，进一步包括：
[0019]响应于所述数据访问请求为分配写请求，根据所述第二配置项对应的校验算法计算所述分配写请求对应的待写入数据的校验数据块并落盘；
[0020]响应于所述数据访问请求为覆盖写请求，根据所述第二配置项对应的校验算法计算所述覆盖写请求对应的待写入数据的校验数据块并更新原有的校验数据块；
[0021]响应于所述数据访问请求为读请求，根据所述第二配置项对应的校验算法计算所述读请求对应的待读取数据的校验值并与在保存所述待读取数据时生产的校验数据块对比匹配。
[0022]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种存储池数据校验系统，包括：
[0023]获取模块，配置为响应于接收到数据访问请求，获取对应的存储池预先配置的第一配置项的值；
[0024]第一数据访问模块，配置为响应于所述第一配置项的值为第一预设值，根据所述数据访问请求进行数据访问并根据所述第一预设值对应的校验算法进行数据校验；
[0025]第二数据访问模块，配置为响应于所述第一配置项的值为第二预设值，根据所述数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验。
[0026]在一些实施例中，还包括第三数据访问模块，配置为：
[0027]响应于所述第一配置项的值为第三预设值，根据所述数据访问请求进行数据访问而不进行数据校验。
[0028]在一些实施例中，第二数据访问模块还配置为：
[0029]响应于根据在系统的存储引擎中配置的第二配置项的值为第四预设值，不进行数据校验。
[0030]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机设备，包括：
[0031]至少一个处理器；以及
[0032]存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种存储池数据校验方法的步骤。
[0033]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种存储池数据校验方法的步骤。
[0034]本专利技术具有以下有益技术效果之一：本专利技术提出的方案通过对每一个存储池设置数据校验开关，使得可以单独控制每一个存储池的数据校验功能。这样通过为每一个存储池添加数据校验开关，可以在读写数据时根据当前存储池来判断是否需要进行数据校验，而且对于不同功能的存储池，可以根据需要设置不同的数据校验算法。这使得集群的数据校验策略更加灵活，并能够对有一些不需要即时数据校验的存储池而言节省了一部分读写性能。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储池数据校验方法，其特征在于，包括以下步骤：响应于接收到数据访问请求，获取对应的存储池预先配置的第一配置项的值；响应于所述第一配置项的值为第一预设值，根据所述数据访问请求进行数据访问并根据所述第一预设值对应的校验算法进行数据校验；响应于所述第一配置项的值为第二预设值，根据所述数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验。2.如权利要求1所述的方法，其特征在于，还包括：响应于所述第一配置项的值为第三预设值，根据所述数据访问请求进行数据访问不进行数据校验。3.如权利要求1所述的方法，其特征在于，根据所述数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验，进一步包括：响应于根据在系统的存储引擎中配置的第二配置项的值为第四预设值，不进行数据校验。4.如权利要求1所述的方法，其特征在于，根据所述第一预设值对应的校验算法进行数据校验，进一步包括：响应于所述数据访问请求为分配写请求，根据所述第一预设值对应的校验算法计算所述分配写请求对应的待写入数据的校验数据块并落盘；响应于所述数据访问请求为覆盖写请求，根据所述第一预设值对应的校验算法计算所述覆盖写请求对应的待写入数据的校验数据块并更新原有的校验数据块；响应于所述数据访问请求为读请求，根据所述第一预设值对应的校验算法计算所述读请求对应的待读取数据的校验值并与在保存所述待读取数据时生产的校验数据块对比匹配。5.如权利要求1所述的方法，其特征在于，根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验，进一步包括：响应于所述数据访问请求为分配写请求，根据所述第二配置项对应的校验算法计算所述分配写请求对应的待写入数据...

【专利技术属性】
技术研发人员：张英杰，孟祥瑞，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：