【技术实现步骤摘要】
本申请涉及数据存储，具体涉及一种纠删码存储空间利用率提升方法、装置、设备及存储介质。
技术介绍
1、随着信息化的日益深入，全社会每天产生的数据量呈现爆发式增长，因此，人们对数据存储的可靠性、可用性需求变得越来越迫切；副本和纠删码是分布式存储邻域常见的两种冗余策略；对于一些对性能要求高的关键业务场景，比如数据库场景，用户往往期望采用副本冗余策略来保证数据的安全性，同时，读写性能也能得到保障；而对于其他对性能要求不高，对存储容量利用率较高的业务场景，比如视频存储场景，用户则往往期望采用纠删码冗余策略，保证了数据安全的同时，也提高了存储容量利用率。
2、相比副本冗余策略，纠删码确实能够大大提高存储系统的空间利用率，但因为只有在条带被数据写满的情况下才能计算出相应的校验数据，因此，纠删码节省空间的效果受到了很大的限制。
3、众所周知，对于纠删码存储，最理想的业务场景是每次写io都刚好写满整数个条带，这样就能直接计算出校验数据，对于k+p(k个原始数据块，p个校验数据块)的纠删码模型，空间利用率则可以达到理想的k/(k+p)，但是，实际业务场景是不可能做到每次写io都刚好写满整数个条带的，普遍的场景是条带未被写满。
4、鉴于实际情况，目前主要的应对方案有两类，第一类是采用补零方案，第二类是采用副本写方案；虽然，这两类方案解决了条带不能被及时写满的问题，但是，补零方案会带来数据、元数据空间的浪费的问题，副本写方案虽然可以解决补零方案空间浪费、写入性能的问题，但在条带一直未被写满的极端场景下，副本写方案的空
技术实现思路
1、本申请提供一种纠删码存储空间利用率提升方法、装置、设备及存储介质，其可提高写入性能，并能避免存储容量空间的浪费。
2、第一方面，本申请实施例提供一种纠删码存储空间利用率提升方法，所述纠删码存储空间利用率提升方法包括：
3、将校验分片划分为副本数据空间和校验数据空间，所述副本数据空间仅存放未满条带的副本数据，所述校验数据空间仅存放满条带的校验数据；
4、基于副本数据或条带现有数据的大小，以chunk size作为阈值，在校验分片上进行后台聚合或数据恢复，以进行副本数据与校验数据的相互转化。
5、结合第一方面，在一种实施方式中，基于副本数据的大小，以chunk size作为阈值，在校验分片上进行后台聚合，将副本数据转化为校验数据，包括：
6、当校验分片上条带中的副本数据总size小于等于chunk size，且该条带不存在对应的校验数据时，不对该条带执行操作；
7、当校验分片上条带中的副本数据总size大于chunk size，且该条带不存在对应的校验数据时，通过对条带空洞区段做默认0处理，将副本数据聚合为校验数据，将该条带在副本数据空间中的副本数据删除；
8、当校验分片上条带中存在新的副本数据，且该条带存在对应的校验数据时，通过对条带空洞区段做默认0处理，基于新的副本数据更新校验数据，并删除该条带在副本数据空间中的所有副本数据。
9、结合第一方面，在一种实施方式中，基于条带现有数据的大小，以chunk size作为阈值，在校验分片上进行数据恢复，将校验数据转化为副本数据，包括：
10、当校验分片上条带中存在被删除的副本数据、条带现有数据总size大于chunksize，且该条带存在对应的校验数据时，不将校验数据恢复为副本数据，但更新校验数据，且在计算新的校验数据时，将被删除的副本数据区段按照默认0处理；
11、当校验分片上条带中存在被删除的副本数据、条带现有数据总size小于等于chunk size，且该条带存在对应的校验数据时，将校验数据恢复为副本数据，并删除对应的校验数据。
12、结合第一方面，在一种实施方式中，将校验分片划分为等大小的副本数据空间和校验数据空间。
13、第二方面，本申请实施例提供了一种纠删码存储空间利用率提升装置，所述纠删码存储空间利用率提升装置包括：
14、划分模块，其用于将校验分片划分为副本数据空间和校验数据空间，所述副本数据空间仅存放未满条带的副本数据，所述校验数据空间仅存放满条带的校验数据；
15、数据转换模块，其用于基于副本数据或条带现有数据的大小，以chunk size作为阈值，在校验分片上进行后台聚合或数据恢复，以进行副本数据与校验数据的相互转化。
16、结合第二方面，在一种实施方式中，所述数据转换模块基于副本数据的大小，以chunk size作为阈值，在校验分片上进行后台聚合，将副本数据转化为校验数据，包括：
17、当校验分片上条带中的副本数据总size小于等于chunk size，且该条带不存在对应的校验数据时，不对该条带执行操作；
18、当校验分片上条带中的副本数据总size大于chunk size，且该条带不存在对应的校验数据时，通过对条带空洞区段做默认0处理，将副本数据聚合为校验数据，将该条带在副本数据空间中的副本数据删除；
19、当校验分片上条带中存在新的副本数据，且该条带存在对应的校验数据时，通过对条带空洞区段做默认0处理，基于新的副本数据更新校验数据，并删除该条带在副本数据空间中的所有副本数据。
20、结合第二方面，在一种实施方式中，所述数据转换模块基于条带现有数据的大小，以chunk size作为阈值，在校验分片上进行数据恢复，将校验数据转化为副本数据，包括：
21、当校验分片上条带中存在被删除的副本数据、条带现有数据总size大于chunksize，且该条带存在对应的校验数据时，不将校验数据恢复为副本数据，但更新校验数据，且在计算新的校验数据时，将被删除的副本数据区段按照默认0处理；
22、当校验分片上条带中存在被删除的副本数据、条带现有数据总size小于等于chunk size，且该条带存在对应的校验数据时，将校验数据恢复为副本数据，并删除对应的校验数据。
23、结合第二方面，在一种实施方式中，所述划分模块用于将校验分片划分为等大小的副本数据空间和校验数据空间。
24、第三方面，本申请实施例提供了一种纠删码存储空间利用率提升设备，所述纠删码存储空间利用率提升设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的纠删码存储空间利用率提升程序，其中所述纠删码存储空间利用率提升程序被所述处理器执行时，实现如上述任一种所述的纠删码存储空间利用率提升方法的步骤。
25、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有纠删码存储空间利用率提升程序，其中所述纠删码存储空间利用率提升程序被处理器执行时，实现如上述任一种所述的纠删码存储空间利用率提升方法的步骤。
26、本申请实施例提供的技术方案带来的有益效果至少包括：
27、本申请中的纠删码存储空间利用率本文档来自技高网...
【技术保护点】
1.一种纠删码存储空间利用率提升方法，其特征在于，所述纠删码存储空间利用率提升方法包括：
2.如权利要求1所述的纠删码存储空间利用率提升方法，其特征在于，基于副本数据的大小，以chunk size作为阈值，在校验分片上进行后台聚合，将副本数据转化为校验数据，包括：
3.如权利要求1所述的纠删码存储空间利用率提升方法，其特征在于，基于条带现有数据的大小，以chunk size作为阈值，在校验分片上进行数据恢复，将校验数据转化为副本数据，包括：
4.如权利要求1所述的纠删码存储空间利用率提升方法，其特征在于：
5.一种纠删码存储空间利用率提升装置，其特征在于，所述纠删码存储空间利用率提升装置包括：
6.如权利要求5所述的纠删码存储空间利用率提升装置，其特征在于，所述数据转换模块基于副本数据的大小，以chunk size作为阈值，在校验分片上进行后台聚合，将副本数据转化为校验数据，包括：
7.如权利要求5所述的纠删码存储空间利用率提升装置，其特征在于，所述数据转换模块基于条带现有数据的大小，以chunk size作
8.如权利要求5所述的纠删码存储空间利用率提升装置，其特征在于：所述划分模块用于将校验分片划分为等大小的副本数据空间和校验数据空间。
9.一种纠删码存储空间利用率提升设备，其特征在于，所述纠删码存储空间利用率提升设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的纠删码存储空间利用率提升程序，其中所述纠删码存储空间利用率提升程序被所述处理器执行时，实现如权利要求1至4中任一项所述的纠删码存储空间利用率提升方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有纠删码存储空间利用率提升程序，其中所述纠删码存储空间利用率提升程序被处理器执行时，实现如权利要求1至4中任一项所述的纠删码存储空间利用率提升方法的步骤。
...【技术特征摘要】
1.一种纠删码存储空间利用率提升方法，其特征在于，所述纠删码存储空间利用率提升方法包括：
2.如权利要求1所述的纠删码存储空间利用率提升方法，其特征在于，基于副本数据的大小，以chunk size作为阈值，在校验分片上进行后台聚合，将副本数据转化为校验数据，包括：
3.如权利要求1所述的纠删码存储空间利用率提升方法，其特征在于，基于条带现有数据的大小，以chunk size作为阈值，在校验分片上进行数据恢复，将校验数据转化为副本数据，包括：
4.如权利要求1所述的纠删码存储空间利用率提升方法，其特征在于：
5.一种纠删码存储空间利用率提升装置，其特征在于，所述纠删码存储空间利用率提升装置包括：
6.如权利要求5所述的纠删码存储空间利用率提升装置，其特征在于，所述数据转换模块基于副本数据的大小，以chunk size作为阈值，在校验分片上进行后台聚合，将副本数据转化为校验数据，包括：
7.如权利要求...
【专利技术属性】
技术研发人员：张得旭，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。