分布式存储系统的数据存储处理方法、装置、电子设备制造方法及图纸

本发明专利技术公开了一种用于分布式存储系统的数据存储处理方法，分布式存储系统包括至少一个存储服务器，所述方法应用于存储服务器，包括：判断所述存储服务器的已用存储空间是否超过第一数据类型对应的存储空间阈值；当所述已用存储空间超过第一数据类型对应的存储空间阈值时，停止接收第一数据类型的数据；判断所述存储服务器的已用存储空间是否超过第二数据类型对应的存储空间阈值；当所述已用存储空间超过第二数据类型对应的存储空间时，停止接收第二数据类型的数据；将接收到的至少部分的第一数据类型的数据转换为第二数据类型的数据。本发明专利技术可以降低数据存储时存储空间预分配流程的复杂度，简化空闲空间管理，减少异常分支。

Data storage processing method, device and electronic equipment of distributed storage system

【技术实现步骤摘要】
分布式存储系统的数据存储处理方法、装置、电子设备
本专利技术涉及分布式存储系统领域，尤其涉及一种用于分布式存储系统的数据存储处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
分布式存储系统在接收原数据时，可以对原数据进行进一步的转换处理，例如利用压缩或纠删码技术将原数据转换为占用存储空间更少的数据，提高系统的存储效率。然而，在进行数据接收和转换时，会由于争夺有限的剩余空间资源而导致可能存在的空间不足，从而造成死锁的问题。现有技术手段提出了一种在分布式存储系统中通过预分配存储空间配额的方式来处理上述问题。具体为，当存储服务器需要接收原数据或者进行数据转换时，向元数据服务器申请所需的全部或部分空间，得到元数据服务器成功响应后，在分配到的空间中接收原数据或者进行数据转换。然而现有技术存在以下缺陷：1、需要元数据服务器的参与，且元数据服务器需要进行存储资源的动态再分配和规划；2、当多个数据副本所在存储服务器的剩余空间不一致时，如何决定再申请多少存储空间接收原数据或者进行数据转换面临着一定的困难。总之，现有技术的相关手段也未能解决存储空间死锁的问题。
技术实现思路
本专利技术的目的在于提供一种用于分布式存储系统的数据存储处理方法、装置、电子设备及计算机可读存储介质，以在简化空间管理流程的前提下解决空间死锁的问题。根据本专利技术的第一方面，提供了一种用于分布式存储系统的数据存储处理方法，所述分布式存储系统包括至少一个存储服务器，所述方法应用于存储服务器，所述方法包括：<br>判断所述存储服务器的已用存储空间是否超过第一数据类型对应的存储空间阈值；当所述已用存储空间超过第一数据类型对应的存储空间阈值时，停止接收第一数据类型的数据；判断所述存储服务器的已用存储空间是否超过第二数据类型对应的存储空间阈值；当所述已用存储空间超过第二数据类型对应的存储空间阈值时，停止接收第二数据类型的数据；将接收到的至少部分的第一数据类型的数据转换为第二数据类型的数据；其中，所述第一数据类型对应的存储空间阈值小于所述第二数据类型对应的存储空间阈值，所述第二数据类型对应的存储空间阈值小于所述存储服务器的总存储空间，第一数据类型的数据转换为第二数据类型的数据后，所占用的存储空间减小。可选的，所述方法还包括：将接收到的至少部分第一数据类型的数据转换为第二数据类型的数据后，将转换得到的至少部分第二数据类型的数据发送给其他存储服务器。可选的，所述判断所述存储服务器的已用存储空间是否超过第一数据类型对应的存储空间阈值，包括：当接收到第一数据类型的数据的写入请求时，判断所述存储服务器的已用存储空间是否超过第一数据类型对应的存储空间阈值；或者，按照预先设置的第一判断周期，判断所述存储服务器的已用存储空间是否超过第一数据类型对应的存储空间阈值。可选的，所述判断所述存储服务器的已用存储空间是否超过第二数据类型对应的存储空间阈值，包括：当停止接收第一数据类型的数据之后，在接收到第二数据类型的数据的写入请求时，判断存储服务器的已用存储空间是否超过第二数据类型对应的存储空间阈值；或者，当停止接收第一数据类型的数据之后，按照预先设置的第二判断周期，判断存储服务器的已用存储空间是否超过第二数据类型对应的存储空间阈值。可选的，所述方法还包括：接收客户端的数据修改请求；基于预先存储的与所述数据修改请求对应的原始数据，获取并存储所述原始数据的修改版数据副本。可选的，所述在接收客户端的数据修改请求之后，所述基于预先存储的与所述数据修改请求对应的原始数据，获取并存储所述原始数据的修改版数据副本之前，所述方法还包括：确定所述存储服务器的可用存储空间是否大于第一存储阈值；所述基于预先存储的与所述数据修改请求对应的原始数据，获取并存储所述原始数据的修改版数据副本包括：如果所述存储服务器的可用存储空间大于第一存储阈值，则基于预先存储的与所述数据修改请求对应的原始数据，获取并存储所述原始数据的修改版数据副本；以及，所述方法还包括：在存储所述原始数据的修改版数据副本后，删除所述原始数据。可选的，所述方法还包括：确定所述存储服务器的可用存储空间是否小于第二存储阈值；如果所述存储服务器的可用存储空间小于第二存储阈值，则在本地执行所述数据回收服务，以删除所述修改版数据副本对应的原始数据，释放存储空间。根据本专利技术的第二方面，提供了一种用于分布式存储系统的数据存储处理方法，所述分布式存储系统包括至少一个存储服务器，所述方法应用于存储服务器，所述方法包括：判断所述存储服务器的可用存储空间是否小于第一数据类型对应的存储空间阈值；当所述可用存储空间小于第一数据类型对应的存储空间阈值时，停止接收第一数据类型的数据；判断所述存储服务器的可用存储空间是否小于第二数据类型对应的存储空间阈值；当所述可用存储空间小于第二数据类型对应的存储空间阈值时，停止接收第二数据类型的数据；将接收到的至少部分第一数据类型的数据转换为第二数据类型的数据；其中，所述第一数据类型对应存储空间阈值小于所述第二数据类型对应的存储空间阈值，所述第一数据类型对应的存储空间阈值小于所述存储服务器的总存储空间，第一数据类型的数据转换为第二数据类型的数据后，所占用的存储空间减小。根据本专利技术的第三方面，提供了一种用于分布式存储系统的数据存储处理装置，所述分布式存储系统包括至少一个存储服务器，所述装置应用于存储服务器，所述装置包括：第一判断模块，用于判断所述存储服务器的已用存储空间是否超过第一数据类型对应的存储空间阈值；第一停止模块，用于当所述已用存储空间超过第一数据类型对应的存储空间阈值时，所述第一停止模块停止接收第一数据类型的数据；第二判断模块，用于判断所述存储服务器的已用存储空间是否超过第二数据类型对应的存储空间阈值；第二停止模块，用于当所述已用存储空间超过第二数据类型对应的存储空间阈值时，所述第二停止模块停止接收第二数据类型的数据；转换模块，用于将接收到的至少部分的第一数据类型的数据转换为第二数据类型的数据；其中，所述第一数据类型对应的存储空间阈值小于所述第二数据类型对应的存储空间阈值，所述第二数据类型对应的存储空间阈值小于所述存储服务器的总存储空间，第一数据类型的数据转换为第二数据类型的数据后，所占用的存储空间减小。可选的，所述装置还包括：发送模块，用于将接收到的至少部分第一数据类型的数据转换为第二数据类型的数据后，将转换得到的至少部分第二数据类型的数据发送给其他存储服务器。可选的，所述第一判断模块包括：第一判断单元，用于当接收到第一数据类型的数据的写入请求时，判断所述存储服务器的已用存储空间是否超过第一数据类型对应的存储空间阈值；或者，第二判断单元，用于按照预先设置的第一判本文档来自技高网...

【技术保护点】
1.一种用于分布式存储系统的数据存储处理方法，所述分布式存储系统包括至少一个存储服务器，所述方法应用于存储服务器，其特征在于，所述方法包括：/n判断所述存储服务器的已用存储空间是否超过第一数据类型对应的存储空间阈值；/n当所述已用存储空间超过第一数据类型对应的存储空间阈值时，停止接收第一数据类型的数据；/n判断所述存储服务器的已用存储空间是否超过第二数据类型对应的存储空间阈值；/n当所述已用存储空间超过第二数据类型对应的存储空间阈值时，停止接收第二数据类型的数据；/n将接收到的至少部分的第一数据类型的数据转换为第二数据类型的数据；/n其中，所述第一数据类型对应的存储空间阈值小于所述第二数据类型对应的存储空间阈值，所述第二数据类型对应的存储空间阈值小于所述存储服务器的总存储空间，第一数据类型的数据转换为第二数据类型的数据后，所占用的存储空间减小。/n

【技术特征摘要】
1.一种用于分布式存储系统的数据存储处理方法，所述分布式存储系统包括至少一个存储服务器，所述方法应用于存储服务器，其特征在于，所述方法包括：
判断所述存储服务器的已用存储空间是否超过第一数据类型对应的存储空间阈值；
当所述已用存储空间超过第一数据类型对应的存储空间阈值时，停止接收第一数据类型的数据；
判断所述存储服务器的已用存储空间是否超过第二数据类型对应的存储空间阈值；
当所述已用存储空间超过第二数据类型对应的存储空间阈值时，停止接收第二数据类型的数据；
将接收到的至少部分的第一数据类型的数据转换为第二数据类型的数据；
其中，所述第一数据类型对应的存储空间阈值小于所述第二数据类型对应的存储空间阈值，所述第二数据类型对应的存储空间阈值小于所述存储服务器的总存储空间，第一数据类型的数据转换为第二数据类型的数据后，所占用的存储空间减小。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将接收到的至少部分第一数据类型的数据转换为第二数据类型的数据后，将转换得到的至少部分第二数据类型的数据发送给其他存储服务器。


3.根据权利要求1所述的方法，其特征在于，所述判断所述存储服务器的已用存储空间是否超过第一数据类型对应的存储空间阈值，包括：
当接收到第一数据类型的数据的写入请求时，判断所述存储服务器的已用存储空间是否超过第一数据类型对应的存储空间阈值；
或者，
按照预先设置的第一判断周期，判断所述存储服务器的已用存储空间是否超过第一数据类型对应的存储空间阈值。


4.根据权利要求1所述的方法，其特征在于，所述判断所述存储服务器的已用存储空间是否超过第二数据类型对应的存储空间阈值，包括：
当停止接收第一数据类型的数据之后，在接收到第二数据类型的数据的写入请求时，判断存储服务器的已用存储空间是否超过第二数据类型对应的存储空间阈值；
或者，
当停止接收第一数据类型的数据之后，按照预先设置的第二判断周期，判断存储服务器的已用存储空间是否超过第二数据类型对应的存储空间阈值。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收客户端的数据修改请求；
基于预先存储的与所述数据修改请求对应的原始数据，获取并存储所述原始数据的修改版数据副本。


6.根据权利要求5所述的方法，其特征在于，所述在接收客户端的数据修改请求之后，所述基于预先存储的与所述数据修改请求对应的原始数据，获取并存储所述原始数据的修改版数据副本之前，所述方法还包括：
确定所述存储服务器的可用存储空间是否大于第一存储阈值；
所述基于预先存储的与所述数据修改请求对应的原始数据，获取并存储所述原始数据的修改版数据副本包括：
如果所述存储服务器的可用存储空间大于第一存储阈值，则基于预先存储的与所述数据修改请求对应的原始数据，获取并存储所述原始数据的修改版数据副本；
以及，所述方法还包括：
在存储所述原始数据的修改版数据副本后，删除所述原始数据。


7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
确定所述存储服务器的可用存储空间是否小于第二存储阈值；
如果所述存储服务器的可用存储空间小于第二存储阈值，则在本地执行所述数据回收服务，以删除所述修改版数据副本对应的原始数据，释放存储空间。


8.一种用于分布式存储系统的数据存储处理方法，所述分布式存储系统包...

【专利技术属性】
技术研发人员：冯光曦，
申请(专利权)人：北京金山云网络技术有限公司，北京金山云科技有限公司，
类型：发明
国别省市：北京;11