数据操作请求的处理方法技术

本申请公开了一种数据操作请求的处理方法

【技术实现步骤摘要】
数据操作请求的处理方法、装置、电子设备及存储介质


[0001]本申请涉及数据存储
，特别涉及一种数据操作请求的处理方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]分布式存储系统具备高性能
、
可靠性及可扩展性的特点；在硬盘出现故障后，分布式存储系统可以保证存储业务不会中断，在更新硬盘后再自动恢复及平衡数据
。
在分布式存储系统恢复数据的过程中，虽存储业务不会中断，然而数据恢复要优先处理数据操作请求，因此在数据操作请求命中恢复的对象时会挂起请求优先恢复，从而导致延迟增大，影响客户端业务
。
因此，如何在数据恢复过程中降低分布式存储系统对数据操作请求的处理延迟，保障业务不受影响是本领域技术人员目前需要解决的技术问题
。

技术实现思路

[0003]本申请的目的是提供一种数据操作请求的处理方法
、
装置
、
电子设备及存储介质，能够在数据恢复过程中降低分布式存储系统对数据操作请求的处理延迟，保障业务不受影响
。
[0004]为解决上述技术问题，本申请提供一种数据操作请求的处理方法，应用于分布式存储系统，包括：
[0005]接收客户端发送的数据操作请求，并确定所述数据操作请求对应的目标数据对象；
[0006]判断所述目标数据对象是否在缺失列表中；其中，所述缺失列表通过比对主副本归置组和从副本归置组的归置组日志得到，所述缺失列表用于描述所述主副本归置组和
/
或所述从副本归置组的数据缺失情况，所述缺失列表中的数据对象为所述主副本归置组或所述从副本归置组需要恢复的对象；若是，则生成所述数据操作请求对应的所述目标数据对象和目标归置组日志，利用所述主副本归置组和
/
或所述从副本归置组对所述目标数据对象和目标归置组日志进行处理，并将所述目标归置组日志添加至所述缺失列表；向所述客户端返回所述数据操作请求处理完毕的响应信息
。
[0007]可选的，利用所述主副本归置组和
/
或所述从副本归置组对所述目标数据对象和目标归置组日志进行处理，包括：
[0008]若所述缺失列表中所述目标数据对象所属的归置组为所述主副本归置组，利用所述从副本归置组将所述目标数据对象写入硬盘，利用所述从副本归置组将所述目标归置组日志写入对应的归置组日志列表
。
[0009]可选的，向所述客户端返回所述数据操作请求处理完毕的响应信息，包括：
[0010]判断是否接收到所述从副本归置组生成的写操作完成信息；若是，则向所述客户端返回所述数据操作请求处理完毕的所述响应信息
。
可选的，利用所述主副本归置组和
/
或所述从副本归置组对所述目标数据对象和目标归置组日志进行处理，包括：
[0011]若所述缺失列表中所述目标数据对象所属的归置组为目标从副本归置组，利用所述主副本归置组和其他从副本归置组将所述目标数据对象写入硬盘，利用所述主副本归置组和其他从副本归置组将所述目标归置组日志写入对应的归置组日志列表
。
[0012]可选的，所述接收客户端发送的数据操作请求，包括：
[0013]接收所述客户端发送的数据写操作请求
、
数据删除操作请求或数据更新操作请求
。
[0014]可选的，在判断所述目标数据对象是否在缺失列表中之前，还包括：将所述主副本归置组的归置组日志与所述从副本归置组的归置组日志进行比较，得到所述数据缺失情况；其中，所述数据缺失情况包括待恢复数据对象和所述待恢复数据对象对应的完整数据对象所在的位置；根据所有所述数据缺失情况构建所述缺失列表
。
[0015]可选的，在将所述目标归置组日志添加至所述缺失列表之后，还包括：按照所述缺失列表对所述主副本归置组和
/
或所述从副本归置组执行数据恢复操作
。
[0016]本申请还提供了一种数据操作请求的处理装置，所述处理装置运行有分布式存储系统，包括：
[0017]对象确定模块，用于接收客户端发送的数据操作请求，并确定所述数据操作请求对应的目标数据对象；
[0018]判断模块，用于判断所述目标数据对象是否在缺失列表中；其中，所述缺失列表通过比对主副本归置组和从副本归置组的归置组日志得到，所述缺失列表用于描述所述主副本归置组和
/
或所述从副本归置组的数据缺失情况，所述缺失列表中的数据对象为所述主副本归置组或所述从副本归置组需要恢复的对象；
[0019]请求处理模块，用于若所述目标数据对象在所述缺失列表中，则生成所述数据操作请求对应的所述目标数据对象和目标归置组日志，利用所述主副本归置组和
/
或所述从副本归置组对所述目标数据对象和目标归置组日志进行处理，并将所述目标归置组日志添加至所述缺失列表；
[0020]响应模块，用于向所述客户端返回所述数据操作请求处理完毕的响应信息
。
[0021]本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述数据操作请求的处理方法执行的步骤
。
[0022]本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述数据操作请求的处理方法执行的步骤
。
[0023]本申请提供了一种数据操作请求的处理方法，应用于分布式存储系统，包括：接收客户端发送的数据操作请求，并确定所述数据操作请求对应的目标数据对象；判断所述目标数据对象是否在缺失列表中；其中，所述缺失列表通过比对主副本归置组和从副本归置组的归置组日志得到，所述缺失列表用于描述所述主副本归置组和
/
或所述从副本归置组的数据缺失情况，所述缺失列表中的数据对象为所述主副本归置组或所述从副本归置组需要恢复的对象；若是，则生成所述数据操作请求对应的所述目标数据对象和目标归置组日志，利用所述主副本归置组和
/
或所述从副本归置组对所述目标数据对象和目标归置组日志进行处理，并将所述目标归置组日志添加至所述缺失列表；向所述客户端返回所述数据操作请求处理完毕的响应信息
。
本申请提供的方案应用于分布式存储系统，在分布式存储
系统收到客户端发送的数据操作请求后，确定数据操作请求对应的目标数据对象
。
分布式存储系统根据缺失列表进行数据恢复操作，本申请判断数据操作请求对应的目标数据对象是否为缺失列表中需要进行数据恢复的对象
。
若目标数据对象在缺失列表中，则说明该目标数据对象需要在进行数据恢复完毕后才能执行数据操作请求的操作，在此情况下，本申请生成数据操作请求对应的所述目标数据对象和目标归置组日志，利用所述主副本归置组和
/
或所述从副本归置组对所述目标数据对象本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据操作请求的处理方法，其特征在于，应用于分布式存储系统，包括：接收客户端发送的数据操作请求，并确定所述数据操作请求对应的目标数据对象；判断所述目标数据对象是否在缺失列表中；其中，所述缺失列表通过比对主副本归置组和从副本归置组的归置组日志得到，所述缺失列表用于描述所述主副本归置组和
/
或所述从副本归置组的数据缺失情况，所述缺失列表中的数据对象为所述主副本归置组或所述从副本归置组需要恢复的对象；若是，则生成所述数据操作请求对应的所述目标数据对象和目标归置组日志，利用所述主副本归置组和
/
或所述从副本归置组对所述目标数据对象和目标归置组日志进行处理，并将所述目标归置组日志添加至所述缺失列表；向所述客户端返回所述数据操作请求处理完毕的响应信息
。2.
根据权利要求1所述数据操作请求的处理方法，其特征在于，利用所述主副本归置组和
/
或所述从副本归置组对所述目标数据对象和目标归置组日志进行处理，包括：若所述缺失列表中所述目标数据对象所属的归置组为所述主副本归置组，利用所述从副本归置组将所述目标数据对象写入硬盘，利用所述从副本归置组将所述目标归置组日志写入对应的归置组日志列表
。3.
根据权利要求2所述数据操作请求的处理方法，其特征在于，向所述客户端返回所述数据操作请求处理完毕的响应信息，包括：判断是否接收到所述从副本归置组生成的写操作完成信息；若是，则向所述客户端返回所述数据操作请求处理完毕的所述响应信息
。4.
根据权利要求1所述数据操作请求的处理方法，其特征在于，利用所述主副本归置组和
/
或所述从副本归置组对所述目标数据对象和目标归置组日志进行处理，包括：若所述缺失列表中所述目标数据对象所属的归置组为目标从副本归置组，利用所述主副本归置组和其他从副本归置组将所述目标数据对象写入硬盘，利用所述主副本归置组和其他从副本归置组将所述目标归置组日志写入对应的归置组日志列表
。5.
根据权利要求1所述数据操作请求的处理方法，其特征在于，所述接收客户端发送的数据操作请求，包括：接收所述客户端发送的数据写操作请求

【专利技术属性】
技术研发人员：陈杰，蔡乾盟，姚龙龙，金伟，应红力，
申请(专利权)人：杭州觅睿科技股份有限公司，
类型：发明
国别省市：