本申请涉及一种分布式存储系统的缓存方法、装置、计算机设备、存储介质和计算机程序产品。该方法应用于分布式存储系统的前端处理节点，该分布式存储系统还包括后端存储节点，其中，前端处理节点包括固态硬盘。所述方法包括：在接收写请求的情况下，确定写请求携带的写数据的数据大小，基于预先存储的缓存方式划分策略和写数据的数据大小，在各缓存方式中确定与写请求相匹配的目标缓存方式，其中各缓存方式包括内存缓存方式、固态硬盘缓存方式、后端缓存方式中的至少一种。最后，基于目标缓存方式对写数据进行缓存处理，并反馈写请求对应的写入响应消息。采用本方法能够提升缓存效率。入响应消息。采用本方法能够提升缓存效率。入响应消息。采用本方法能够提升缓存效率。
【技术实现步骤摘要】
分布式存储系统的缓存方法、装置、计算机设备
[0001]本申请涉及分布式存储
，特别是涉及一种分布式存储系统的缓存方法、装置、计算机设备。
技术介绍
[0002]在分布式存储领域中，为了使用户有良好的体验，一般会将分布式存储系统分为前端处理节点以及后端存储节点。前端存储节点用于接收用户发送的写请求，对用户发送的写请求进行处理后，发送至后端存储节点，完成写数据的落盘。
[0003]相关技术中，前端存储节点接收到用户发送的写请求，一般使用日志系统对用户发送的写数据进行缓存，缓存完成后便向用户反馈完成存储的响应，之后再将缓存的写数据投递至后端存储系统，完成写数据的落盘，大大提升了用户写数据的响应速度。
[0004]上述方式虽然提升了用户写数据的响应速度，但是日志系统存储空间有限，随着持续接收到大量的写数据，后续接收的写数据长时间难以缓存，缓存效率慢降低、响应时间变长。
技术实现思路
[0005]基于此，有必要针对上述技术问题，提供一种能够提升缓存效率的分布式存储系统的缓存方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种分布式存储系统的缓存方法。
[0007]所述方法应用于分布式存储系统的前端处理节点，所述分布式存储系统还包括后端存储节点；所述前端处理节点包括固态硬盘；所述方法包括：
[0008]在接收写请求的情况下，确定所述写请求携带的写数据的数据大小；
[0009]基于预先存储的缓存方式划分策略和写数据的数据大小，在各缓存方式中确定与所述写请求相匹配的目标缓存方式；所述各缓存方式包括内存缓存方式、固态硬盘缓存方式、后端缓存方式中的至少一种；
[0010]基于所述目标缓存方式对所述写数据进行缓存处理，并反馈所述写请求对应的写入响应消息。
[0011]对接收到的写数据进行三种不同方式的缓存，并且按照写数据的数据大小分配不同的缓存方式，使得内存、固态硬盘不会被完全消耗，因此降低了数据
[0012]大小较大的写请求阻塞数据大小较小的其他写请求的概率，从而保证了各个写5请求的响应时间不会过长，从总体上提升了缓存效率。
[0013]在其中一个实施例中，所述基于预先存储的缓存方式划分策略和写数据的数据大小，在各缓存方式中确定与所述写请求相匹配的目标缓存方式，包括：
[0014]查询缓存方式与数据大小区间之间的对应关系，确定所述写数据所属的目标数据大小区间；
[0015]0基于所述目标数据大小区间对应的缓存方式，确定所述写数据对应的目标缓存
方式。
[0016]内存用于缓存数据大小处于小区间的写数据，固态硬盘用户缓存数据大小处于中间区间的写数据，后端用户缓存数据大小处于大区间的写数据，与内存、固态硬盘、后端的缓存空间大小对应，充分利用了内存、固态硬盘、后端各自5的存储优势。
[0017]在其中一个实施例中，所述将确定出的所述目标数据大小区间对应的缓存方式作为所述写数据对应的目标缓存方式，包括：
[0018]查询所述目标数据区间对应的缓存方式当前的缓存状态参数；
[0019]在查询到所述目标数据区间对应的缓存方式当前的缓存状态参数满足可用0缓存条件的情况下，将所述目标数据区间对应的缓存方作为所述写数据对应的目标缓存方式；
[0020]在查询到所述目标数据区间对应的缓存方式当前的缓存状态参数不满足可用缓存条件的情况下，根据各缓存方式对应的优先级，将所述目标数据区间对应的缓存方式下一优先级的缓存方式作为所述写数据对应的目标缓存方式。
[0021]5在进行缓存时，同时考虑了各个缓存方式对应的缓存状态，根据各个缓存方式对应的缓存状态，动态调整写数据的缓存方式，进一步保证了写数据的响应效率。
[0022]在其中一个实施例中，缓存方式优先级由高至低依次为：内存缓存方式、固态硬盘缓存方式、后端缓存方式；
[0023]所述基于所述目标缓存方式对所述写数据进行缓存处理，并反馈所述写请求对应的写入响应消息，包括：
[0024]查询所述写数据在所述后端存储节点对应的存储地址，在优先级高于所述目标缓存方式对应的缓存空间内缓存的各数据在所述后端存储节点对应的存储地址是否存在地址重合；
[0025]在查询到不存在地址重合的情况下，基于所述目标缓存方式对所述写数据进行缓存处理，并反馈所述写请求对应的写入响应消息；
[0026]在查询到存在地址重合的情况下，将优先级高于所述目标缓存方式对应的缓存空间内缓存的与所述写数据存在地址重合的数据删除，基于所述目标缓存方式对所述写数据进行缓存处理，并反馈所述写请求对应的写入响应消息。
[0027]对于存在地址重叠的写数据，将高于本优先级别的缓存空间中存在地址重叠的写数据无效掉，避免后续用户请求读取数据时，读取到错误的数据。
[0028]在其中一个实施例中，所述方法还包括：
[0029]在接收到针对目标数据的读请求的情况下，以所述目标数据的数据标识，按照缓存方式优先级由高至低的顺序，依次在缓存方式对应的缓存空间查询所述目标数据对应的数据内容；
[0030]在查询到所述目标数据对应的数据内容的情况下，响应于所述读请求，返回查询到的数据内容。
[0031]按照缓存优先级方式读取数据，从而避免读取到错误的数据。
[0032]在其中一个实施例中，根据权利要求1所述的方法，其特征在于，所述分布式存储系统包括一个主前端处理节点、多个从前端处理节点，其中，每个所述前端处理节点包括至少一个固态硬盘；所述方法应用于所述主前端处理节点；
[0033]在所述目标缓存方式为固态硬盘缓存方式的情况下，所述基于所述目标缓存方式
对所述写数据进行缓存处理，并反馈所述写请求对应的写入响应消息，包括：
[0034]将所述写数据缓存至所述固态硬盘，并在所述固态硬盘在缓存所述写数据后，将所述写数据发送至所述从前端处理节点；
[0035]在确定各所述从前端处理节点将所述写数据已缓存至固态硬盘后，反馈所述写请求对应的写入响应消息。
[0036]设置主从前端处理节点，并且在确定各个从前端处理节点都已将写数据缓存至各自固态硬盘的情况下反馈写请求对应的写入响应消息，使得主前端处理节点发生故障时，其他从前端处理节点仍可接替主前端处理节点正常缓存写数据。
[0037]第二方面，本申请还提供了一种分布式存储系统的缓存装置。所述装置应用于分布式存储系统的前端处理节点，所述分布式存储系统还包括后端存储节点；所述前端处理节点包括固态硬盘；所述装置包括：
[0038]决策模块，用于在接收写请求的情况下，确定所述写请求携带的写数据的数据大小；
[0039]缓存模块，用于基于预先存储的缓存方式划分策略和写数据的数据大小，在各缓存方式中确定与所述写请求相匹配的目标缓存方式；所述各缓存方式包括内存缓存方式、固态硬盘缓存方式、后端缓存方式中的至少一种；
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分布式存储系统的缓存方法，其特征在于，所述方法应用于分布式存储系统的前端处理节点，所述分布式存储系统还包括后端存储节点；所述前端处理节点包括固态硬盘；所述方法包括：在接收写请求的情况下，确定所述写请求携带的写数据的数据大小；基于预先存储的缓存方式划分策略和写数据的数据大小，在各缓存方式中确定与所述写请求相匹配的目标缓存方式；所述各缓存方式包括内存缓存方式、固态硬盘缓存方式、后端缓存方式中的至少一种；基于所述目标缓存方式对所述写数据进行缓存处理，并反馈所述写请求对应的写入响应消息。2.根据权利要求1所述的方法，其特征在于，所述基于预先存储的缓存方式划分策略和写数据的数据大小，在各缓存方式中确定与所述写请求相匹配的目标缓存方式，包括：查询缓存方式与数据大小区间之间的对应关系，确定所述写数据所属的目标数据大小区间；基于所述目标数据大小区间对应的缓存方式，确定所述写数据对应的目标缓存方式。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标数据大小区间对应的缓存方式，确定所述写数据对应的目标缓存方式，包括：查询所述目标数据区间对应的缓存方式当前的缓存状态参数；在查询到所述目标数据区间对应的缓存方式当前的缓存状态参数满足可用缓存条件的情况下，将所述目标数据区间对应的缓存方作为所述写数据对应的目标缓存方式；在查询到所述目标数据区间对应的缓存方式当前的缓存状态参数不满足可用缓存条件的情况下，根据各缓存方式对应的优先级，将所述目标数据区间对应的缓存方式下一优先级的缓存方式作为所述写数据对应的目标缓存方式。4.根据权利要求1所述的方法，其特征在于，缓存方式优先级由高至低依次为：内存缓存方式、固态硬盘缓存方式、后端缓存方式；所述基于所述目标缓存方式对所述写数据进行缓存处理，并反馈所述写请求对应的写入响应消息，包括：查询所述写数据在所述后端存储节点对应的存储地址，在优先级高于所述目标缓存方式对应的缓存空间内缓存的各数据在所述后端存储节点对应的存储地址是否存在地址重合；在查询到不存在地址重合的情况下，基于所述目标缓存方式对所述写数据进行缓存处理，并反馈所述写请求对应的写入响应消息；在查询到存在地址重合的情况下，将优先级高于所述目标缓存方式对应的缓存空间内缓存的与所述写数据存在...
【专利技术属性】
技术研发人员：于磊，王云飞，吴瑞强，郭照斌，刘建锋，
申请(专利权)人：天津中科曙光存储科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。