一种高吞吐的并行日志存储系统及方法技术方案

本发明专利技术涉及存储系统技术领域，公开了一种高吞吐的并行日志存储系统及方法，该系统包括前端设备；后端设备；具有若干个存储设备的存储服务器；其中，前端设备接收任务请求，并将接收到的任务请求向目标后端设备传输；后端设备根据排队预算判断是否接收任务请求，并在接收到前端设备传输的任务请求时，向存储服务器的目标存储设备传输任务请求，以使存储服务器的目标存储设备执行任务请求对应的存储动作。本发明专利技术通过后端设备根据排队预算选择性的接收前端设备传输的任务请求，以此向存储服务器的目标存储设备传输任务请求，并利用存储服务器的目标存储设备执行任务请求对应的存储动作，解决了现有技术存储系统中缓存过满及请求拥堵的技术问题。堵的技术问题。堵的技术问题。

【技术实现步骤摘要】
一种高吞吐的并行日志存储系统及方法


[0001]本专利技术涉及存储系统
，尤其是一种高吞吐的并行日志存储系统及方法。

技术介绍

[0002]如今，企业和数据中心正在向分布式和无服务器存储系统发展，而不是传统的文件系统。由于这种转变，为用户和各方分配足够的资源以满足他们的服务级别需求在分布式存储系统中变得至关重要。服务质量（QoS）是一个试图解决这些挑战的研究领域。系统组件和请求的可调度性对于实现分布式存储中的QoS目标至关重要。许多QoS解决方案是通过在系统体系结构的不同级别上的请求调度来设计和实现的。
[0003]然而，存储后端中的缓存过满现象会影响系统的请求可调度性。在存储服务器中，由于存储后端缓存区过大，当服务器立即向存储后端提交所有请求时，会发生缓存区溢出。现有技术中，有许多研究工作都试图解决网络系统的缓存问题。然而，这些工作都不适用于存储系统环境和工作负载。
[0004]因此，如何解决存储系统中缓存过满及请求拥堵的现象，是一个亟需解决的技术问题。

技术实现思路

[0005]本专利技术的主要目的在于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高吞吐的并行日志存储系统，其特征在于，所述高吞吐的并行日志存储系统，具有：前端设备；后端设备；具有若干个存储设备的存储服务器；其中，所述前端设备接收任务请求，并将接收到的任务请求向目标后端设备传输；其中，所述后端设备根据排队预算判断是否接收任务请求，并在接收到前端设备传输的任务请求时，向存储服务器的目标存储设备传输任务请求，以使存储服务器的目标存储设备执行任务请求对应的存储动作。2.根据权利要求1所述的高吞吐的并行日志存储系统，其特征在于，所述前端设备，具有：任务请求传输模块；所述任务请求传输模块接收任务请求，生成任务请求队列，并按任务请求队列将接收到的任务请求依次向后端设备传输。3.根据权利要求1所述的高吞吐的并行日志存储系统，其特征在于，所述后端设备，具有：任务请求接收模块；所述任务请求接收模块在接收到前端设备传输的任务请求时，判断排队预算是否大于零，若是，接收任务请求；若否，拒绝接收任务请求。4.根据权利要求1所述的高吞吐的并行日志存储系统，其特征在于，所述后端设备，还具有：请求成本生成模块；所述请求成本生成模块根据接收的目标任务请求的附加信息，生成目标任务请求的请求成本。5.根据权利要求4所述的高吞吐的并行日志存储系统，其特征在于，所述附加信息包括目标任务请求对应的存储大小和存储性质。6.根据权利要求4所述的高吞吐的并行日志存储系统，其特征在于，所述后端设备，还具有：排队预算生成模块；排队预算更新模块；其中，所述排队预算生成模块为后端设备生成初始的排队预算；其中，所述排队预算更新模块用于在接收到前端设备传输的目标任务请求时，基于目标任务的请求成本更新排队预算；所述排队预算更新模块还用于获取后端设备的后端延迟，并根据后端延迟更新排队预算。7.根据权利要求6所述的高吞吐的并行...

【专利技术属性】
技术研发人员：戴璐宇，陈少俊，张勇，刘中，
申请(专利权)人：成都新西旺自动化科技有限公司，
类型：发明
国别省市：