一种缓存数据的传输方法、系统及相关组件技术方案

本申请公开了一种缓存数据的传输方法，所述传输方法包括获取第一存储介质的缓存水位和第二存储介质的业务压力系数；根据所述缓存水位和所述业务压力系数计算速率权重，并根据所述速率权重确定传输速率；将所述第一存储介质的缓存数据按照所述传输速率向所述第二存储介质传输。本方法能够在两个存储介质之间进行缓存数据传输的过程中，充分利用硬件性能资源，提高存储系统的稳定性。本申请还公开了一种缓存数据的传输系统、一种计算机可读存储介质及一种电子设备，具有以上有益效果。

【技术实现步骤摘要】
一种缓存数据的传输方法、系统及相关组件
本专利技术涉及分布式存储
，特别涉及一种缓存数据的传输方法、系统、一种计算机可读存储介质及一种电子设备。
技术介绍
现有带SSD缓存的分布式存储系统中，首先将数据写入SSD缓存中，并向客户返回写成功标志。随后根据数据的冷热情况，将数据下刷至性能较差的HDD中，同时客户读请求和大IO的写请求会写入到慢速存储介质HDD中。由于下刷动作会较大的占用HDD性能资源，下刷操作会对HDD上的客户端读写业务造成性能上的影响.现有技术中下刷方法仅根据水位来确定下刷速度的控制，当水位低的时候，使用慢速下刷，当水位高的时候，使用快速下刷。在使用现有下刷方法进行缓存数据的下刷时，由于下刷速度仅与水位相关，如果下刷压力较大时，下刷动作占用了较多硬件资源，会影响客户业务的稳定可靠；此外，在客户端没有业务时，如果下刷业务也较小，则HDD硬件将处于空闲状态，未能充分将硬件资源利用起来。因此，如何在两个存储介质之间进行缓存数据传输的过程中，充分利用硬件性能资源，提高存储系统的稳定性是本领域技术人员目前需要解决的技术问题。
技术实现思路
本申请的目的是提供一种缓存数据的传输方法、系统、一种计算机可读存储介质及一种电子设备，能够在两个存储介质之间进行缓存数据传输的过程中，充分利用硬件性能资源，提高存储系统的稳定性。为解决上述技术问题，本申请提供一种缓存数据的传输方法，该传输方法包括：获取第一存储介质的缓存水位和第二存储介质的业务压力系数；根据所述缓存水位和所述业务压力系数计算速率权重，并根据所述速率权重确定传输速率；将所述第一存储介质的缓存数据按照所述传输速率向所述第二存储介质传输。可选的，在获取第一存储介质的缓存水位和第二存储介质的业务压力系数之前，还包括：获取第一存储介质的缓存已用容量和缓存总容量，并根据所述缓存已用容量和所述缓存总容量计算所述缓存水位；获取第二存储介质的当前硬件压力和硬件标称压力，并根据所述当前硬件压力和所述硬件标称压力计算所述业务压力。可选的，所述第一存储介质的性能参数大于所述第二存储介质的性能参数；其中，所述性能参数包括IOPS和/或带宽。可选的，所述第一存储介质为固态硬盘。可选的，所述第二存储介质为机械硬盘。可选的，根据所述缓存水位和所述业务压力系数计算速率权重包括：根据第一公式计算所述缓存水位对应的第一参考权重；根据第二公式计算所述业务压力对应的第二参考权重；根据所述第一参考权重和第二参考权重利用第三公式计算所述速率权重；其中，所述第一公式为w1为所述第一参考权重，Rmin为最低控制水位，Rmax为最高控制水位；所述第二公式为w2为所述第二参考权重，Pm业务压力控制上限；P为所述业务压力；所述第三公式为Y为所述速率权重。可选的，根据所述速率权重确定传输速率包括：根据所述速率权重利用第四公式计算所述传输速率；其中，所述第四公式为V＝Y·Vmax，V为所述传输速率，Vmax为最大传输速率。本申请还提供了一种缓存数据的传输系统，该系统包括：信息获取模块，用于获取第一存储介质的缓存水位和第二存储介质的业务压力系数；速率确定模块，用于根据所述缓存水位和所述业务压力系数计算速率权重，并根据所述速率权重确定传输速率；传输模块，用于将所述第一存储介质的缓存数据按照所述传输速率向所述第二存储介质传输。可选的，还包括：水位计算单元，用于获取第一存储介质的缓存已用容量和缓存总容量，并根据所述缓存已用容量和所述缓存总容量计算所述缓存水位；压力计算单元，用于获取第二存储介质的当前硬件压力和硬件标称压力，并根据所述当前硬件压力和所述硬件标称压力计算所述业务压力。本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述缓存数据的传输方法执行的步骤。本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述缓存数据的传输方法执行的步骤。本专利技术提供了一种缓存数据的传输方法，包括获取第一存储介质的缓存水位和第二存储介质的业务压力系数；根据所述缓存水位和所述业务压力系数计算速率权重，并根据所述速率权重确定传输速率；将所述第一存储介质的缓存数据按照所述传输速率向所述第二存储介质传输。本申请结合第一存储介质的缓存水位和第二存储介质的业务压力系数来确定缓存数据对应的传输速率，由于将缓存水位与业务压力作为影响传输速率的影响参数，因此在传输缓存数据时能够充分利用第二存储介质的硬件性能资源。即，第二存储介质的业务压力系数会影响传输速率，避免了出现现有技术中传较大输速率所占用的硬件资源与第二存储介质的业务压力系数所需求的硬件资源之间的矛盾。因此本申请在两个存储介质之间进行缓存数据传输的过程中，充分利用硬件性能资源，提高存储系统的稳定性。本申请同时还提供了一种缓存数据的传输系统、一种计算机可读存储介质和一种电子设备，具有上述有益效果，在此不再赘述。附图说明为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例所提供的一种缓存数据的传输方法的流程图；图2为本申请实施例所提供的另一种缓存数据的传输方法的流程图；图3为缓存水位R与第一参考权重w1的函数关系图；图4为业务压力系数P与第二参考权重w2的函数关系图；图5为本申请实施例所提供的一种缓存数据的传输系统的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面请参见图1，图1为本申请实施例所提供的一种缓存数据的传输方法的流程图。具体步骤可以包括：S101：获取第一存储介质的缓存水位和第二存储介质的业务压力系数；其中，本实施例涉及两个存储介质之间的数据传输，具体的应用场景可以为：在带有SSD(SolidStateDrives，固态硬盘)缓存的分布式存储系统中，首先将数据写入SSD缓存中，并向客户返回写成功标志。随后根据数据的冷热情况，将数据下刷至性能较差的HDD(HardDiskDrive，硬盘驱动器，即机械硬盘)中，同时客户读请求和大IO的写请求会写入到慢速存储介质HDD中。本实施例提供的数据传输方案可以用于缓存下刷，即，从高速设备如SSD向低速设备如HDD写入数据的过程。下刷特指缓存数据从读写性能强的存储介质传输到读写性能较差的存储介质，因此当本实施例中的第一存储介质的速度比第二存储介质的速度快时(例如第一存储介质为SSD且第二存储介质为HDD)本实施例提到的缓存数据传输就相当于缓存数据下刷。优选的，所述第一存储介质的性能参数大于所述第二存储介质的性能参数；其中，所述性能参数包括IOPS和/或带宽。IOPS(Input/OutputPerSecond)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标本文档来自技高网...

【技术保护点】
1.一种缓存数据的传输方法，其特征在于，包括：获取第一存储介质的缓存水位和第二存储介质的业务压力系数；根据所述缓存水位和所述业务压力系数计算速率权重，并根据所述速率权重确定传输速率；将所述第一存储介质的缓存数据按照所述传输速率向所述第二存储介质传输。

【技术特征摘要】
1.一种缓存数据的传输方法，其特征在于，包括：获取第一存储介质的缓存水位和第二存储介质的业务压力系数；根据所述缓存水位和所述业务压力系数计算速率权重，并根据所述速率权重确定传输速率；将所述第一存储介质的缓存数据按照所述传输速率向所述第二存储介质传输。2.根据权利要求1所述传输方法，其特征在于，在获取第一存储介质的缓存水位和第二存储介质的业务压力系数之前，还包括：获取第一存储介质的缓存已用容量和缓存总容量，并根据所述缓存已用容量和所述缓存总容量计算所述缓存水位；获取第二存储介质的当前硬件压力和硬件标称压力，并根据所述当前硬件压力和所述硬件标称压力计算所述业务压力。3.根据权利要求1所述传输方法，其特征在于，所述第一存储介质的性能参数大于所述第二存储介质的性能参数；其中，所述性能参数包括IOPS和/或带宽。4.根据权利要求3所述传输方法，其特征在于，所述第一存储介质为固态硬盘，所述第二存储介质为机械硬盘。5.根据权利要求1所述传输方法，其特征在于，根据所述缓存水位和所述业务压力系数计算速率权重包括：根据第一公式计算所述缓存水位对应的第一参考权重；根据第二公式计算所述业务压力对应的第二参考权重；根据所述第一参考权重和第二参考权重利用第三公式计算所述速率权重；其中，所述第一公式为w1为所述第一参考权重，Rmin为最低控制水位，Rmax为最高控制水位；所述第二公式为w2为所述第二参考...

【专利技术属性】
技术研发人员：冯龙，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41