一种数据处理方法及设备技术

本申请实施例提供一种数据处理方法及设备，涉及存储技术领域，根据存储设备不同卷分别对应的读请求和/或写请求的特征，采用个性化的刷盘方式对不同卷进行刷盘，从而提高存储设备的刷盘性能。具体方案为：存储设备接收主机发送的多个操作请求，操作请求包括读请求和/或写请求，将多个操作请求存储在缓存中，获取模型特征，该模型特征用于表示缓存中与非易失性存储介质的第一卷对应的多个操作请求的特征，根据模型特征对第一卷进行刷盘，以将缓存中第一卷对应的脏数据写入第一卷中。本申请实施例用于数据处理。

A Data Processing Method and Equipment

The embodiment of this application provides a data processing method and device, which relates to the storage technology field. According to the characteristics of the corresponding read request and/or write request for different volumes of storage device, the individual brush disc mode is adopted to brush different volumes, so as to improve the brush disc performance of storage device. The specific scheme is as follows: the storage device receives multiple operation requests sent by the host, including read and/or write requests, stores multiple operation requests in the cache, and obtains model features. The model features are used to represent the characteristics of multiple operation requests corresponding to the first volume of the non-volatile storage medium in the cache, and brushes the first volume according to the model characteristics to slow down the process. The dirty data corresponding to the first volume in storage is written into the first volume. The embodiment of this application is used for data processing.

【技术实现步骤摘要】
一种数据处理方法及设备
本申请实施例涉及存储
，尤其涉及一种数据处理方法及设备。
技术介绍
由于存储设备中缓存的读写速率通常比物理磁盘等非易失性存储介质的读写速率高，即非易失性存储介质与缓存的读写速度不能匹配，因而存储设备通常采用一种回写的缓存技术，将从主机接收到的待写入数据先暂存到缓存，并向主机发送写请求已完成信号，而把缓存中的数据写入非易失性存储介质上的操作将会延迟执行。在现有技术中，参见图1，存储设备根据缓存的水位，即缓存中的脏数据占缓存空间的百分比进行刷盘。例如，当水位大于或者等于预设水位时，根据最近最久未使用(leastrecentlyused，LRU)算法或排序算法等从缓存中选择预设数量的数据，并采用轮询方式对非易失性存储介质中的每个卷进行刷盘。其中，当轮询到非易失性存储介质中的某一个卷时，根据该卷对应的预设的并发阈值，将所选择的脏数据中与该卷对应的脏数据刷到非易失性存储介质的该卷中。即存储设备采用公平的刷盘方式对非易失性存储介质中的每个卷进行刷盘。由于每个卷对应的读请求或写请求的业务类型不同，因而当采用现有技术中的公平刷盘方式时，对于刷盘需求较大的卷，其刷盘性能不能满足刷盘需求，而对于刷盘需求较小的卷，其刷盘性能无法得到充分地利用，从而无法合理地利用存储设备的刷盘性能。
技术实现思路
本申请实施例提供一种数据处理方法及设备，能够根据存储设备不同卷分别对应的读请求和/或写请求的特征，采用个性化的刷盘方式对不同卷进行刷盘，从而提高存储设备的刷盘性能。为达到上述目的，本申请实施例采用如下技术方案：第一方面，本申请实施例提供一种数据处理方法，应用于存储设备，存储设备包括缓存和非易失性存储介质，非易失性存储介质包括多个卷，该方法包括：存储设备接收主机发送的多个操作请求，多个操作请求包括多个读请求和/或写请求。而后，存储设备将多个操作请求存储在缓存中。之后，存储设备获取模型特征，模型特征用于表示缓存中与非易失性存储介质的第一卷对应的多个操作请求的特征。而后，存储设备根据模型特征对第一卷进行刷盘，以将缓存中第一卷对应的脏数据写入第一卷中。这样，存储设备可以根据非易失性存储介质中不同卷分别对应的读请求和/或写请求的特征，分别对不同卷进行刷盘，从而可以对每个卷采用与该卷的业务类型相匹配的个性化刷盘策略进行刷盘，因而可以充分发挥每个卷的刷盘性能，提高整个存储设备的刷盘特性。结合第一方面，在一种可能的实现方式中，多个操作请求包括多个写请求，模型特征包括写请求随机度，写请求随机度用于表示第一卷对应的写请求的待操作位置的随机程度。存储设备根据模型特征对第一卷进行刷盘包括：当写请求随机度小于第一预设值时，存储设备根据第一刷盘并发阈值对第一卷进行刷盘。当写请求随机度大于或者等于第一预设值时，存储设备根据第二刷盘并发阈值对第一卷进行刷盘。其中，第一刷盘并发阈值大于第二刷盘并发阈值。这样，存储设备可以根据每个卷分别对应的写请求随机度，获知每个卷的业务类型和存储内容的特性，从而采用个性化的方式对不同卷进行刷盘，以合理利用每个卷的刷盘性能，从而提高整个存储设备的刷盘性能。结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，写请求随机度为多个写请求对应的脏数据所映射的块chunk的数量与页page的数量的比值。这样，存储设备可以根据写请求对应的脏数据所映射的块chunk的数量与页page的数量的比值的大小，确定写请求随机度的大小。结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，多个操作请求还包括多个读请求，模型特征还包括读请求比例，读请求比例为读请求的数量与操作请求的数量的比值。存储设备根据第一刷盘并发阈值对第一卷进行刷盘包括：当读请求比例小于第二预设值时，存储设备根据第一刷盘并发阈值对第一卷进行刷盘。当读请求比例大于或者等于第二预设值时，在脏数据聚合满一个条带时，存储设备根据第一刷盘并发阈值对第一卷进行刷盘。存储设备根据第二刷盘并发阈值对第一卷进行刷盘包括：当读请求比例大于或者等于第二预设值时，若第一写请求对应的待刷盘的块chunk与第一读请求对应的待读取的块chunk为同一块chunk，则存储设备优先执行第一读请求对应的读操作。在读操作执行完成后，存储设备根据第二刷盘并发阈值对第一卷进行刷盘，当读请求比例小于第二预设值时，存储设备根据第二刷盘并发阈值对第一卷进行刷盘。这样，存储设备还可以根据每个卷分别对应的读请求比例，获知每个卷的业务类型和存储内容的特性，从而采用个性化的方式对不同卷进行刷盘，以合理利用每个卷的刷盘性能，从而提高整个存储设备的刷盘性能。结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，存储设备根据模型特征对第一卷进行刷盘包括：当缓存中第一卷对应的脏数据的数据量与第一卷对应的脏数据在缓存中对应的预设阈值的比值大于或者等于第三预设值时，存储设备根据模型特征对第一卷进行刷盘。这样，当缓存中第一卷对应的脏数据的数据量与第一卷对应的脏数据在缓存中对应的预设阈值的比值大于或者等于第三预设值时，可以说明缓存中第一卷对应的脏数据的数据量较大，占用的缓存空间较多，因而需要刷到非易失性存储介质的第一卷上，从而释放缓存空间以存储从主机新接收的操作请求和待操作数据。结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，存储设备根据模型特征对第一卷进行刷盘包括：存储设备根据缓存中第一卷对应的脏数据的数据量与第一卷对应的脏数据在缓存中对应的预设阈值的比值与第三预设值，确定第一卷对应的待刷盘数据量。存储设备根据待刷盘数据量和模型特征对第一卷进行刷盘。若对第一卷进行刷盘的数据量大于或者等于待刷盘数据量，且对第一卷进行刷盘的第一时长小于预设时长，则存储设备在第二时长内根据第二卷对应的多个操作请求的模型特征对第二卷进行刷盘，第二时长为预设时长与第一时长的差值。这样，可以使得存储设备在每次刷盘时，充分利用预设时长对应的时间段对存储设备中的至少一个卷中的脏数据进行刷盘，从而提供存储设备的整体刷盘性能。结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，第一卷对应的待刷盘数据量可以为第一卷对应的脏数据的数据量减去缓存空间大小与第三预设值的乘积后得到的差值。这样，对于存储设备中的每个卷，存储设备都可以采用与第一卷类似的方式，准确计算该卷对应的待刷盘数据量，从而根据该卷对应的待刷盘数据量，对该卷进行个性化刷盘。结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，操作请求中携带有待操作地址，在存储设备获取存储设备的非易失性存储介质的第一卷对应的多个操作请求的模型特征之前，该方法还包括：存储设备根据待操作地址确定操作请求为第一卷对应的操作请求。采用与第一卷类似的方法，存储设备可以根据待操作地址确定每个卷分别对应的操作请求。第二方面，本申请实施例提供一种存储设备，包括：缓存、非易失性存储介质、接收单元、获取单元和刷盘单元，非易失性存储介质包括多个卷。其中，接收单元用于，接收主机发送的多个操作请求，多个操作请求包括多个读请求和/或写请求。缓存用于，将多个操作请求存储在缓存中。获取单元用于，获取模型特征，模型特征用于表示缓存中与非易失性存储介质的第一卷对应的多个操作请求的特征。刷盘单元用于，根据本文档来自技高网...

【技术保护点】
1.一种数据处理方法，应用于存储设备，所述存储设备包括缓存和非易失性存储介质，所述非易失性存储介质包括多个卷，其特征在于，所述方法包括：接收主机发送的多个操作请求，所述多个操作请求包括多个读请求和/或写请求；将所述多个操作请求存储在所述缓存中；获取模型特征，所述模型特征用于表示所述缓存中与所述非易失性存储介质的第一卷对应的多个操作请求的特征；根据所述模型特征对所述第一卷进行刷盘，以将所述缓存中所述第一卷对应的脏数据写入所述第一卷中。

【技术特征摘要】
1.一种数据处理方法，应用于存储设备，所述存储设备包括缓存和非易失性存储介质，所述非易失性存储介质包括多个卷，其特征在于，所述方法包括：接收主机发送的多个操作请求，所述多个操作请求包括多个读请求和/或写请求；将所述多个操作请求存储在所述缓存中；获取模型特征，所述模型特征用于表示所述缓存中与所述非易失性存储介质的第一卷对应的多个操作请求的特征；根据所述模型特征对所述第一卷进行刷盘，以将所述缓存中所述第一卷对应的脏数据写入所述第一卷中。2.根据权利要求1所述的方法，其特征在于，所述多个操作请求包括多个写请求，所述模型特征包括写请求随机度，所述写请求随机度用于表示所述第一卷对应的写请求的待操作位置的随机程度，所述根据所述模型特征对所述第一卷进行刷盘包括：当所述写请求随机度小于所述第一预设值时，根据第一刷盘并发阈值对所述第一卷进行刷盘；当所述写请求随机度大于或者等于第一预设值时，根据第二刷盘并发阈值对所述第一卷进行刷盘；其中，所述第一刷盘并发阈值大于所述第二刷盘并发阈值。3.根据权利要求2所述的方法，其特征在于，所述写请求随机度为所述多个写请求对应的脏数据所映射的块chunk的数量与页page的数量的比值。4.根据权利要求2或3所述的方法，其特征在于，所述多个操作请求还包括多个读请求，所述模型特征还包括读请求比例，所述读请求比例为所述读请求的数量与所述操作请求的数量的比值，所述根据第一刷盘并发阈值对所述第一卷进行刷盘包括：当所述读请求比例小于第二预设值时，根据所述第一刷盘并发阈值对所述第一卷进行刷盘；当所述读请求比例大于或者等于所述第二预设值时，在所述脏数据聚合满一个条带时，根据所述第一刷盘并发阈值对所述第一卷进行刷盘。5.根据权利要求2或3所述的方法，其特征在于，所述多个操作请求还包括多个读请求，所述模型特征还包括读请求比例，所述读请求比例为所述读请求的数量与所述操作请求的数量的比值，所述根据第二刷盘并发阈值对所述第一卷进行刷盘包括：当所述读请求比例大于或者等于第二预设值时，若第一写请求对应的待刷盘的块chunk与第一读请求对应的待读取的块chunk为同一块chunk，则优先执行第一读请求对应的读操作；在所述读操作执行完成后，根据所述第二刷盘并发阈值对所述第一卷进行刷盘；当所述读请求比例小于所述第二预设值时，根据所述第二刷盘并发阈值对所述第一卷进行刷盘。6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述模型特征对所述第一卷进行刷盘包括：当所述缓存中所述第一卷对应的脏数据的数据量与所述第一卷对应的脏数据在所述缓存中对应的预设阈值的比值大于或者等于第三预设值时，根据所述模型特征对所述第一卷进行刷盘。7.根据权利要求6所述的方法，其特征在于，所述根据所述模型特征对所述第一卷进行刷盘包括：根据所述缓存中所述第一卷对应的脏数据的数据量与所述第一卷对应的脏数据在所述缓存中对应的预设阈值的比值与所述第三预设值，确定所述第一卷对应的待刷盘数据量；根据所述待刷盘数据量和所述模型特征对所述第一卷进行刷盘；若对所述第一卷进行刷盘的数据量大于或者等于所述待刷盘数据量，且对所述第一卷进行刷盘的第一时长小于预设时长，则在第二时长内根据第二卷对应的多个操作请求的模型特征对所述第二卷进行刷盘，所述第二时长为所述预设时长与所述第一时长的差值；若对所述第一卷进行刷盘的数据量小于所述待刷盘数据量，且对所述第一卷进行刷盘的所述第一时长大于或者等于所述预设时长，则停止对所述第一卷进行刷盘。8.根据权利要求1-7任一项所述的方法，其特征在于，所述操作请求中携带有待操作地址，在所述获取模型特征之前，所述方法还包括：根据所述待操作地址确定所述操作请求为所述第一卷对应的操作请求。9.一种存储设备，其特征在于，包括：缓存、非易失性存储介质、接收单元、获取单元和刷盘单元，所述非易失性存储介质包括多个卷；所...

【专利技术属性】
技术研发人员：李劲松，谭春华，
申请(专利权)人：成都华为技术有限公司，
类型：发明
国别省市：四川,51