本发明专利技术公开了一种数据存储方法及装置、电子设备、存储介质。其中，该方法包括：接收客户端发起的数据处理请求，其中，数据处理请求中至少携带有：待处理的业务数据；将业务数据存储至多个缓存块中，并对多个缓存块进行标识，得到多个标识缓存块；在多个标识缓存块的数量大于预设数量阈值的情况下，组合多个标识缓存块，得到回写请求；将回写请求写入至数据层中的各个分段数据空间中，并确定由标识缓存块指向分段数据空间的数据动态映射关系。本发明专利技术解决了在将数据由缓存层回写至数据层时，无法有效处理随机回写的请求的技术问题。效处理随机回写的请求的技术问题。效处理随机回写的请求的技术问题。
【技术实现步骤摘要】
数据存储方法及装置、电子设备、存储介质
[0001]本专利技术涉及数据存储
，具体而言，涉及一种数据存储方法及装置、电子设备、存储介质。
技术介绍
[0002]相关技术中，目前数据存储系统，一般会包括多种存储介质(例如，硬盘驱动器HDD和固态硬盘SATA SSD)或者混合介质作为高性价比解决方案，通常分为缓存层(或者缓存盘)和数据层(或者数据层)，缓存层一般包括高速磁盘(如NVMe SSD或者普通的SSD)，数据层会包括相对慢速的磁盘(例如，普通SSD，HDD或QLC SSD组成)，其中，缓存盘的容量小于数据盘容量。这样，来自客户端的请求先写入缓存盘，就可以马上返回完成，而后通过回写机制(writeback)将数据慢慢的写入数据盘中，由于回写的过程是在后台进行，因此他不会对前端IO进行干扰。
[0003]在通过数据存储系统进行数据存储、回写过程中，核心的是Cache算法，Cache算法中的回写机制的核心是缓存盘的Block和数据盘Block的映射关系。目前的机制通常是将缓存盘分割为若干个Block块(Block大小可以是4KB，8KB等)，然后我们也将数据盘分割为对应的若干Block块；当前端的请求要写入数据盘Block A的时候，Cache算法会选择一个SSD的某个Block A
’
，先把数据写入到Block A
’
中，然后把这个Block A
’
标记为脏数据(Dirty)，这时候就建立了缓存盘Block A
’
和数据盘Block A的映射关系。
[0004]上述的Cache算法的将高速缓存盘的Block和低速数据盘的Block一一对应。但是这个过程并没有对前端来的请求进行重新的规整，即如果前端IO是随机的，那么回写的过程也将会是随机的，随机回写对于数据盘的压力非常大，如果数据盘由HDD或者QLC SSD组成，那么数据盘的压力会很大。
[0005]针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
[0006]本专利技术实施例提供了一种数据存储方法及装置、电子设备、存储介质，以至少解决在将数据由缓存层回写至数据层时，无法有效处理随机回写的请求的技术问题。
[0007]根据本专利技术实施例的一个方面，提供了一种数据存储方法，应用于数据存储系统中的缓存层，所述缓存层所对应的缓存空间中包括多个预先划分的缓存块，包括：接收客户端发起的数据处理请求，其中，所述数据处理请求中至少携带有：待处理的业务数据；将所述业务数据存储至多个缓存块中，并对所述多个缓存块进行标识，得到多个标识缓存块；在所述多个标识缓存块的数量大于预设数量阈值的情况下，组合所述多个标识缓存块，得到回写请求；将所述回写请求写入至数据层中的各个分段数据空间中，并确定由所述标识缓存块指向所述分段数据空间的数据动态映射关系。
[0008]可选地，组合所述多个标识缓存块，得到回写请求的步骤，包括：获取每个所述标识缓存块所属的缓存区间，并确定所述缓存区间的区间起始标识；基于所述区间起始标识，
合并所述所述缓存区间，得到所述回写请求。
[0009]可选地，在将所述回写请求写入至数据层中的各个分段数据空间中之后，还包括：获取所述缓存区间的区间信息和预先存储的所述业务数据；对所述业务数据进行预加工处理，得到业务处理数据和预加工信息；将所述业务处理数据确定为分段数据，将所述预加工信息确定为分段头信息；将所述分段头信息和所述分段数据组合为分段记录信息；将所述分段记录信息追加写入所述分段数据空间。
[0010]可选地，确定由所述标识缓存块指向所述分段数据空间的数据动态映射关系的步骤，包括：基于所述标识缓存块所属的缓存区间的区间起始标识和所述缓存区间的区间大小，确定映射起始位；获取所述分段数据空间在数据层中的整体数据空间中的分段起始位；基于所述分段起始位，确定所述标识缓存块所属的缓存区间在所述分段数据空间中的分段空间起始位和分段空间大小；建立所述映射起始位指向所述分段空间起始位的数据动态映射关系。
[0011]可选地，在确定由所述标识缓存块指向所述分段数据空间的数据动态映射关系之后，还包括：在产生新回写请求的情况下，为所述新回写请求分配有效的分段数据空间；将所述新回写请求写入至已分配的所述有效的分段数据空间。
[0012]可选地，还包括：在产生新回写请求的情况下，判断所述新回写请求所使用的缓存区间是否被重复使用；在所述新回写请求所使用的缓存区间被重复使用的情况下，对重复使用的所述缓存区间在历史过程中所指向的所述分段数据空间进行回收处理，并对回收的所述分段数据空间进行无效标记。
[0013]可选地，对重复使用的所述缓存区间在历史过程中所指向的所述分段数据空间进行回收处理的步骤，包括：在存在多个待回收的所述分段数据空间的情况下，分析所述分段数据空间的空间使用率和内部存储数据量；按照所述空间使用率和所述内部存储数据量的排序顺序，对多个待回收的所述分段数据空间分别进行回收处理。
[0014]根据本专利技术实施例的另一方面，还提供了一种数据存储装置，应用于数据存储系统中的缓存层，所述缓存层所对应的缓存空间中包括多个预先划分的缓存块，包括：接收单元，用于接收客户端发起的数据处理请求，其中，所述数据处理请求中至少携带有：待处理的业务数据；存储单元，用于将所述业务数据存储至多个缓存块中，并对所述多个缓存块进行标识，得到多个标识缓存块；组合单元，用于在所述多个标识缓存块的数量大于预设数量阈值的情况下，组合所述多个标识缓存块，得到回写请求；写入单元，用于将所述回写请求写入至数据层中的各个分段数据空间中，并确定由所述标识缓存块指向所述分段数据空间的数据动态映射关系。
[0015]可选地，所述组合单元包括：第一获取模块，用于获取每个所述标识缓存块所属的缓存区间，并确定所述缓存区间的区间起始标识；第一合并模块，用于基于所述区间起始标识，合并所述所述缓存区间，得到所述回写请求。
[0016]可选地，数据存储装置还包括：第二获取模块，用于在将所述回写请求写入至数据层中的各个分段数据空间中之后，获取所述缓存区间的区间信息和预先存储的所述业务数据；预加工模块，用于对所述业务数据进行预加工处理，得到业务处理数据和预加工信息；第一确定模块，用于将所述业务处理数据确定为分段数据，将所述预加工信息确定为分段头信息；第二合并模块，用于将所述分段头信息和所述分段数据组合为分段记录信息；第一
写入模块，用于将所述分段记录信息追加写入所述分段数据空间。
[0017]可选地，所述写入单元包括：第一确定模块，用于基于所述标识缓存块所属的缓存区间的区间起始标识和所述缓存区间的区间大小，确定映射起始位；第三获取模块，用于获取所述分段数据空间在数据层中的整体数据空间中的分段起始位；基于所述分段起始位，确定所述标识缓存块所属的缓存区间在所述分段数据空间中的分段空间起始位和分段空间大小；第一建立模块，用于建立所述映射起始位指向所述分段空间起始位的数据动态映射关系。...
【技术保护点】
【技术特征摘要】
1.一种数据存储方法，其特征在于，应用于数据存储系统中的缓存层，所述缓存层所对应的缓存空间中包括多个预先划分的缓存块，包括：接收客户端发起的数据处理请求，其中，所述数据处理请求中至少携带有：待处理的业务数据；将所述业务数据存储至多个缓存块中，并对所述多个缓存块进行标识，得到多个标识缓存块；在所述多个标识缓存块的数量大于预设数量阈值的情况下，组合所述多个标识缓存块，得到回写请求；将所述回写请求写入至数据层中的各个分段数据空间中，并确定由所述标识缓存块指向所述分段数据空间的数据动态映射关系。2.根据权利要求1所述的方法，其特征在于，组合所述多个标识缓存块，得到回写请求的步骤，包括：获取每个所述标识缓存块所属的缓存区间，并确定所述缓存区间的区间起始标识；基于所述区间起始标识，合并所述所述缓存区间，得到所述回写请求。3.根据权利要求2所述的方法，其特征在于，在将所述回写请求写入至数据层中的各个分段数据空间中之后，还包括：获取所述缓存区间的区间信息和预先存储的所述业务数据；对所述业务数据进行预加工处理，得到业务处理数据和预加工信息；将所述业务处理数据确定为分段数据，将所述预加工信息确定为分段头信息；将所述分段头信息和所述分段数据组合为分段记录信息；将所述分段记录信息追加写入所述分段数据空间。4.根据权利要求2所述的方法，其特征在于，确定由所述标识缓存块指向所述分段数据空间的数据动态映射关系的步骤，包括：基于所述标识缓存块所属的缓存区间的区间起始标识和所述缓存区间的区间大小，确定映射起始位；获取所述分段数据空间在数据层中的整体数据空间中的分段起始位；基于所述分段起始位，确定所述标识缓存块所属的缓存区间在所述分段数据空间中的分段空间起始位和分段空间大小；建立所述映射起始位指向所述分段空间起始位的数据动态映射关系。5.根据权利要求2所述的方法，其特征在于，在确定由所述标识缓存块指向所述分段数据空间的数据动态映射关系之后，还包括：在产生新回写请求的情况...
【专利技术属性】
技术研发人员：池信泽，吴素宏，张旭明，王豪迈，胥昕，
申请(专利权)人：北京星辰天合科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。