数据处理方法、系统、设备、存储系统及介质技术方案

本申请实施例提供数据处理方法、系统、设备、存储系统及介质。方法包括：接收待处理数据对应的逻辑地址；将逻辑地址作为第一访问单元存入第一存储池内；待第一存储池内存入的第一访问单元数量满足要求时，将多个第一访问单元组合成逻辑地址组，将该逻辑地址组作为第二访问单元存入第二存储池内，以基于第二访问单元对数据进行处理。由于第一存储池中的第一访问单元具有小访问单元和映射表，当进行数据写或读的时候，可以基于第一存储池实现，而第二存储池中的第二存储块则支持大的访问单元和大的映射表，避免基于第二存储池进行部分数据写或读，从而能够有效缓解写放大和服务质量不佳等问题。在满足数据存储需求的同时，能减轻存储系统硬件成本。储系统硬件成本。储系统硬件成本。

【技术实现步骤摘要】
数据处理方法、系统、设备、存储系统及介质


[0001]本申请涉及计算机
，尤其涉及数据处理方法、系统、设备、存储系统及介质。

技术介绍

[0002]随着云存储技术及需求的发展，固态硬盘(比如，SSD)的容量越来越大，对应的也就需要为固态硬盘配有更大的缓存来存储地址映射表。所使用的缓存越多成本越高，因此，需要想办法对缓存成本进行降低。
[0003]在现有技术中，可以通过在固态硬盘中引入大访问单元(Large Access Unit，Large AU)，进而能够减少闪存转换层(flash translation layer，FTL)管理的二级映射表(Logical Address to Physical address，L2P)的数量。然而，大访问单元进行读改写的时候，首先要读取整个大访问单元(Large AU)，与新传入的数据块进行合并，然后，在将其写回到闪存当中，若大访问单元中有有效数据，而新传入的数据块又小于一个大访问单元的空间，则会导致出现更大的写放大(Write Amplification，WA)。为了解决这些问题，现有技术通过部署顺序流来存储最后一个大访问单元的方式，利用缓存来存储。一般一个应用程序可能会并行打开数百个逻辑块，需要占用很多缓存空间来存储对应的顺序流；虽然采用大空间，但是，直接写入数据的时候，还是采用小访问单元大小数据写入方式，进而引起较大的写放大。

技术实现思路

[0004]为解决或改善现有技术中存在的问题，本申请各实施例提供了数据处理方法、系统、设备、存储系统及介质。
[0005]第一方面，在本申请的一个实施例中，提供了一种数据处理方法。该方法包括：
[0006]接收待处理数据对应的逻辑地址；
[0007]将所述逻辑地址作为第一访问单元存入第一存储池内；
[0008]待所述第一存储池内存入的第一访问单元数量满足要求时，将多个第一访问单元组合成逻辑地址组，将该逻辑地址组作为第二访问单元存入第二存储池内，以基于所述第二访问单元对数据进行处理。
[0009]第二方面，在本申请的一个实施例中，提供了一种数据处理系统。所述系统包括：
[0010]第一存储池，用于接收待处理数据对应的逻辑地址；将所述逻辑地址作为第一访问单元存入第一存储池内；待所述第一存储池内存入的第一访问单元数量满足要求时，将多个第一访问单元组合成逻辑地址组，将该逻辑地址组作为第二访问单元存入第二存储池内；
[0011]所述第二存储池，用于存储由所述多个第一访问单元中的逻辑地址组合得到的第二访问单元，并基于所述第二访问单元对数据进行处理。
[0012]第三方面，在本申请的一个实施例中，提供了一种电子设备，包括存储器和处理
器；
[0013]所述存储器包括：非固态硬盘和固态硬盘，所述非固态硬盘中存储有数据处理程序，所述固态硬盘用于存储待处理数据；
[0014]所述处理器与所述存储器耦合，用于执行所述输出处理程序，以用于：
[0015]接收主机发送的待处理数据对应的逻辑地址；
[0016]将所述逻辑地址作为第一访问单元存入第一存储池内；
[0017]待所述第一存储池内存入的第一访问单元数量满足要求时，将多个第一访问单元组合成逻辑地址组，将该逻辑地址组作为第二访问单元存入第二存储池内，以基于所述第二访问单元对数据进行处理。
[0018]第四方面，在本申请的一个实施例中，提供了一种基于固态硬盘的存储系统，包括：主机和挂载于所述主机上的固态硬盘；
[0019]所述固态硬盘，用于接收主机发送的待处理数据对应的逻辑地址；
[0020]将所述逻辑地址作为第一访问单元存入第一存储池内；
[0021]待所述第一存储池内存入的第一访问单元数量满足要求时，将多个第一访问单元组合成逻辑地址组，将该逻辑地址组作为第二访问单元存入第二存储池内，以基于所述第二访问单元对数据进行处理。
[0022]第五方面，在本申请的一个实施例中，提供了一种计算机可读介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现第一方面所述的方法
[0023]本申请实施例提供的技术方案，当主机有数据想要存入到固态硬盘的时候，需要建立用于管理这些待处理数据的逻辑地址与物理地址映射关系的映射表。在进行存储的时候，可以先将待处理数据的逻辑地址存储到第一存储池中的第一访问单元中；当第一存储池中的逻辑地址的数据量满足要求时(比如，满足第一存储池中的逻辑地址的数据量是第二存储池中第二访问单元的数据容量的整数倍的时候)，可以将多个第一访问单元中的逻辑地址转移存储到至少一个第二访问单元中。由于第二存储池中的闪存颗粒密度大于第一存储池中的闪存颗粒密度，换言之，第一存储池中的第一访问单元具有更小的访问单元和映射表，当进行数据写入或读取的时候，可以基于第一存储池实现，而第二存储池中的第二存储块则支持更大的访问单元和更大的映射表，尽可能避免基于第二存储池进行部分数据写入或者读取，从而能够有效缓解写放大和服务质量不佳等问题。进而，在保证数据存储需求的同时，能够减轻存储系统硬件成本。
附图说明
[0024]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本申请实施例提供的数据处理方法的流程示意图；
[0026]图2为本申请实施例提供的基于第一存储池进行存储的方法流程示意图；
[0027]图3为本申请实施例提供的第一存储池的结构示意图；
[0028]图4为本申请实施例提供的组合存储方法的流程示意图；
[0029]图5为本申请实施例提供的第二存储池的结构示意图；
[0030]图6为本申请实施例提供的一种数据处理系统的结构示意图；
[0031]图7为本申请实施例提供的一种电子设备的结构示意图；
[0032]图8为本申请实施例提供的一种基于固态硬盘的存储系统的结构示意图。
具体实施方式
[0033]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0034]在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：接收待处理数据对应的逻辑地址；将所述逻辑地址作为第一访问单元存入第一存储池内；待所述第一存储池内存入的第一访问单元数量满足要求时，将多个第一访问单元组合成逻辑地址组，将该逻辑地址组作为第二访问单元存入第二存储池内，以基于所述第二访问单元对数据进行处理。2.根据权利要求1所述的方法，所述将所述逻辑地址作为第一访问单元存入第一存储池内，包括：将所述待处理数据对应的逻辑地址存储到所述第一访问单元；确定所述逻辑地址的顺序流标识和所述第一访问单元的第一单元顺序；基于所述第一单元顺序，将多个所述第一访问单元组成第一逻辑块；将多个所述第一逻辑块存储到所述第一存储池内。3.根据权利要求2所述的方法，将所述待处理数据对应的逻辑地址存储到第一访问单元之后，还包括：确定所述待处理数据的物理地址与所述逻辑地址之间的映射关系；基于所述映射关系，生成所述第一访问单元对应的第一映射表。4.根据权利要求1至3中任一项所述的方法，待所述第一存储池内存入的第一访问单元数量满足要求时，将多个第一访问单元组合成逻辑地址组，将该逻辑地址组作为第二访问单元存入第二存储池内，以基于所述第二访问单元对数据进行处理，包括：若在所述第一存储池中逻辑地址的数据量大于第一阈值；或者，所述第一访问单元的数据量为一个所述第二访问单元的数据容量的整数倍；则将多个第一访问单元组合成逻辑地址组，将该逻辑地址组作为第二访问单元存入第二存储池内，以基于所述第二访问单元对数据进行处理。5.根据权利要求4所述的方法，将多个第一访问单元组合成逻辑地址组，将该逻辑地址组作为第二访问单元存入第二存储池内，包括：根据所述第一访问单元中所述逻辑地址的顺序流标识，将所述逻辑地址顺序组合成逻辑地址组，并将逻辑地址组作为第二访问单元；将由所述第二访问单元构成的第二逻辑块存入所述第二存储池内。6.根据权利要求5所述的方法，所述根据所述第一访问单元中所述逻辑地址的顺序流标识，将所述逻辑地址顺序组合成逻辑地址组，并将逻辑地址组作为第二访问单元，包括：若多个所述第一访问单元分别在多个第一逻辑块中存储，则分别获取多个所述第一逻辑单元中逻辑地址的顺序流标识；根据所述顺序流标识顺序，将所述逻辑地址按照第二访问单元的数据容量的大小进行分组组合；生成第二访问单元。7.根据权利要求5所述的方法，将由所述第二访问单元构成的第二逻辑块存入所述第二存储池内之后，还包括：确定用于组合所述第二访问单元的多个所述第一访问单元对应的多个第一映射表；将所述多个第一映射表...

【专利技术属性】
技术研发人员：许鹏，吴忠杰，杜宇，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：