数据的过滤方法、装置及数据读取系统制造方法及图纸

本申请公开了一种数据的过滤方法、装置及数据读取系统，用于提高存储资源的处理效率。所述数据的过滤方法包括：为源卷创建目标快照；将所述目标快照与基准快照进行差异比对，得到比对结果，所述比对结果用于记录差异数据；接收主机发送的位图查询命令，所述位图查询命令用于查询所述目标快照的有效数据的位图；根据所述差异数据生成有效数据的位图，所述有效数据的位图记录有所述目标快照的有效数据的位置；将所述有效数据的位图返回给所述主机。

【技术实现步骤摘要】

本申请涉及存储领域，特别涉及一种数据的过滤方法、装置及数据读取系统。
技术介绍
逻辑单元号(Logical Unit Number，LUN)是在存储设备上可以被应用服务器识别的独立存储单元。一个LUN的空间来源于存储池，存储池的空间来源于组成硬盘域的若干块硬盘。站在应用服务器层面上，一个LUN可被视作类似一块可以使用的硬盘。Thick LUN(传统非精简LUN)和Thin LUN(精简LUN)分别是一种LUN的类型，支持虚拟资源分配，能够以较简便的方式进行创建、扩容和压缩操作。Thick LUN和Thin LUN均会产生无效数据空间，无效数据空间即LUN中值无效数据所占的逻辑空间，这一部分无效数据所占的逻辑空间没有分配对应的物理空间或者已经分配有对应的物理空间但值全部为零，读取无效数据空间时，通常会返回全零数据。如下是产生无效数据的两种具体情况：1、Thick LUN没有被主机I/O(Input/Output，输入/输出)写入的已分配空间。对于Thick LUN，其创建时所有LUN对应的物理空间均已分配，一般来说，分配后的物理空间会全部立即填充为零，这一部分填充为零的物理空间即属于无效数据空间。如果读取这部分已分配但是没有被主机I/O覆盖的LUN空间，会为零数据。2、Thin LUN的未分配空间。对于Thin LUN，创建时不会分配LUN大小对应的物理空间，而随着数据写入，再逐步按需增加分配物理空间。所以对于Thin LUN，有可能其部分逻辑空间没有分配物理空间。这一部分逻辑空间也属于无效数据空间。如果读取到这一部分空间，会返回全零数据。现有的快照中无效数据过滤流程关键是通过零数据识别技术来过滤快照中的无效数据。零数据识别主要有如下三种方法：方法一：逐字节检查：这种方法拿到待检查数据块之后，实时逐字节进 行零数据检查。如果符合条件，则判断为零数据。方法二：零数据标记：这种方法在每次写入数据时或者定期进行检查时，检查某数据块是否为全零，如果是，则将该数据块的标志位置为1，这样在判断对应数据块是否为全零数据时，直接查询对应标志位即可。方法三：Thin LUN标记：这种方法是对于Thin LUN，获取其已分配空间的位图，从而得知剩余的未分配空间，即为全零数据空间。对于比较常见的方法二和方法三中，均需要对数据进行标记，在过滤快照中的无效数据时通过查询标记识别对应的数据，然后将识别的数据中的无效数据过滤掉得到有效数据。因此，会额外增加系统资源的开销，影响存储资源的处理效率。
技术实现思路
本申请提供了一种数据的过滤方法、装置及数据读取系统，用于提高存储资源的处理效率。本申请第一方面，提供了一种数据的过滤方法，所述方法应用于存储设备，其中，所述存储设备包括源卷及所述源卷的基准快照，所述源卷用于为所述存储设备连接的主机提供数据存储，所述基准快照为所述源卷写入数据之前的快照，所述基准快照记录的为无效数据，所述方法包括：为所述源卷创建目标快照；将所述目标快照与所述基准快照进行差异比对，得到比对结果，所述比对结果用于记录差异数据；接收主机发送的位图查询命令，所述位图查询命令用于查询所述目标快照的有效数据的位图；根据所述差异数据生成有效数据的位图，所述有效数据的位图记录有所述目标快照的有效数据的位置；将所述有效数据的位图返回给所述主机。由于该有效数据的位图记录有该目标快照的有效数据的位置，因此所述主机可以根据所述有效数据的位图读取所述目标快照中的有效数据。从而避免通过添加标记来识别并过滤快照中的无效数据，进而减少了系统资源的开销，提高了存储资源的处理效率。结合本申请第一方面，在第一方面的第一种实现方式中，所述将所述目标快照与所述基准快照进行差异比对具体包括：将所述目标快照中的数据块与所述基准快照中的数据块进行逐块比对；当所述目标快照中的第一数据块与所述基准快照中的第一数据块相同时，确定所述目标快照中的第一数据块对应的数据为无效数据；当所述目标快照中的第一数据块与所述基准快照中的第一数据块不相同时，确定所述目标快照中的第一数据块对应的数据为差异数据。该实现方式通过将两个快照数据读取出来并逐个数据块进行比较，从中获取快照的差异数据块的位置。该实现方式对现有流程影响较小，而且比较结果准确。结合本申请第一方面，在第一方面的第二种实现方式中，所述将所述目标快照与所述基准快照进行差异比对具体包括：通过块修改跟踪CBT所使用的版本号分别标记所述目标快照与所述基准快照中的数据块；当所述目标快照中的第一数据块对应的CBT版本号与所述基准快照中的第一数据块对应的CBT版本号相同时，确定所述目标快照中的第一数据块对应的数据为无效数据；当所述目标快照中的第一数据块对应的CBT版本号与所述基准快照中的第一数据块对应的CBT版本号不相同时，确定所述目标快照中的第一数据块对应的数据为差异数据。该实现方式查找的时间很短。因为差异已经记录在CBT中，只需要少量时间遍历CBT表格提取差异。结合本申请第一方面，在第一方面的第三种实现方式中，所述将所述目标快照与所述基准快照进行差异比对具体包括：查找所述目标快照的私有映射表，并读取所述私有映射表中的地址记录；根据所述地址记录在所述目标快照的数据块中查找所述地址记录对应的数据，确定所述地址记录对应的数据为差异数据；查找所述目标快照和所述基准快照的共享映射表，并读取所述共享映射表中的地址记录；根据所述地址记录在所述目标快照的数据块中查找所述地址记录对应的数据，确定所述地址记录对应的数据为差异数据。该实现方式耗时较少，因为只需要查询已有的映射表记录即可；同时不需要增加太多工作，因为先有快照已经有映射表机制。结合本申请第一方面或第一方面的第一至第二任一种实现方式，在第一方面的第四种实现方式中，所述根据所述差异数据生成有效数据的位图具体 包括：根据所述位图查询命令确定所述目标快照中待查找数据的范围；根据所述差异数据确定所述待查找数据的范围所对应的差异数据块；根据所述差异数据块生成有效数据的位图。该实现方式中，差异数据块对应的数据即为有效数据。本申请第二方面，提供了一种数据的过滤装置，所述装置包括源卷及所述源卷的基准快照，所述源卷用于为所述存储设备连接的主机提供数据存储，所述基准快照为所述源卷写入数据之前的快照，所述基准快照记录的为无效数据，所述装置包括：快照管理模块，用于为所述源卷创建目标快照；快照比对模块，用于将所述目标快照与所述基准快照进行差异比对，得到比对结果，所述比对结果用于记录差异数据；所述快照管理模块，还用于接收主机发送的位图查询命令，所述位图查询命令用于查询所述目标快照的有效数据的位图；所述快照比对模块，还用于根据所述差异数据生成有效数据的位图，并将所述有效数据的位图返回给所述主机；所述有效数据的位图记录有所述目标快照的有效数据的位置。由于该有效数据的位图记录有该目标快照的有效数据的位置，因此所述主机可以根据所述有效数据的位图读取所述目标快照中的有效数据。从而避免通过添加标记来识别并过滤快照中的无效数据，进而减少了系统资源的开销，提高了存储资源的处理效率。结合本申请第二方面，在本申请第二方面的第一种实现方式中，所述快照比对模块用于将所述目标快照与所述基准快照进行差异比对，具体包括：所述快照本文档来自技高网...

【技术保护点】
一种数据的过滤方法，应用于存储设备，其特征在于，所述存储设备包括源卷及所述源卷的基准快照，所述源卷用于为所述存储设备连接的主机提供数据存储，所述基准快照为所述源卷写入数据之前的快照，所述基准快照记录的为无效数据，所述方法包括：为所述源卷创建目标快照；将所述目标快照与所述基准快照进行差异比对，得到比对结果，所述比对结果用于记录差异数据；接收主机发送的位图查询命令，所述位图查询命令用于查询所述目标快照的有效数据的位图；根据所述差异数据生成有效数据的位图，所述有效数据的位图记录有所述目标快照的有效数据的位置；将所述有效数据的位图返回给所述主机。

【技术特征摘要】
1.一种数据的过滤方法，应用于存储设备，其特征在于，所述存储设备包括源卷及所述源卷的基准快照，所述源卷用于为所述存储设备连接的主机提供数据存储，所述基准快照为所述源卷写入数据之前的快照，所述基准快照记录的为无效数据，所述方法包括：为所述源卷创建目标快照；将所述目标快照与所述基准快照进行差异比对，得到比对结果，所述比对结果用于记录差异数据；接收主机发送的位图查询命令，所述位图查询命令用于查询所述目标快照的有效数据的位图；根据所述差异数据生成有效数据的位图，所述有效数据的位图记录有所述目标快照的有效数据的位置；将所述有效数据的位图返回给所述主机。2.根据权利要求1所述的方法，其特征在于，所述将所述目标快照与所述基准快照进行差异比对具体包括：将所述目标快照中的数据块与所述基准快照中的数据块进行逐块比对；当所述目标快照中的第一数据块与所述基准快照中的第一数据块相同时，确定所述目标快照中的第一数据块对应的数据为无效数据；当所述目标快照中的第一数据块与所述基准快照中的第一数据块不相同时，确定所述目标快照中的第一数据块对应的数据为差异数据。3.根据权利要求1所述的方法，其特征在于，所述将所述目标快照与所述基准快照进行差异比对具体包括：通过块修改跟踪CBT所使用的版本号分别标记所述目标快照与所述基准快照中的数据块；当所述目标快照中的第一数据块对应的CBT版本号与所述基准快照中的第一数据块对应的CBT版本号相同时，确定所述目标快照中的第一数据块对应的数据为无效数据；当所述目标快照中的第一数据块对应的CBT版本号与所述基准快照中的第一数据块对应的CBT版本号不相同时，确定所述目标快照中的第一数据块对应的数据为差异数据。4.根据权利要求1所述的方法，其特征在于，所述将所述目标快照与所
\t述基准快照进行差异比对具体包括：查找所述目标快照的私有映射表，并读取所述私有映射表中的地址记录；根据所述地址记录在所述目标快照的数据块中查找所述地址记录对应的数据，确定所述地址记录对应的数据为差异数据；查找所述目标快照和所述基准快照的共享映射表，并读取所述共享映射表中的地址记录；根据所述地址记录在所述目标快照的数据块中查找所述地址记录对应的数据，确定所述地址记录对应的数据为差异数据。5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述差异数据生成有效数据的位图具体包括：根据所述位图查询命令确定所述目标快照中待查找数据的范围；根据所述差异数据确定所述待查找数据的范围所对应的差异数据块；根据所述差异数据块生成有效数据的位图。6.一种数据的过滤装置，其特征在于，所述装置包括源卷及所述源卷的基准快照，所述源卷用于为所述存储设备连接的主机提供数据存储，所述基准快照为所述源卷写入数据之前的快照，所述基准快照记录的为无效数据，所述装置包括：快照管理模块，用于为所述源卷创建目标快照；快照比对模块，用于将所述目标快照与所述基准快照进行差异比对，得到比对结果，所述比对结果用于记录差异数据；所述快照管理模块，还用于接收主机发送的位图查询命令，所述位图...

【专利技术属性】
技术研发人员：梁峰，周江鲤，曾强，胡伟，朱磊，龙红梅，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44