一种数据处理方法、装置、设备及介质制造方法及图纸

本申请涉及数据存储技术领域，尤其涉及一种数据处理方法、装置、设备及介质。可以用于数据存储系统等方面，解决数据处理效率较低的问题。该方法至少包括：获取第一目标数据；基于第一目标数据的数据长度，在存储空间的数据子空间中，为第一目标数据分配第一数据块，并基于第一数据块的大小，为第一数据块分配第一数据区域，获得第一数据块的数据块属性信息以及第一数据区域的区域属性信息；基于数据块属性信息和区域属性信息，分别在存储空间的文件子空间包含的多个备选存储目录中，确定相应的第一存储目录，分别将数据块属性信息和区域属性信息，存入相应的第一存储目录下；将第一目标数据写入第一数据块，并将第一数据块存入第一数据区域。据区域。据区域。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及介质


[0001]本申请涉及数据存储
，尤其涉及一种数据处理方法、装置、设备及介质。

技术介绍

[0002]随着科技的不断发展，越来越多的设备可以将叠瓦式磁记录(Shingled Magnetic Recording，SMR)应用到分布式对象存储系统中，这样应用能够在获取更大的储存容量的前提下，降低用户成本。
[0003]相关技术中，由于SMR盘采用了磁道重叠技术，在SMR盘写入目标数据时，为了保证相邻磁道上数据的完整性，需要在写之前将相邻磁道的数据读出来，与目标数据一起重新组织后再依次写入，使得写入数据的过程较为复杂，导致数据写入效率较低；在从SMR盘读取目标数据时，由于SMR盘中单盘存储数据块的数量多，各数据均存储在同一个目录下，那么在从该目录中读取目标数据时，可能需要遍历所有数据才可以读取出目标数据，导致数据读取访问效率较低。
[0004]可见，在将SMR盘应用到分布式对象存储系统的过程中，处理数据的效率较低。

技术实现思路

[0005]本申请实施例提供了一种数据处理方法、装置、设备及介质，用于解决叠瓦式磁记录盘数据处理操作效率较低的问题。
[0006]第一方面，提供一种数据处理的方法，包括：
[0007]响应于针对第一目标数据的写入操作，获取所述第一目标数据；
[0008]基于所述第一目标数据的数据长度，在存储空间的数据子空间中，为所述第一目标数据分配第一数据块，并基于所述第一数据块的大小，为所述第一数据块分配第一数据区域，分别获得所述第一数据块的数据块属性信息，以及所述第一数据区域的区域属性信息；
[0009]基于所述数据块属性信息和所述区域属性信息，分别在所述存储空间的文件子空间包含的多个备选存储目录中，确定相应的第一存储目录，并分别将所述数据块属性信息和所述区域属性信息，存入相应的第一存储目录下；
[0010]基于所述数据块属性信息和所述区域属性信息，将所述第一目标数据写入所述第一数据块，并将所述第一数据块存入所述第一数据区域。
[0011]可选的，所述数据块属性信息包括所述第一数据块的数据块编号，所述数据块编号用于唯一表征所述第一数据块，包括：
[0012]按照所述多个备选存储目录的目录数量，对所述数据块编号进行数据转换处理，获得数据块存储位置；
[0013]基于所述数据块存储位置，在所述多个备选存储目录中，确定所述数据块属性信息的第一存储目录；
[0014]基于所述区域属性信息和所述多个备选存储目录，确定所述区域属性信息的第一
存储目录。
[0015]对所述数据块编号进行数据转换处理，获得数据块存储位置的处理，是实现将数据块属性信息分散存储在多个目录中，可以防止单个目录存储文件过多，导致属性信息访问速度较慢的问题。
[0016]可选的，所述文件子空间包含区域指针，所述区域指针用于指示待存入的区域属性信息的区域存储位置，包括：
[0017]确定所述文件子空间中的区域指针指示的区域存储位置为一个备选存储目录时，将所述一个备选存储目录作为所述第一存储目录；
[0018]确定所述区域指针指示的区域存储位置为所述多个备选存储目录以外的位置时，在所述区域存储位置创建所述第一存储目录。
[0019]可选的，在所述基于所述数据块属性信息和所述区域属性信息，将所述第一目标数据写入所述第一数据块，并将所述第一数据块存入所述第一数据区域之后，还包括：
[0020]响应于针对第二目标数据的检索操作，获得所述第二目标数据的标识信息；
[0021]基于所述第二目标数据的标识信息，在所述文件子空间中，分别确定第二数据块和第二数据区域各自对应的第二存储目录，并从获得的第二存储目录中，分别读取所述第二数据块的数据块属性信息和第二数据区域的数据区域属性信息，其中，所述第二数据块用于存储所述第二目标数据，所述第二数据区域用于存储所述第二数据块；
[0022]基于所述第二数据块的数据块属性信息和第二数据区域的数据区域属性信息，在所述数据子空间中，读取所述第二目标数据。
[0023]可选的，所述标识信息包括所述第二数据块的数据块编号，所述数据块编号用于唯一表征所述第二数据块，包括：
[0024]按照所述文件子空间包含的备选存储目录的目录数量，对所述数据块编号进行数据转换处理，获得所述第二数据块的第二存储目录；
[0025]从所述第二数据块的第二存储目录中，读取所述第二数据块的数据块属性信息；
[0026]基于所述数据块属性信息，确定所述第二数据区域的第二存储目录；
[0027]从所述第二数据区域的第二存储目录中，读取所述第二数据区域的区域属性信息。
[0028]可选的，所述标识信息包括第二数据区域的区域偏移位置，所述区域偏移位置表征第二数据区域的区域属性信息的存储位置相较于区域逻辑地址的偏移量，所述区域逻辑地址为所述数据子空间的起始地址，包括：
[0029]按照所述文件子空间包含的备选存储目录的目录数量，对所述区域偏移位置进行取整处理，获得所述第二数据区域的第二存储目录；
[0030]从所述第二数据区域的第二存储目录中，读取所述第二数据区域的区域属性信息；
[0031]基于所述区域属性信息，确定所述第二数据块的第二存储目录；
[0032]从所述第二数据块的第二存储目录中，读取所述第二数据块的数据块属性信息。
[0033]可选的，区域属性信息包括所述数据子空间中，相应的数据区域中存储的各数据块的数据块描述信息之后，还包括：
[0034]响应于针对第三目标数据的删除操作，获得所述第三数据块的数据块编号，在所
述文件子空间中，确定第三数据块和第三数据区域各自对应的第三存储目录，其中，所述第三数据块用于存储所述第三目标数据，所述第三数据区域用于存储所述第三数据块；
[0035]从所述第三数据块对应的第三存储目录中，删除所述第三数据块的数据块属性信息；
[0036]在所述第三数据区域对应的第三存储目录中，删除所述第三数据区域的区域属性信息包含的所述第三数据块的数据块描述信息。
[0037]第二方面，提供一种数据处理的装置，包括：
[0038]获取模块：用于响应于针对第一目标数据的写入操作，获取所述第一目标数据；
[0039]处理模块：用于基于所述第一目标数据的数据长度，在存储空间的数据子空间中，为所述第一目标数据分配第一数据块，并为所述第一数据块分配第一数据区域，分别获得所述第一数据块的数据块属性信息，以及所述第一数据区域的区域属性信息；
[0040]所述处理模块还用于：基于所述数据块属性信息和所述区域属性信息，分别在所述存储空间的文件子空间包含的多个备选存储目录中，确定相应的第一存储目录，并分别将所述数据块属性信息和所述区域属性信息，存入相应的第一存储目录下；
[0041]所述处理模块还用于：基于所述数据块属性信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：响应于针对第一目标数据的写入操作，获取所述第一目标数据；基于所述第一目标数据的数据长度，在存储空间的数据子空间中，为所述第一目标数据分配第一数据块，并基于所述第一数据块的大小，为所述第一数据块分配第一数据区域，分别获得所述第一数据块的数据块属性信息，以及所述第一数据区域的区域属性信息；基于所述数据块属性信息和所述区域属性信息，分别在所述存储空间的文件子空间包含的多个备选存储目录中，确定相应的第一存储目录，并分别将所述数据块属性信息和所述区域属性信息，存入相应的第一存储目录下；基于所述数据块属性信息和所述区域属性信息，将所述第一目标数据写入所述第一数据块，并将所述第一数据块存入所述第一数据区域。2.根据权利要求1所述的方法，其特征在于，所述数据块属性信息包括所述第一数据块的数据块编号，所述数据块编号用于唯一表征所述第一数据块；则所述基于所述数据块属性信息和所述区域属性信息，分别在所述存储空间的文件子空间包含的多个备选存储目录中，确定相应的第一存储目录，包括：按照所述多个备选存储目录的目录数量，对所述数据块编号进行数据转换处理，获得数据块存储位置；基于所述数据块存储位置，在所述多个备选存储目录中，确定所述数据块属性信息的第一存储目录；基于所述区域属性信息和所述多个备选存储目录，确定所述区域属性信息的第一存储目录。3.根据权利要求2所述的方法，其特征在于，所述文件子空间包含区域指针，所述区域指针用于指示待存入的区域属性信息的区域存储位置；则所述基于所述区域属性信息和所述多个备选存储目录，确定所述区域属性信息的第一存储目录，包括：确定所述文件子空间中的区域指针指示的区域存储位置为一个备选存储目录时，将所述一个备选存储目录作为所述第一存储目录；确定所述区域指针指示的区域存储位置为所述多个备选存储目录以外的位置时，在所述区域存储位置创建所述第一存储目录。4.根据权利要求1～3任一项所述的方法，其特征在于，在所述基于所述数据块属性信息和所述区域属性信息，将所述第一目标数据写入所述第一数据块，并将所述第一数据块存入所述第一数据区域之后，还包括：响应于针对第二目标数据的检索操作，获得所述第二目标数据的标识信息；基于所述第二目标数据的标识信息，在所述文件子空间中，分别确定第二数据块和第二数据区域各自对应的第二存储目录，并从获得的第二存储目录中，分别读取所述第二数据块的数据块属性信息和第二数据区域的数据区域属性信息，其中，所述第二数据块用于存储所述第二目标数据，所述第二数据区域用于存储所述第二数据块；基于所述第二数据块的数据块属性信息和第二数据区域的数据区域属性信息，在所述数据子空间中，读取所述第二目标数据。5.根据权利要求4所述的方法，其特征在于，所述标识信息包括所述第二数据块的数据
块编号，所述数据块编号用于唯一表征所述第二数据块；则所述基于所述标识信息，在所述文件子空间中，分别确定所述第二数据块和第二数据区域各自对应的第二存储目录，并从获得的第二存储目录中，分别读取所述第二数据块的数据块属性信息和第二数据区域的数据区域属性信息，包括：按照所述文件子空间包含的备选存储目录的目录数量，对所述数据块编号进行数据转换处理，获得所述第二数据块的第二存储目录；从所述第二数据块的第二...

【专利技术属性】
技术研发人员：王志豪，罗心，江文龙，周明伟，应秀梅，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：