数据存储方法、装置及存储系统制造方法及图纸

本发明专利技术实施例提供了一种数据存储方法、装置及存储系统，其中，该方法包括：在获取到待存储数据时，确定待存储数据的数据类型；基于SMR磁盘中的各个存储区中已存储的数据的数据类型，确定与待存储数据的数据类型相同的目标存储区；在目标存储区中确定待写入待存储数据的目标存储块；基于目标存储块的标识，生成待存储数据的主索引信息以及备索引信息；基于待存储数据以及目标存储块的标识，生成待存储数据的数据库索引信息；将待存储数据的备索引信息和待存储数据写入目标存储块，将待存储数据的主索引信息写入CMR区域或非SMR磁盘，并将待存储数据的数据库索引信息写入非SMR磁盘。从而可以提高SMR磁盘的存储资源利用率。

【技术实现步骤摘要】
数据存储方法、装置及存储系统
本专利技术涉及数据存储
，特别是涉及一种数据存储方法、装置及存储系统。
技术介绍
随着信息技术的发展，各种各样的电子设备会产生大量的数据，为了定期对该数据进行分析处理，需要先将该数据存储到存储介质中，例如，存储到软盘、光盘、磁盘、闪存、U盘、SM卡、记忆棒等存储介质中。为了使得单个磁盘能够存储更多的数据，现有技术中出现了SMR(ShingledMagnetingRecording，叠瓦式磁记录)磁盘，在SMR磁盘中，各个数据磁道之间如同屋顶上的瓦片一样部分重叠，这样可以使得在写入数据时，在相同的面积内容纳了更多的磁道，从而提高了存储面密度，增加了单个磁盘的存储容量。然而，专利技术人发现，在现有技术中，通常是按照接收到的数据写入指令的先后顺序来将待写入数据写入到SMR磁盘中的。由于SMR磁盘的一个存储区只能顺序写入，当在该SMR磁盘的一个存储区中对同一个数据进行频繁的覆盖写入操作时，存储该数据的存储块中，只有最后一个存储该数据的存储块中存储的是有效数据，其他存储块中存储的该数据均为无效数据，并且该存储区本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，应用于叠瓦式磁记录SMR存储系统，所述SMR存储系统包括SMR磁盘及非SMR磁盘；所述SMR磁盘包括传统式磁记录CMR区域及SMR区域，所述SMR区域包括多个存储区，每个存储区逻辑划分为多个存储块；所述方法包括：/n在获取到待存储数据时，确定所述待存储数据的数据类型；/n基于所述SMR磁盘中的各个存储区中已存储的数据的数据类型，确定与所述待存储数据的数据类型相同的目标存储区；/n在所述目标存储区中确定待写入所述待存储数据的目标存储块；/n基于所述目标存储块的标识，生成所述待存储数据的主索引信息以及备索引信息；/n基于所述待存储数据以及所述目标存储块的标识，生成...

【技术特征摘要】
1.一种数据存储方法，其特征在于，应用于叠瓦式磁记录SMR存储系统，所述SMR存储系统包括SMR磁盘及非SMR磁盘；所述SMR磁盘包括传统式磁记录CMR区域及SMR区域，所述SMR区域包括多个存储区，每个存储区逻辑划分为多个存储块；所述方法包括：
在获取到待存储数据时，确定所述待存储数据的数据类型；
基于所述SMR磁盘中的各个存储区中已存储的数据的数据类型，确定与所述待存储数据的数据类型相同的目标存储区；
在所述目标存储区中确定待写入所述待存储数据的目标存储块；
基于所述目标存储块的标识，生成所述待存储数据的主索引信息以及备索引信息；
基于所述待存储数据以及所述目标存储块的标识，生成所述待存储数据的数据库索引信息；
将所述待存储数据的备索引信息和所述待存储数据写入所述目标存储块，将所述待存储数据的主索引信息写入所述CMR区域或所述非SMR磁盘，并将所述待存储数据的数据库索引信息写入所述非SMR磁盘。


2.根据权利要求1所述的方法，其特征在于，所述基于所述SMR磁盘中的各个存储区中已存储的数据的数据类型，确定与所述待存储数据的数据类型相同的目标存储区的步骤，包括：
判断已存储数据的存储区中，是否存在存储有与所述待存储数据具有相同数据类型的已存储的数据的存储区；
如果存在，将所述存储有与所述待存储数据具有相同数据类型的已存储的数据的存储区作为所述目标存储区；
如果不存在，则选择所述SMR磁盘中的一个空闲存储区确定为目标存储区。


3.根据权利要求2所述的方法，其特征在于，所述CMR区域包括：元数据区，所述元数据区中存储有各个所述已存储数据的存储区存储的数据的数据类型标识；所述在获取到待存储数据时，确定所述待存储数据的数据类型的步骤，包括：
获取通过应用程序接口发送的待存储数据以及所述待存储数据的数据类型标识；
基于所述待存储数据的数据类型标识，确定所述待存储数据的数据类型；
所述判断已存储数据的存储区中，是否存在存储有与所述待存储数据具有相同数据类型的已存储的数据的存储区，包括：
基于所述各个所述已存储数据的存储区存储的数据的数据类型标识和所述待存储数据的数据类型标识，判断所述已存储数据的存储区中，是否存在存储有与所述待存储数据具有相同数据类型的已存储的数据的存储区。


4.根据权利要求1所述的方法，其特征在于，在所述将所述待存储数据的备索引信息和所述待存储数据写入所述目标存储块之前，所述方法还包括：
获取所述待存储数据的单元键，并在所述非SMR磁盘中查找是否存在与所述待存储数据具有相同单元键的数据库索引信息；
如果存在，基于与所述待存储数据具有相同单元键的数据库索引信息中的存储块的标识信息，确定待删除主索引信息；
删除所述CMR区域中的所述待删除主索引信息。


5.根据权利要求1所述的方法，其特征在于，所述CMR区域包括：元数据区，在所述将所述待存储数据的备索引信息和所述待存储数据写入所述目标存储块，将所述待存储数据的主索引信息写入所述CMR区域或所述非SMR磁盘，并将所述待存储数据的数据库索引信息写入所述非SMR磁盘之后，所述方法还包括：
在接收到对所述SMR磁盘的清理指令时，基于所述元数据区中存储的SMR区域的分配存储量、存储区数量以及存储块分配存储量，确定所述SMR磁盘中可用存储块为0的第一存储区以及每个所述第一存储区中的存储块数量；
针对每个所述第一存储区，基于所述数据库索引信息和该第一存储区中的存储块数量，确定该第一存储区中的有效存储块数量，其中，所述有效存储块中存储的数据为有效数据；
基于每个第一存储区中的有效存储块数量数据库索引信息，确定该第一存储区是否为待清理存储区，如果是，对该待清理存储区进行重置清理。


6.根据权利要求5所述的方法，其特征在于，所述对该待清理存储区进行重置清理，包括：
在所述待清理存储区中的有效存储块数量不为0时，确定所述待清理存储区中存储的待复制数据的数据类型；
基于所述SMR磁盘中除所述待重置存储区外的各个存储区中已存储的数据的数据类型，确定与所述待复制数据的数据类型相同的目标粘贴存储区；
在所述目标粘贴存储区中确定待粘贴所述待复制数据的目标粘贴存储块；
基于所述目标粘贴存储块的标识，生成所述待复制数据的主索引信息以及备索引信息；
基于所述待复制数据以及所述目标粘贴存储块的标识...

【专利技术属性】
技术研发人员：叶敏，王伟，林起芊，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33