数据存储方法、装置、系统、电子设备及可读存储介质制造方法及图纸

本申请提供一种数据存储方法、装置、系统、电子设备及可读存储介质，该方法包括：获取待存储数据；根据待存储数据的类型，在预设的磁盘组中确定待存储数据对应的目标磁盘组；磁盘组包括具有不同存储策略的第一磁盘组和第二磁盘组；按照与目标磁盘组对应的存储策略将待存储数据存储到目标磁盘组中。这样，通过预先为磁盘组设定不同的存储策略，使得在实际应用中，可以在不同磁盘组中按照不同类型的数据的重要性，采用不同的磁盘组存储分别针对性的存储不同重要性的数据，可以实现对于不同数据的按需存储，提高分布式存储系统存储资源的有效利用率。同时由于各磁盘组各自对应存储的是相应类型的数据，因此也便于对分布式存储系统进行存储管理。

【技术实现步骤摘要】
数据存储方法、装置、系统、电子设备及可读存储介质
本申请涉及存储
，具体而言，涉及一种数据存储方法、装置、系统、电子设备及可读存储介质。
技术介绍
目前，在一个分布式存储系统中，通常采用以下存储方式中的一种：1、使用副本的方式进行存储：通过将原始数据在不同的物理设备上复制备份来达到对数据存储保护的作用。2、使用实时EC(erasurecoding，纠删码)方式进行存储：实时将收到的数据后先在内存里缓存，达到一定数据量后将缓存在内存里的数据分块，根据配置的N+M纠删模型使用纠删算法对N个原始数据块进行纠删编码生成为M个冗余数据块，最后将N个原始数据块和M个冗余数据块存储在不同的物理设备上来达到对数据存储保护的作用。3、使用RAID(RedundantArraysofIndependentDisks，磁盘阵列)卡对数据进行存储保护。但是，以上方式各自都有不足。比如：副本存储的方式的空间利用率是1/N，N为副本数，比如3副本的空间利用率只有33.3％，而图像大数据处理领域中，涉及的图像数据是海量的，因此使本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，包括：/n获取待存储数据；/n根据所述待存储数据的类型，在预设的磁盘组中确定所述待存储数据对应的目标磁盘组；所述磁盘组包括具有不同存储策略的第一磁盘组和第二磁盘组；/n按照与所述目标磁盘组对应的存储策略将所述待存储数据存储到所述目标磁盘组中。/n

【技术特征摘要】
20201117 CN 20201129090971.一种数据存储方法，其特征在于，包括：
获取待存储数据；
根据所述待存储数据的类型，在预设的磁盘组中确定所述待存储数据对应的目标磁盘组；所述磁盘组包括具有不同存储策略的第一磁盘组和第二磁盘组；
按照与所述目标磁盘组对应的存储策略将所述待存储数据存储到所述目标磁盘组中。


2.如权利要求1所述的数据存储方法，其特征在于，
所述第一磁盘组的存储策略为仅按照副本方式进行存储；
所述第二磁盘组的存储策略为先按照副本方式进行存储，再在预设转换条件被触发时，将副本方式存储的数据转换为纠删码方式进行存储。


3.如权利要求2所述的数据存储方法，其特征在于，
所述第二磁盘组包括对应不同原始数据分片份数和/或不同冗余数据分片份数的多个第三磁盘组，且不同第三磁盘组对应不同类型的待存储数据。


4.如权利要求1-3任一项所述的数据存储方法，其特征在于，所述磁盘组中的任意两个磁盘位于不同的存储节点上，且一个磁盘只属于一个磁盘组。


5.如权利要求2所述的数据存储方法，其特征在于，所述待存储数据对应的目标磁盘组为第二磁盘组；
所述按照与所述目标磁盘组对应的存储策略将所述待存储数据存储到所述目标磁盘组中，包括：
将所述待存储数据以副本方式存储到所述目标磁盘组中；
在以副本方式存储的所述待存储数据的最后修改时间，到当前时间点之间的时长，超过了所述待存储数据对应的预设副本存储周期时，将所述待存储数据在所述目标磁盘组中转换为纠删码方式进行存储；或，在以副本方式存储的所述待存储数据在最新的预设时长段内的访问频率低于预设频率阈值时，将所述待存储数据在所述目标磁盘组中转换为纠删码方式进行存储。


6.如权利要求1-5中任一项所述的数据存储方法，其特征在于，所述根据所述待存储数据的类型，在预设的磁盘组中确定所述待存储数据对应的目标磁盘组，包括：

【专利技术属性】
技术研发人员：夏华丽，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京;11