一种数据存储方法、装置、设备及介质制造方法及图纸

本发明专利技术提供了一种数据存储方法、装置、设备及介质，用以利用包含SMR磁盘的存储系统进行数据存储。由于在本发明专利技术实施例中，在确定存储请求中携带的Object的存储位置时，是根据Object的大小以及待存储Zone确定的存储该Object的第一目标Zone组，因此所确定的第一目标Zone组的空间可以存储该Object，并且由于该第一目标Zone组中的Zone在存储该Object之前未存储数据，因此在存储该Object时不会发生数据覆盖的问题，可以有效的进行数据存储。可以有效的进行数据存储。可以有效的进行数据存储。

【技术实现步骤摘要】
一种数据存储方法、装置、设备及介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据存储方法、装置、设备及介质。

技术介绍

[0002]随着社会的发展，人们在日常生活中需要存储的数据越来越多，为了确保数据不会因为更换手机、电脑等设备的更换，产生丢失现象，人们通常在进行数据存储时，会在云端进行备份。然而在云端包含分布式对象存储在内的多种存储系统中，传统磁记录(Conventional magnetic recording，CMR)磁盘一直是数据存储领域的中坚力量，CMR磁盘技术保留了最早的垂直磁记录(Perpendicular Magnetic Recording，PMR)中的相关技术，替代水平磁记录(Longitudinal Magnetic Recording，LMR)时的传统技术，即：磁道中间留有保护距离，数据不会被重复叠写。随着技术的发展，PMR细分出了CMR和被叠瓦式磁记录(Shingled Magnetic Recording，SMR)，一般认为PMR与CMR一致。因此CMR磁盘技术安全性、稳定性更高。
[0003]CMR磁盘经过长期发展，基于CMR磁盘之上的标准文件系统技术已经非常成熟，基于标准文件系统之上的读写接口都是标准的可移植操作系统接口(Portable Operating System Interface of UNIX，POSIX)。因此CMR磁盘的开发和使用都非常简单和成熟。正是因为CMR磁盘长期以来形成的领先优势，其在存储领域仍处于很高的地位。
[0004]然而SMR磁盘在价格上又有着无法规避的优势，因此如何在存储系统中利用SMR磁盘进行数据存储仍是亟待解决的技术问题。

技术实现思路

[0005]本专利技术提供了一种数据存储方法、装置、设备及介质，用以利用包含SMR磁盘的存储系统进行数据存储。
[0006]第一方面，本专利技术实施例提供了一种数据存储方法，所述方法包括：
[0007]若接收到存储请求；则获取预先构建的存储系统中叠瓦式磁记录SMR存储池以及传统磁记录CMR存储池的剩余资源；其中，所述SMR存储池包含多个区域Zone，所述CMR存储池包含多个插入有CMR磁盘的存储节点；
[0008]判断所述SMR存储池的剩余资源是否大于所述CMR存储池的剩余资源，若是，则获取所述SMR存储池中未存储数据的待存储Zone；
[0009]根据所述存储请求中携带的Object的大小以及所述待存储Zone，确定存储所述Object的第一目标Zone组，并将所述Object存储至所述第一目标Zone组；其中所述第一目标Zone组包含至少一个Zone。
[0010]进一步地，所述存储系统通过以下方式构建：
[0011]若接收到携带存储节点的标识信息的连接指令；则构建所述电子设备与所述标识信息对应的目标存储节点的连接关系；判断所述连接指令中是否携带有所述目标存储节点的节点类型，若是，则将所述目标存储节点的类型设置为所述节点类型；或
[0012]接收上报信息，若所述上报信息中携带的存储节点的标识信息未被记录，则判断所述上报信息中是否携带有Zone相关信息，若是，则将该上报信息中携带的标识信息对应的存储节点的类型设置为SMR，若否，则将该上报信息中携带的标识信息对应的存储节点的类型设置为CMR。
[0013]进一步地，所述获取预先构建的存储系统中SMR存储池以及CMR存储池的剩余资源包括：
[0014]获取SMR存储池及CMR存储池当前的剩余存储空间及剩余存储带宽；
[0015]采用预设方法，根据所述SMR存储池及CMR存储池的剩余存储带宽，确定所述SMR存储池及CMR存储池的中央处理器CPU负载；
[0016]根据所确定的所述剩余存储空间、所述剩余存储带宽及所述CPU负载，以及预先的对应的权重值，确定所述SMR存储池及所述CMR存储池的剩余资源。
[0017]进一步地，所述方法还包括：
[0018]若所述SMR存储池的剩余资源小于所述CMR存储池的剩余资源，则获取所述存储请求中携带的目标纠删码类型，根据所述目标纠删码类型，将所述Object划分为至少一个纠删码EC数据切片；
[0019]针对每一片EC数据切片，根据该EC数据切片的大小以及所述CMR存储池中每个CMR存储节点的剩余存储空间，确定存储该EC数据切片目标CMR存储节点，并将该EC数据切片存储至所述目标CMR存储节点。
[0020]进一步地，确定所述SMR存储池的剩余资源大于所述CMR存储池的剩余资源之后，所述获取所述SMR存储池中未存储数据的待存储区域Zone之前，所述方法还包括：
[0021]根据所述存储请求中携带的Object标识以及预先保存的首个Object标识，判断当前待存储的Object是否为文件的首个Object；
[0022]若是，则针对保存的已经存储有数据的每一个Zone组，根据当前时间与将数据存储至该Zone组的时间的差值；
[0023]确定差值最大且在预设的时间范围内的第二目标Zone组，根据所述第二目标Zone组的剩余空间，确定待存储的首个Object的大小，并接收所述大小的待存储的首个Object，将接收到的所述待存储的首个Object存储至所述第二目标Zone组中未存储数据的空间中；
[0024]若否，则执行后续，获取所述SMR存储池中未存储数据的待存储区域Zone的操作。
[0025]第二方面，本专利技术实施例还提供了一种数据存储装置，所述装置包括：
[0026]获取模块，用于若接收到存储请求；则获取预先构建的存储系统中叠瓦式磁记录SMR存储池以及传统磁记录CMR存储池的剩余资源；其中，所述SMR存储池包含多个区域Zone，所述CMR存储池包含多个插入有CMR磁盘的存储节点；
[0027]判断获取模块，用于判断所述SMR存储池的剩余资源是否大于所述CMR存储池的剩余资源，若是，则获取所述SMR存储池中未存储数据的待存储Zone；
[0028]处理模块，用于根据所述存储请求中携带的Object的大小以及所述待存储Zone，确定存储所述Object的第一目标Zone组，并将所述Object存储至所述第一目标Zone组；其中所述第一目标Zone组包含至少一个Zone。
[0029]进一步地，所述处理模块，还用于若接收到携带存储节点的标识信息的连接指令；则构建所述电子设备与所述标识信息对应的目标存储节点的连接关系；判断所述连接指令
中是否携带有所述目标存储节点的节点类型，若是，则将所述目标存储节点的类型设置为所述节点类型；或接收上报信息，若所述上报信息中携带的存储节点的标识信息未被记录，则判断所述上报信息中是否携带有Zone相关信息，若是，则将该上报信息中携带的标识信息对应的存储节点的类型设置为SMR，若否，则将该上报信息中携带的标识信息对应的存储节点的类型设置为CMR。
[0030]进一步地，所述获取模块，具体用于获取SMR存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，应用于电子设备，所述方法包括：若接收到存储请求；则获取预先构建的存储系统中叠瓦式磁记录SMR存储池以及传统磁记录CMR存储池的剩余资源；其中，所述SMR存储池包含多个区域Zone，所述CMR存储池包含多个插入有CMR磁盘的存储节点；判断所述SMR存储池的剩余资源是否大于所述CMR存储池的剩余资源，若是，则获取所述SMR存储池中未存储数据的待存储Zone；根据所述存储请求中携带的Object的大小以及所述待存储Zone，确定存储所述Object的第一目标Zone组，并将所述Object存储至所述第一目标Zone组；其中所述第一目标Zone组包含至少一个Zone。2.根据权利要求1所述的方法，其特征在于，所述存储系统通过以下方式构建：若接收到携带存储节点的标识信息的连接指令；则构建所述电子设备与所述标识信息对应的目标存储节点的连接关系；判断所述连接指令中是否携带有所述目标存储节点的节点类型，若是，则将所述目标存储节点的类型设置为所述节点类型；或接收上报信息，若所述上报信息中携带的存储节点的标识信息未被记录，则判断所述上报信息中是否携带有Zone相关信息，若是，则将该上报信息中携带的标识信息对应的存储节点的类型设置为SMR，若否，则将该上报信息中携带的标识信息对应的存储节点的类型设置为CMR。3.根据权利要求1所述的方法，其特征在于，所述获取预先构建的存储系统中SMR存储池以及CMR存储池的剩余资源包括：获取SMR存储池及CMR存储池当前的剩余存储空间及剩余存储带宽；采用预设方法，根据所述SMR存储池及CMR存储池的剩余存储带宽，确定所述SMR存储池及CMR存储池的中央处理器CPU负载；根据所确定的所述剩余存储空间、所述剩余存储带宽及所述CPU负载，以及预先的对应的权重值，确定所述SMR存储池及所述CMR存储池的剩余资源。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：若所述SMR存储池的剩余资源小于所述CMR存储池的剩余资源，则获取所述存储请求中携带的目标纠删码类型，根据所述目标纠删码类型，将所述Object划分为至少一个纠删码EC数据切片；针对每一片EC数据切片，根据该EC数据切片的大小以及所述CMR存储池中每个CMR存储节点的剩余存储空间，确定存储该EC数据切片目标CMR存储节点，并将该EC数据切片存储至所述目标CMR存储节点。5.根据权利要求1所述的方法，其特征在于，确定所述SMR存储池的剩余资源大于所述CMR存储池的剩余资源之后，所述获取所述SMR存储池中未存储数据的待存储区域Zone之前，所述方法还包括：根据所述存储请求中携带的Object标识以及预先保存的首个Object标识，判断当前待存储的Object是否为文件的首个Object；若是，则针对保存的已经存储有数...

【专利技术属性】
技术研发人员：徐涛，罗心，江瑜，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：