一种数据存储方法及装置制造方法及图纸

本申请提供了一种数据存储方法及装置，包括：接收用户的数据写入请求；所述请求中包括用户的数据存储需求以及写入数据的大小；所述数据存储需求包括数据可靠性参数和/或读写性能参数；根据所述数据存储需求和写入数据的大小标记所述数据；根据所述数据的标记确定数据保护方式；将所述数据按照所述数据保护方式存储至数据节点。由于本申请在接收到用户的数据写入请求时，客户端可以根据业务需要增加数据标签，根据用户对数据的存储需求以及写入数据的大小等标签，决定使用哪种保护方式，为用户的不同存储数据特点提供差异化的数据保护方式，在确保满足数据可靠性和读写性能要求的前提下，减轻运维的人力成本，降低由人为失误造成的数据风险。

【技术实现步骤摘要】

本申请涉及计算机存储
，尤其涉及一种数据存储方法及装置。
技术介绍
分布式文件存储系统是指将网络中大量的存储设备通过上层软件集群调度起来进行协同工作，对外提供统一的数据存储和访问功能的一个系统。分布式文件存储系统有效地解决了数据存储和管理的难题，能够对存储节点进行按需在线扩容，对分布在各个地点的存储节点中的数据进行统一管理。由于数据分散在不同的节点，且这些节点都是比较普通的存储服务器，必须考虑它们故障的情况。因此，数据的可靠性是分布式文件存储系统研究的重点问题。当今社会是大数据的时代，数据量成爆炸式增长，这就对存储的容量提出了很高的要求。与此同时，数据的安全性也不容小觑，需要提供数据的冗余和备份。然而，存储容量和高可靠性是相对的，难以平衡。一方面，高可靠性可以通过增加数据的副本数提高，但是存单位数据的冗余数据也随之成倍地增加；另一方面，若想节约成本，不对数据进行备份，一旦数据的部分存储设备故障时，整个文件将不能访问，造成数据的丢失。现有技术分布式文件系统中，本文档来自技高网...

【技术保护点】
一种数据存储方法，其特征在于，包括如下步骤：接收用户的数据写入请求；所述请求中包括用户的数据存储需求以及写入数据的大小；所述数据存储需求包括数据可靠性参数和/或读写性能参数；根据所述数据存储需求和写入数据的大小标记所述数据；根据所述数据的标记确定数据保护方式；将所述数据按照所述数据保护方式存储至数据节点。

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括如下步骤：
接收用户的数据写入请求；所述请求中包括用户的数据存储需求以及写入
数据的大小；所述数据存储需求包括数据可靠性参数和/或读写性能参数；
根据所述数据存储需求和写入数据的大小标记所述数据；
根据所述数据的标记确定数据保护方式；
将所述数据按照所述数据保护方式存储至数据节点。
2.如权利要求1所述的方法，其特征在于，所述根据所述数据的标记确定
数据保护方式，具体为：
如果所述数据的标记为要求系统抵御任意多块盘故障，确定数据保护方式
为纠删码模式，其中纠删码原始数据块为N个、冗余数据块为M个；
如果所述数据的标记为要求任意故障1个数据节点且所述写入数据的大小
不大于1MB，确定数据保护方式为双副本模式。
3.如权利要求1所述的方法，其特征在于，在所述根据所述数据的标记确
定数据保护方式之前，进一步包括：读取存储系统的剩余空间；
所述根据所述数据的标记确定数据保护方式，具体为：根据所述数据的标
记以及所述存储系统的剩余空间确定数据保护方式。
4.如权利要求3所述的方法，其特征在于，所述根据所述数据的标记以及
所述存储系统的剩余空间确定数据保护方式，具体为：
如果存储占用率大于80％且所述存储系统不能及时扩容，确定所述数据保
护方式为纠删码模式。
5.如权利要求1所述的方法，其特征在于，进一步包括：
检测数据大小大于预设阈值的数据在预设时间内的访问频次；
根据所述访问频次，修改所述数据保护方式。

【专利技术属性】
技术研发人员：罗广骏，刘冠川，龚超，李国君，王灯殿，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：北京;11