归档数据的存储方法、系统、设备和介质技术方案

本发明专利技术特别涉及归档数据的存储方法、系统、设备和介质。本发明专利技术的方法包括：接收归档数据写入请求，以将所述归档数据分配到相应的二进制大对象，使得所述归档数据被写入同一磁盘组的一个或多个磁盘的区域数据区域的一个或多个区域中；接收二进制大对象密封请求，以密封相应的所述二进制大对象，使得写入的所述一个或多个区域的区域元数据被写入同一磁盘组的所述一个或多个磁盘的区域元数据区域中。本发明专利技术可以实现归档数据的大容量存储，具有高可靠与低成本的特性，与现有背景技术相比在存储成本、易用性、数据取回时限间达到了更好的平衡，同时取得了比现有背景技术数据更高的数据可靠性。

【技术实现步骤摘要】
归档数据的存储方法、系统、设备和介质
本专利技术特别涉及归档数据的存储方法、系统、设备和介质。
技术介绍
随着数据时代的到来，海量数据存储需求越来越大，这些数据中有很大比例属于访问频率较低的归档数据，此类数据的特征为：(1)单文件体积相对较大，部分原始数据本身就具有此特性，如视频监控数据，其他小文件在写入存储系统前一般也会进行聚合，压缩为单个大文件后再写入；(2)归档数据单次写入后不需要再次修改；(3)归档数据一般都需要长时间保存，且写入后读取频率较低；(4)对归档数据的取回时限容忍度相对较高，不过也存在少量需要能实时取回的需求。针对此类归档数据的存储系统，目前业界的主流解决方案为磁带库或标准对象存储系统。磁带库可提供极低的单位GB存储成本，然而磁带库存储系统存在以下缺陷：(1)初期建设成本过高，磁带库作为一套复杂存储系统，搭建一套最小单元的存储系统也需要一次性投入大量资金以购置整套专用硬件；(2)磁带库对机房空间、温湿度等有很高要求，过高或过低的温湿度均会导致磁带粘连，进而影响数据可用性及可靠性；(3)磁带库的软硬件架构不同于通用服务器，其软件研发及运维工作存在较大难度，易用性不佳；(4)磁带库对于响应实时读取请求存在较大困难与挑战，由于在一套完整的磁带库存储系统中，磁带机的数量是有限的，因此无法对所有磁带进行并行读写，故很难满足实时读取数据的需求。以上诸多因素使得磁带库无法得到大规模应用，也无法满足需要能实时取回的归档数据的存储需求。除磁带库外，目前业界也会使用标准对象存储系统来保存归档数据，主流标准对象存储系统基于通用服务器搭建而成，该存储系统最终会将数据写入机械硬盘(HDD，HardDiskDrive)，并通过多副本技术实现数据的高可靠存储。使用标准对象存储系统来保存归档数据的主要缺陷在于其单位GB成本较高，具体原因如下：(1)单台通用服务器可连接的磁盘数量有限，一般在20余块盘以下，这就导致整个存储系统的磁盘密度受到制约；(2)存储系统中的CPU等计算资源与硬盘存储资源存在耦合关系，系统扩容时无法在不增加计算资源的情况下灵活地增加存储资源容量；(3)主流标准对象存储系统使用的多副本技术存在较大的空间浪费，以三副本为例，磁盘空间使用率仅为33％；(4)主流标准对象存储系统使用的硬盘为传统磁记录(CMR，ConventionalMagneticRecording)硬盘，此类硬盘与叠瓦式磁记录(SMR，ShingledMagneticRecording)硬盘相比存储密度略低，因此单位GB成本高于SMR硬盘。此外，无论是磁带库还是标准对象存储系统均无法很好地处理静默数据损坏(silentdatacorruption)问题，这对于需要长期保存的归档数据来说，存在较高的数据可靠性风险。综上所述，已有技术均存在一定的缺陷，其无法完全满足归档数据的存储需求。
技术实现思路
本专利技术的目的在于提供归档数据的存储方法、系统、设备和介质，可以实现归档数据的大容量存储，具有高可靠与低成本的特性，与现有
技术介绍
相比在存储成本、易用性、数据取回时限间达到了更好的平衡，同时取得了比现有
技术介绍
数据更高的数据可靠性。本专利技术公开了一种归档数据的存储方法，所述方法用于归档数据的存储系统，所述系统包括一个或多个磁盘簇，每个磁盘簇包括一个或多个磁盘，所有磁盘被划分为一个或多个磁盘组，每个磁盘包括区域数据区域和区域元数据区域，并且所述方法包括：接收归档数据写入请求，以将所述归档数据分配到相应的二进制大对象，使得所述归档数据被写入同一磁盘组的一个或多个磁盘的区域数据区域的一个或多个区域中；接收二进制大对象密封请求，以密封相应的所述二进制大对象，使得写入的所述一个或多个区域的区域元数据被写入同一磁盘组的所述一个或多个磁盘的区域元数据区域中。可选地，所述方法还包括：接收二进制大对象申请请求，以生成所述二进制大对象的通用唯一识别码、所述二进制大对象的长度、数据块的数量、检验块的数量和块的长度；基于数据块的数量和检验块的数量来确定磁盘的数量，并且在同一磁盘组上分配磁盘；基于所述二进制大对象的长度、数据块的数量和区域的长度来确定区域的数量，并且在分配的磁盘的区域数据区域上分配区域；将所述二进制大对象的上下文信息写入内存中，所述二进制大对象的所述上下文信息包括所述二进制大对象的通用唯一识别码、数据块的数量、检验块的数量、块的长度、分配的磁盘信息、分配的区域信息和所述二进制大对象的长度。可选地，接收归档数据写入请求，以将所述归档数据分配到相应的二进制大对象进一步包括：接收所述归档数据写入请求，所述归档数据写入请求包括相应的所述二进制大对象的通用唯一识别码，以查找相应的所述二进制大对象的上下文信息；基于相应的所述二进制大对象的所述上下文信息来确定数据块的数量、检验块的数量、块的长度、分配的磁盘信息、分配的区域信息和所述二进制大对象的长度；对所述归档数据进行条带化以生成相应数量的数据块，并且对所述数据块进行编码化以生成相应数量的检验块；将所述数据块和所述检验块写入同一磁盘组上分配的磁盘的区域数据区域中分配的区域中；更新相应的所述二进制大对象的所述上下文信息中的所述二进制大对象的长度，并且写入内存中。可选地，所述方法还包括：接收归档数据读取请求，所述归档数据读取请求包括二进制大对象的通用唯一识别码，以查找所述二进制大对象的上下文信息；基于所述二进制大对象的所述上下文信息，并且基于所述归档数据读取请求包括的偏移及长度，从同一磁盘组上分配的磁盘的区域数据区域中分配的区域中读取相应的数据块；如果相应的数据块未全部读取成功，则从同一磁盘组上分配的磁盘的区域数据区域中分配的区域中读取相应的检验块。可选地，所述方法还包括：接收归档数据删除请求，所述归档数据删除请求包括二进制大对象的通用唯一识别码，以查找所述二进制大对象的上下文信息；基于所述二进制大对象的所述上下文信息，从同一磁盘组上分配的磁盘中分配的数据存储区域中删除相应的数据块和检验块；从内存中删除所述二进制大对象的所述上下文信息。可选地，区域的区域元数据包括所述区域的识别码、所述区域的当前状态、所述区域的长度、所述区域所属的二进制大对象的上下文信息。可选地，在分配的磁盘的区域数据区域上分配区域进一步包括：从分配的磁盘上处于空闲状态的区域中分配区域；更新分配的所述区域的区域元数据，以将分配的所述区域的当前状态设置为使用中状态，并且写入所属的二进制大对象的上下文信息；发送分配的所述区域的识别码。可选地，每个区域包括一个或多个数据段和相应的段元数据段，所述段元数据段包括相应的数据段中的当前数据的校验值，并且将所述数据块和所述检验块写入同一磁盘组上分配的磁盘的区域数据区域中分配的区域中进一步包括：基于分配的所述区域的识别码来寻找分配的所述区域的区域元数据；基于分配的所述区域的数本文档来自技高网...

【技术保护点】
1.一种归档数据的存储方法，其特征在于，所述方法用于归档数据的存储系统，所述系统包括一个或多个磁盘簇，每个磁盘簇包括一个或多个磁盘，所有磁盘被划分为一个或多个磁盘组，每个磁盘包括区域数据区域和区域元数据区域，并且所述方法包括：/n接收归档数据写入请求，以将所述归档数据分配到相应的二进制大对象，使得所述归档数据被写入同一磁盘组的一个或多个磁盘的区域数据区域的一个或多个区域中；/n接收二进制大对象密封请求，以密封相应的所述二进制大对象，使得写入的所述一个或多个区域的区域元数据被写入同一磁盘组的所述一个或多个磁盘的区域元数据区域中。/n

【技术特征摘要】
1.一种归档数据的存储方法，其特征在于，所述方法用于归档数据的存储系统，所述系统包括一个或多个磁盘簇，每个磁盘簇包括一个或多个磁盘，所有磁盘被划分为一个或多个磁盘组，每个磁盘包括区域数据区域和区域元数据区域，并且所述方法包括：
接收归档数据写入请求，以将所述归档数据分配到相应的二进制大对象，使得所述归档数据被写入同一磁盘组的一个或多个磁盘的区域数据区域的一个或多个区域中；
接收二进制大对象密封请求，以密封相应的所述二进制大对象，使得写入的所述一个或多个区域的区域元数据被写入同一磁盘组的所述一个或多个磁盘的区域元数据区域中。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收二进制大对象申请请求，以生成所述二进制大对象的通用唯一识别码、所述二进制大对象的长度、数据块的数量、检验块的数量和块的长度；
基于数据块的数量和检验块的数量来确定磁盘的数量，并且在同一磁盘组上分配磁盘；基于所述二进制大对象的长度、数据块的数量和区域的长度来确定区域的数量，并且在分配的磁盘的区域数据区域上分配区域；
将所述二进制大对象的上下文信息写入内存中，所述二进制大对象的所述上下文信息包括所述二进制大对象的通用唯一识别码、数据块的数量、检验块的数量、块的长度、分配的磁盘信息、分配的区域信息和所述二进制大对象的长度。


3.根据权利要求2所述的方法，其特征在于，接收归档数据写入请求，以将所述归档数据分配到相应的二进制大对象进一步包括：
接收所述归档数据写入请求，所述归档数据写入请求包括相应的所述二进制大对象的通用唯一识别码，以查找相应的所述二进制大对象的上下文信息；
基于相应的所述二进制大对象的所述上下文信息来确定数据块的数量、检验块的数量、块的长度、分配的磁盘信息、分配的区域信息和所述二进制大对象的长度；
对所述归档数据进行条带化以生成相应数量的数据块，并且对所述数据块进行编码化以生成相应数量的检验块；
将所述数据块和所述检验块写入同一磁盘组上分配的磁盘的区域数据区域中分配的区域中；
更新相应的所述二进制大对象的所述上下文信息中的所述二进制大对象的长度，并且写入内存中。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
接收归档数据读取请求，所述归档数据读取请求包括二进制大对象的通用唯一识别码，以查找所述二进制大对象的上下文信息；
基于所述二进制大对象的所述上下文信息，并且基于所述归档数据读取请求包括的偏移及长度，从同一磁盘组上分配的磁盘的区域数据区域中分配的区域中读取相应的数据块；
如果相应的数据块未全部读取成功，则从同一磁盘组上分配的磁盘的区域数据区域中分配的区域中读取相应的检验块。


5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
接收归档数据删除请求，所述归档数据删除请求包括二进制大对象的通用唯一识别码，以查找所述二进制大对象的上下文信息；
基于所述二进制大对象的所述上下文信息，从同一磁盘组上分配的磁盘中分配的数据存储区域中删除相应的数据块和检验块；
从内存中删除所述二进制大对象的所述上下文信息。


6.根据权利要求4或5所述的方法，其特征在于，区域的区域元数据包括所述区域的识别码、所述区域的当前状态、所述区域...

【专利技术属性】
技术研发人员：高明飞，方然，
申请(专利权)人：优刻得科技股份有限公司，
类型：发明
国别省市：上海;31