数据存储方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提出一种数据存储方法、装置、设备及计算机可读存储介质。其中，方法包括：获取目标数据的数据大小；在数据大小小于第一预设阈值的情况下，将目标数据存储至文件存储系统；在数据大小大于或等于第一预设阈值的情况下，将目标数据存储至纠删码存储系统。本申请实施例通过文件存储系统与纠删码存储系统集成的方式实现数据存储，可以避免将小数据存储至纠删码存储系统时，频繁的数据访问和传输造成的资源消耗。资源消耗。资源消耗。

【技术实现步骤摘要】
数据存储方法、装置、设备及计算机可读存储介质


[0001]本申请涉及数据存储
，尤其涉及一种数据存储方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]EC((Erasure Code，纠删码)存储系统采用纠删码算法实现信息纠错。其将原始数据分块并生成冗余数据块，然后将这些数据块分布存储在不同的节点上。当某些节点发生故障时，可以通过其他节点上的数据块恢复出原始数据。
[0003]纠删码存储系统因其高可靠性、高存储效率等特点，被越来越多的企业选择。但是纠删码(EC)存储系统需要凑足一个条带才能进行编码，对于数据大小较小的数据，需要更多的数据才能凑成完整的条带数据，会增加数据访问和传输的开销。

技术实现思路

[0004]本申请实施例提供一种数据存储方法、装置、设备及计算机可读存储介质，以解决相关技术存在的问题，技术方案如下：
[0005]第一方面，本申请实施例提供了一种数据存储方法，包括：
[0006]获取目标数据的数据大小；
[0007]在所述数据大小小于第一预设阈值的情况下，将所述目标数据存储至文件存储系统；
[0008]在所述数据大小大于或等于所述第一预设阈值的情况下，将所述目标数据存储至纠删码存储系统。
[0009]第二方面，本申请实施例提供了一种数据存储装置，包括：
[0010]数据大小获取模块，用于获取目标数据的数据大小；
[0011]小数据存储模块，用于在所述数据大小小于第一预设阈值的情况下，将所述目标数据存储至文件存储系统；
[0012]大数据存储模块，用于在所述数据大小大于或等于所述第一预设阈值的情况下，将所述目标数据存储至纠删码存储系统。
[0013]第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，以使至少一个处理器能够执行上述数据存储方法。
[0014]第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机指令，当计算机指令在计算机上运行时，上述各方面任一种实施方式中的方法被执行。
[0015]上述技术方案中的优点或有益效果至少包括：
[0016]本申请实施例通过将文件存储系统与纠删码存储系统进行集成，共同实现数据存储，将数据大小较小的数据存储至文件存储系统，实现小数据的快速存储；此外，将数据大
小较大的数据存储至纠删码存储系统，实现数据的高可靠性存储。
[0017]本申请实施例通过文件存储系统与纠删码存储系统集成的方式实现数据存储，可以避免将小数据存储至纠删码存储系统时，频繁的数据访问和传输造成的资源消耗。
[0018]上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
[0019]在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
[0020]图1示出根据本申请一实施例的数据存储方法的应用场景示意图。
[0021]图2示出根据本申请一实施例的数据存储方法的流程示意图。
[0022]图3示出根据本申请一实施例的数据存储方法的数据流程示意图。
[0023]图4示出根据本申请一实施例的数据存储装置的示意性结构框图。
[0024]图5是用来实现本申请实施例的数据存储方法的电子设备的框图。
具体实施方式
[0025]在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
[0026]在数据存储
，数据存储的可靠性是非常重要的。EC(Erasure Code，纠删码)算法通过“信息纠错技术”，可以实现数据存储的可靠性。EC算法的核心是，将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置。其中，有任意一个或多个数据块丢失，都可以通过一定的算法恢复出来。
[0027]EC存储系统采用上述EC算法实现数据存储。但是纠删码(EC)存储系统需要凑足一个条带才能进行编码，对于数据大小较小的数据，需要更多的数据才能凑成完整的条带数据，会增加数据访问和传输的开销。
[0028]基于上述技术缺陷，本申请实施例提供一种数据存储方法，采用文件存储系统与纠删码存储系统集成的方式实现数据存储。
[0029]以下为本申请实施例中可能涉及到的名词术语解释：
[0030]纠删码(Erasure Coding，EC)：是一种数据保护方法，可以用于容忍数据丢失。纠删码是一种编码技术，可将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置。可以用在网络传输中避免包的丢失，存储系统利用它来提高存储可靠性。相比多副本复制而言，纠删码能够以更小的数据冗余度获得更高数据可靠性。
[0031]条带(stripe)：是把连续的数据分割成相同大小的数据块，把每段数据块分别写入到阵列中的不同磁盘上的方法。
[0032]元数据(metadata)：是关于数据的组织、数据域及其关系的信息，简言之，元数据就是描述数据的数据，是对数据及信息资源的描述性信息。
[0033]ObjectKey：文件存储系统中对象的唯一标识，等于Bucket/ObjectName。
[0034]索引：一种数据结构，它能够加快数据查找的速度。索引数据节点中有着实际文件的位置，因为索引是根据特定的规则和算法构建的，在查找的时候遵循索引的规则可以快速查找到对应数据的节点，从而达到快速查找数据的效果。
[0035]Content
‑
Length：是HTTP请求头中的一个字段，它表示消息体的大小(以字节为单位)，并发送给接收者。
[0036]图1示出根据本申请一实施例的数据存储方法的应用场景示意图。如图1所示，用户发送数据存储请求，将需要存储的数据上传至S3网关，S3网关将数据传输至S3客户端，以对数据进行存储。数据存储系统包括EC存储系统和文件存储系统，将数据存储至数据存储系统时，生成相应的元数据，并将元数据存储至元数据服务端。在离线或者在线的情况下，可以实现从元数据服务端获取元数据，基于元数据查找到元数据对应的存储数据。通过元数据获得对应的存储数据，可以以实现对存储数据的管控。
[0037]图2示出根据本申请一实施例的数据存储方法的流程图。如图2所示，该数据存储方法可以包括：
[0038]S210，获取目标数据的数据大小。
[0039]目标数据为向数据存储服务端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：获取目标数据的数据大小；在所述数据大小小于第一预设阈值的情况下，将所述目标数据存储至文件存储系统；在所述数据大小大于或等于所述第一预设阈值的情况下，将所述目标数据存储至纠删码存储系统。2.根据权利要求1所述的方法，其特征在于，所述获取目标数据的数据大小，包括：获取请求存储所述目标数据的请求头的字段信息；基于所述字段信息，确定所述目标数据的数据大小。3.根据权利要求1所述的方法，其特征在于，还包括：在所述数据大小小于第一预设阈值的情况下，为所述目标数据添加标签，所述标签用于标识所述目标数据的数据大小小于所述第一预设阈值。4.根据权利要求3所述的方法，其特征在于，还包括：获取所述目标数据存储至所述文件存储系统时的时间戳和对象属性；基于所述时间戳、所述数据大小和/或者所述对象属性创建所述目标数据的索引，所述索引对应的索引值为空；将所述索引和所述索引值，存储至元数据服务端。5.根据权利要求4所述的方法，其特征在于，所述文件存储系统存储有多个数据，所述多个数据包括所述目标数据；所述方法还包括：按照预设的时间间隔，基于所述索引，从所述元数据服务端读取所述多个数据的数据大小；根据所述多个数据的数据大小，采用预设算法，将所述多个数据拼凑成多个条带数据。6.根据权利要求5所述的方法，其特征在于，还包括：将拼凑完成的条带数据存储至纠删码存储系统；从所述文件存储系统中删除所述条带数据中包含的多个数据，并删除所述条带数据中包含的多个数据的标签。7.根据权利要求5所述的方法，其特征在于，还包括：获取所述多个数据存储至所述文件存储系统的到期时间；基于所述到期时间，从所述多个数据中确定到期数据；获取所述到期数据的条带信息；在所述条带信息为完成度超过第二预设阈值的情况下，将所述到期数据所在的条带数据存储至所述纠删码存储系统，并删除所述条带数据中包含...

【专利技术属性】
技术研发人员：刘易，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：