一种对象存储系统中的存储方法、存储装置及存储设备制造方法及图纸

本发明专利技术公开了一种对象存储系统中的存储方法，通过在对象存储系统的数据存储池中，预先创建纠删存储池和副本存储池，在接收到待存储数据时，按待存储数据的大小将待存储数据存入纠删存储池或副本存储池，以使待存储数据中的小文件数据存入副本存储池，弥补了目前的对象存储系统中在存储小文件数据时，将小文件数据也放入纠删存储池导致对象存储系统存储效率低的问题，在一些存在大量小文件数据的存储任务中，显著提高了磁盘利用率，更能满足上传需求。本发明专利技术还公开了一种对象存储系统中的存储装置、存储设备及计算机可读存储介质，具有上述有益效果。

Storage method, storage device and storage device in object storage system

【技术实现步骤摘要】
一种对象存储系统中的存储方法、存储装置及存储设备
本专利技术涉及存储
，特别是涉及一种对象存储系统中的存储方法、存储装置、存储设备及计算机可读存储介质。
技术介绍
随着互联网的发展，互联网数据量(非结构化数据)越来越大，分布式对象存储应运而生。这种新兴的存储方式，适用于图片、视频等非结构化数据的存储。它同时又具有块存储高速直接访问磁盘的特点以及文件存储分布式共享的特点，因此一经推出就得到广泛的发展与应用。分布式对象存储中通过PUT方式上传的对象数据，在对象数据上传结束后，不区分对象数据大小，其内容最终存入数据存储池。纠删码(erasurecoding，EC)是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。当前在很多应用场景中，用户会将数据存储池都设置为纠删存储池(配置纠删码的存储池)。然而，由于纠删算法复杂，耗时较长，而其最下存储单元为4KB，小于4KB的对象数据会造成资源浪费，进而导致对象存储系统存储效率较低。
技术实现思路
本专利技术的目的是提供一种对象存储系统中的存储方法、存储装置、存储设备及计算机可读存储介质，用于提高对象存储系统的存储效率。为解决上述技术问题，本专利技术提供一种对象存储系统中的存储方法，包括：在对象存储系统的数据存储池中，预先创建纠删存储池和副本存储池；在接收到待存储数据时，按所述待存储数据的大小将所述待存储数据存入所述纠删存储池或所述副本存储池，以使所述待存储数据中的小文件数据存入所述副本存储池。可选的，所述按所述待存储数据的大小将所述待存储数据存入所述纠删存储池或所述副本存储池，以使所述待存储数据中的小文件数据存入所述副本存储池，具体包括：判断所述待存储数据中的对象数据的大小是否小于预设阈值；如果是，则将所述对象数据存入所述副本存储池；如果否，则将所述对象数据存入所述纠删存储池。可选的，所述预设阈值为512KB。可选的，所述预设阈值为4KB。可选的，所述按所述待存储数据的大小将所述待存储数据存入所述纠删存储池或所述副本存储池，以使所述待存储数据中的小文件数据存入所述副本存储池，具体包括：判断所述对象数据的大小是否大于512KB；如果是，则将所述对象数据切分为头对象数据和条带对象数据，并将所述头对象数据存入所述副本存储池，将所述条带对象数据存储所述纠删存储池；如果否，则将所述对象数据存入所述副本存储池。可选的，所述将所述头对象数据存入所述副本存储池，将所述条带对象数据存储所述纠删存储池，具体包括：读取切分后的对象数据；计算所述切分后的对象数据的对象标识符；根据所述对象标识符判断所述切分后的对象数据是否为所述头对象数据；如果是所述头对象数据，则将所述头对象数据存入缓存空间；如果不是所述头对象数据，则确定所述切分后的对象数据为条带对象数据，并将所述条带对象数据存入所述纠删存储池；判断是否对所述切分后的对象数据读取完毕；如果读取完毕，则将所述缓存空间中的头对象数据存入所述副本存储池；如果未读取完毕，则返回所述读取切分后的对象数据的步骤。可选的，所述将所述头对象数据存入所述副本存储池，将所述条带对象数据存储所述纠删存储池，具体为：调用librados接口，将所述头对象数据存入所述副本存储池，将所述条带对象数据存储所述纠删存储池。为解决上述技术问题，本专利技术还提供一种对象存储系统中的存储装置，包括：创建单元，用于在对象存储系统的数据存储池中，预先创建纠删存储池和副本存储池；存储单元，用于在接收到待存储数据时，按所述待存储数据的大小将所述待存储数据存入所述纠删存储池或所述副本存储池，以使所述待存储数据中的小文件数据存入所述副本存储池。为解决上述技术问题，本专利技术还提供一种对象存储系统中的存储设备，包括：存储器，用于存储指令，所述指令包括上述任意一项所述对象存储系统中的存储方法的步骤；处理器，用于执行所述指令。为解决上述技术问题，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述对象存储系统中的存储方法的步骤。本专利技术所提供的对象存储系统中的存储方法，通过在对象存储系统的数据存储池中，预先创建纠删存储池和副本存储池，在接收到待存储数据时，按待存储数据的大小将待存储数据存入纠删存储池或副本存储池，以使待存储数据中的小文件数据存入副本存储池，弥补了目前的对象存储系统中在存储小文件数据时，将小文件数据也放入纠删存储池导致对象存储系统存储效率低的问题，在一些存在大量小文件数据的存储任务中，显著提高了磁盘利用率，更能满足上传需求。本专利技术还提供一种对象存储系统中的存储装置、存储设备及计算机可读存储介质，具有上述有益效果，在此不再赘述。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种对象存储系统中的存储方法的流程图；图2为本专利技术实施例提供的一种图1中步骤S102的具体实施方式的流程图；图3为本专利技术实施例提供的一种图2中步骤S203的具体实施方式的流程图；图4为本专利技术实施例提供的一种对象存储系统中的存储装置的结构示意图；图5为本专利技术实施例提供的一种对象存储系统中的存储设备的结构示意图。具体实施方式本专利技术的核心是提供一种对象存储系统中的存储方法、存储装置、存储设备及计算机可读存储介质，用于提高对象存储系统的存储效率。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的一种对象存储系统中的存储方法的流程图。如图1所示，本专利技术实施例提供的对象存储系统中的存储方法包括：S101：在对象存储系统的数据存储池中，预先创建纠删存储池和副本存储池。在具体实施中，在对象存储系统的数据存储池中，创建纠删存储池和副本存储池，配置小文件识别规则，并将对象存储系统的存储规则配置为大小文件分池存储规则。S102：在接收到待存储数据时，按待存储数据的大小将待存储数据存入纠删存储池或副本存储池，以使待存储数据中的小文件数据存入副本存储池。接收客户端上传的待存储数据，待存储数据中包括多个文件，按文件的大小将文件存入纠删存储池或副本存储池。其中，将小文件存入副本存储本文档来自技高网...

【技术保护点】
1.一种对象存储系统中的存储方法，其特征在于，包括：/n在对象存储系统的数据存储池中，预先创建纠删存储池和副本存储池；/n在接收到待存储数据时，按所述待存储数据的大小将所述待存储数据存入所述纠删存储池或所述副本存储池，以使所述待存储数据中的小文件数据存入所述副本存储池。/n

【技术特征摘要】
1.一种对象存储系统中的存储方法，其特征在于，包括：
在对象存储系统的数据存储池中，预先创建纠删存储池和副本存储池；
在接收到待存储数据时，按所述待存储数据的大小将所述待存储数据存入所述纠删存储池或所述副本存储池，以使所述待存储数据中的小文件数据存入所述副本存储池。


2.根据权利要求1所述的存储方法，其特征在于，所述按所述待存储数据的大小将所述待存储数据存入所述纠删存储池或所述副本存储池，以使所述待存储数据中的小文件数据存入所述副本存储池，具体包括：
判断所述待存储数据中的对象数据的大小是否小于预设阈值；
如果是，则将所述对象数据存入所述副本存储池；
如果否，则将所述对象数据存入所述纠删存储池。


3.根据权利要求2所述的存储方法，其特征在于，所述预设阈值为512KB。


4.根据权利要求2所述的存储方法，其特征在于，所述预设阈值为4KB。


5.根据权利要求1所述的存储方法，其特征在于，所述按所述待存储数据的大小将所述待存储数据存入所述纠删存储池或所述副本存储池，以使所述待存储数据中的小文件数据存入所述副本存储池，具体包括：
判断所述对象数据的大小是否大于512KB；
如果是，则将所述对象数据切分为头对象数据和条带对象数据，并将所述头对象数据存入所述副本存储池，将所述条带对象数据存储所述纠删存储池；
如果否，则将所述对象数据存入所述副本存储池。


6.根据权利要求5所述的存储方法，其特征在于，所述将所述头对象数据存入所述副本存储池，将所述条带对象数据存储所述纠删存储池，具体包括：
读取切分后...

【专利技术属性】
技术研发人员：赵煜，胡永刚，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东;37