一种分布式文件存储方法、装置、处理器及存储介质制造方法及图纸

本发明专利技术公开了一种分布式文件存储方法、装置、处理器和存储介质，可应用于分布式文件系统，所述分布式文件系统用于进行块存储、文件存储和对象存储；所述块存储、文件存储和对象存储在存储时均以底层的对象object形式存储。所述方法包括：将多个所述object对应的第一数据类型序列化时转换为第二数据类型的数据保存在一个容器中；所述第二数据类型所占字节数小于所述第一数据类型所占字节数；所述第一数据类型包含所述object的特征信息；从所述容器中读取数据时，将所述第二数据类型的数据反序列化时转换为所述object对应的第一数据类型。利用本发明专利技术提供的方法，能够降低存储文件时文件占用的存储空间，提高存储效率。

A Distributed File Storage Method, Device, Processor and Storage Media

The invention discloses a distributed file storage method, device, processor and storage medium, which can be applied to distributed file system. The distributed file system is used for block storage, file storage and object storage, and the block storage, file storage and object storage are stored in the form of object at the bottom. The method includes: storing in a container the data converted to the second data type when serializing the first data type corresponding to the multiple objects; the number of bytes occupied by the second data type is less than the number of bytes occupied by the first data type; the first data type contains the characteristic information of the object; and reading the second data from the container. When the data of the type is deserialized, it is converted to the first data type corresponding to the object. The method provided by the invention can reduce the storage space occupied by the file when storing the file and improve the storage efficiency.

【技术实现步骤摘要】
一种分布式文件存储方法、装置、处理器及存储介质
本专利技术涉及数据存储
，尤其涉及一种分布式文件存储方法、装置、处理器及存储介质。
技术介绍
随着计算机技术和网络技术的飞速发展，存储成本在不断降低，存储容量和数据总线带宽的增长速度无法满足应用需求，海量数据的存储逐渐成为互联网技术发展急需解决的问题，人们对于分布式文件系统技术的研究也越来越成熟。现阶段分布式文件系统在存储底层的对象object时需要采用映射操作，该映射操作将每个object映射到一个PG(Placementgroup，放置组)，每个PG又映射到一个OSD(Object-basedStorage，对象存储设备)，这样object就存放在每个OSD上挂载的磁盘中，现有技术中通常在存放每个object时会为其分配具有固定值的存储空间，例如每个存放的object都被分配了大小为4M的存储空间，每个object存储时都会占用4M存储空间，但存放一个object真正使用的存储空间往往小于该固定值，这就导致了每个object存放后都会浪费一定大小的存储空间，降低了储存效率。
技术实现思路
为了解决现有技术存在的技术问题，本专利技术提供了一种分布式文件存储方法、装置、处理器及存储介质，能够降低存储文件时文件占用的存储空间。本申请提供了一种分布式文件存储方法，应用于分布式文件系统，所述分布式文件系统用于进行块存储、文件存储和对象存储；所述块存储、文件存储和对象存储在存储时均以底层的对象object形式存储；该方法包括：将多个所述object对应的第一数据类型序列化时转换为第二数据类型的数据保存在一个容器中；所述第二数据类型所占字节数小于所述第一数据类型所占字节数；所述第一数据类型包含所述object的特征信息；从所述容器中读取数据时，将所述第二数据类型的数据反序列化时转换为所述object对应的第一数据类型。可选的，所述第二数据类型字符串类型。可选的，所述容器容纳16个所述第一数据类型的object。可选的，所述第一数据类型所占字节数大于20个字节，所述第二数据类型所占字节数大于10个字节且小于20个字节。本申请实施例还提供了一种分布式文件存储装置，应用于分布式文件系统，所述分布式文件系统用于进行块存储、文件存储和对象存储；所述块存储、文件存储和对象存储在存储时均以底层的对象object形式存储；该装置包括：第一转换单元，用于将多个所述object对应的第一数据类型序列化时转换为第二数据类型的数据保存在一个容器中；所述第二数据类型所占字节数小于所述第一数据类型所占字节数；所述第一数据类型包含所述object的特征信息；第二转换单元，用于从所述容器中读取数据时，将所述第二数据类型的数据反序列化时转换为所述object对应的第一数据类型。可选的，所述第二数据类型字符串类型。可选的，所述容器容纳16个所述第一数据类型的object。可选的，所述第一数据类型所占字节数大于20个字节，所述第二数据类型所占字节数大于10个字节且小于20个字节。本申请实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述分布式文件存储方法。本申请实施例还提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述分布式文件存储方法。与现有技术相比，本专利技术至少具有以下优点：本申请提出的方法将多个所述object对应的第一数据类型序列化时转换为第二数据类型的数据保存在一个容器中，其中可以通过同时处理多个所述object，来减少操作的执行的次数，而因为所述第二数据类型所占字节数小于所述第一数据类型所占字节数，在完成序列化时的数据类型转换后，储存第二数据类型的数据占用的空间会小于原数据占用的存储空间；从所述容器中读取数据时，将所述第二数据类型的数据反序列化时转换为所述object对应的第一数据类型即可。利用本申请提出的分布式文件储存方法，可以有效降低存储文件时文件占用的存储空间。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本申请实施例一提供的一种分布式文件存储方法的流程图；图2为本申请实施例二提供的一种分布式文件存储方法的流程图；图3为本申请实施例三提供的一种分布式文件存储装置的示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一：参见图1，该图为本申请实施例一提供的一种分布式文件存储方法的流程图。本实施例所述方法包括：S101：将多个所述object对应的第一数据类型序列化时转换为第二数据类型的数据保存在一个容器中。本申请实施例应用于分布式文件系统，所述分布式文件系统可以用于进行块存储、文件存储和对象存储。所述块存储、文件存储和对象存储在存储时均以底层的对象object的形式存储。本实施例中，可以先为每个object设置大小固定的存储空间，将多个object同时进行序列化，所述序列化目的是将数据结构表示为二进制流的方式，以便通过网络传输或保存在磁盘等存储介质上，同时对多个object进行处理与采用串行方法逐个对object进行处理相比，明显更加效率。举例说明如下，若所述容器可以容纳16个所述第一数据类型的object，每个object占用的存储空间都是4M，此时第一数据类型的数据共占用64M的存储空间，在序列化时一次将16个object对应的第一数据类型转换为第二数据类型，这一过程采用了对象聚合的方法，即将16个object聚合起来同时处理，这样处理的执行次数是原来的1/16，与采用串行方法逐个对object进行处理相比，明显更加效率。在序列化时将第一数据类型序列化时转换为第二数据类型的数据，其中所述第二数据类型所占字节数小于所述第一数据类型所占字节数，所以存储同样的信息时，用第二数据类型的数据存储信息占用的存储空间较小；所述第一数据类型包含所述object的特征信息。本实施例所述第一数据类型所占字节数大于20个字节，所述第二数据类型所占字节数大于10个字节且小于20个字节。本实施例中，因为所述第一数据类型包含所述object的特征信息，所以在只进行数据转换后得到的第二数据类型也会包含所述object的特征信息，即在转换过程中所述object的特征信息不会丢失。S102：从所述容器中读取数据时，将所述第二数据类型的数据反序列化时转换为所述object对应的第一数据类型。反序列化是上述序列化的反过程，在反序列化时完成上述由第二数据类型转换为第一数据类型，以实现数据的读取。本申请实施例提出的方法将多个所述object对应的第一数据类型序列化时转换为第二数据类型的数据保存在一个容器中，其中可以通过同时处理多个所述object，来减少操作的执行的次数，而因为所述本文档来自技高网...

【技术保护点】
1.一种分布式文件存储方法，其特征在于，应用于分布式文件系统，所述分布式文件系统用于进行块存储、文件存储和对象存储；所述块存储、文件存储和对象存储在存储时均以底层的对象object形式存储；该方法包括：将多个所述object对应的第一数据类型序列化时转换为第二数据类型的数据保存在一个容器中；所述第二数据类型所占字节数小于所述第一数据类型所占字节数；所述第一数据类型包含所述object的特征信息；从所述容器中读取数据时，将所述第二数据类型的数据反序列化时转换为所述object对应的第一数据类型。

【技术特征摘要】
1.一种分布式文件存储方法，其特征在于，应用于分布式文件系统，所述分布式文件系统用于进行块存储、文件存储和对象存储；所述块存储、文件存储和对象存储在存储时均以底层的对象object形式存储；该方法包括：将多个所述object对应的第一数据类型序列化时转换为第二数据类型的数据保存在一个容器中；所述第二数据类型所占字节数小于所述第一数据类型所占字节数；所述第一数据类型包含所述object的特征信息；从所述容器中读取数据时，将所述第二数据类型的数据反序列化时转换为所述object对应的第一数据类型。2.根据权利要求1所述的分布式文件存储方法，其特征在于，所述第二数据类型字符串类型。3.根据权利要求1所述的分布式文件存储方法，其特征在于，所述容器容纳16个所述第一数据类型的object。4.根据权利要求2所述的分布式文件存储方法，其特征在于，所述第一数据类型所占字节数大于20个字节，所述第二数据类型所占字节数大于10个字节且小于20个字节。5.一种分布式文件存储装置，其特征在于，应用于分布式文件系统，所述分布式文件系统用于进行块存储、文件存储和对象存储；所述块存储、文件存储和...

【专利技术属性】
技术研发人员：张露露，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41