本申请公开了一种分布式存储方法、装置以及介质，在从客户端接收到文件后，在访问过程中产生的日志文件中过滤出存有文件的元数据信息的目标日志文件，根据该目标日志文件能够确定文件的实际大小，判断文件的实际大小是否小于预先设置的阈值以确定该文件是大文件还是小文件，进而根据文件的实际大小将文件存入存储设备中不同的存储池。相对于当前技术中，大小文件混合存放，无法区分文件的大小，使小文件的读写制约大文件读写性能，进而导致存储系统整体性能下降。采用本技术方案，根据日志确定文件的大小，并将大文件和小文件分开存放，有效避免了小文件对大文件读写性能的制约，提高了存储系统整体性能。提高了存储系统整体性能。提高了存储系统整体性能。
【技术实现步骤摘要】
一种分布式存储方法、装置以及介质
[0001]本申请涉及分布式存储
，特别是涉及一种分布式存储方法、装置以及介质。
技术介绍
[0002]分布式存储文件系统具有高扩展性、高可靠性、高性能的特点，因此，大部分数据中心的海量数据采用分布式存储系统进行存储管理，以对海量文件进行高效存储和管理。
[0003]但是在分布式存储文件系统的使用中，混合文件的存储场景比较广泛，其特点是文件大小不一，一个文件大小范围从字节Byte到GB级别，且文件类型无规律，当前技术中无法有效区分混合文件，小文件的频繁混合读写会制约大文件的读写性能，导致存储系统整体性能下降。
[0004]由此可见，如何在分布式存储文件系统中区分混合文件是本领域技术人员亟待解决的问题。
技术实现思路
[0005]本申请的目的是提供一种分布式存储方法、装置以及介质，用于在分布式存储文件系统中区分混合文件。
[0006]为解决上述技术问题，本申请提供一种分布式存储方法，该方法包括：
[0007]获取客户端发送的文件；
[0008]从日志文件中获取存有所述文件的元数据信息的目标日志文件；
[0009]根据所述目标日志文件，确定所述文件的实际大小；
[0010]判断所述文件的实际大小是否小于阈值，若小于，则确认所述文件为小文件，若不小于，则确认所述文件为大文件；
[0011]根据所确定出的所述文件的实际大小将所述文件存入存储设备中不同的存储池。
[0012]优选的，在所述根据所确定出的所述文件的实际大小将所述文件存入存储设备中不同的存储池的步骤之后，还包括：
[0013]统计所述存储设备中各大小文件的占比情况。
[0014]优选的，在所述根据所确定出的所述文件的实际大小将所述文件存入存储设备中不同的存储池的步骤之前，还包括：
[0015]获取所述文件的写入类型，其中，所述写入类型包括追加写、对齐覆盖写、非对齐覆盖写；
[0016]进一步的，所述根据所述文件的大小将所述文件存入存储设备中不同的存储池包括：
[0017]根据所述文件的大小以及写入类型将所述文件存入所述存储设备中不同的存储池。
[0018]优选的，若所述写入类型为对齐覆盖写，则所述文件存入所述存储设备的对应的
所述存储池包括：
[0019]将所述文件的待写入数据写入对应的所述存储池的对应位置；
[0020]根据所述对应位置更新元数据索引。
[0021]优选的，若所述写入类型为非对齐覆盖写，则所述文件存入所述存储设备的对应的所述存储池包括：
[0022]读取所述存储池的待写入位置的原始数据，并与所述文件的待写入数据进行合并；
[0023]将合并后的数据重新写入所述待写入位置。
[0024]优选的，所述存储池包括副本池和纠删池，其中，所述副本池为2个，所述副本池以副本的形式实现对所述文件的备份，所述纠删池根据纠删码算法对所述文件进行备份。
[0025]优选的，所述根据所述文件的大小将所述文件存入存储设备中不同的存储池包括：
[0026]若所述文件为小文件，则将所述文件存入所述副本池；若所述文件为大文件，则将所述文件存入所述纠删池。
[0027]为解决上述技术问题，本申请还提供一种分布式存储装置，该装置包括：
[0028]第一获取模块，用于获取客户端发送的文件；
[0029]第二获取模块，用于从日志文件中获取存有所述文件的元数据信息的目标日志文件；
[0030]确定模块，用于根据所述目标日志文件，确定所述文件的实际大小；
[0031]判断模块，用于判断所述文件的实际大小是否小于阈值，若小于，则确认所述文件为小文件，若不小于，则确认所述文件为大文件；
[0032]存储模块，用于根据所确定出的所述文件的实际大小将所述文件存入存储设备中不同的存储池。
[0033]为解决上述技术问题，本申请还提供另一种分布式存储装置，该装置包括存储器，用于存储计算机程序；
[0034]处理器，用于执行所述计算机程序时实现如上述的分布式存储方法的步骤。
[0035]为解决上述技术问题，本申请还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的分布式存储方法的步骤。
[0036]本申请所提供的分布式存储方法，在从客户端接收到文件后，在访问过程中产生的日志文件中过滤出存有文件的元数据信息的目标日志文件，根据该目标日志文件能够确定文件的实际大小，判断文件的实际大小是否小于预先设置的阈值以确定该文件是大文件还是小文件，进而根据文件的实际大小将文件存入存储设备中不同的存储池。相对于当前技术中，大小文件混合存放，无法区分文件的大小，使小文件的读写制约大文件读写性能，进而导致存储系统整体性能下降。采用本技术方案，根据日志确定文件的大小，并将大文件和小文件分开存放，有效避免了小文件对大文件读写性能的制约，提高了存储系统整体性能。
[0037]此外，本申请所提供的分布式存储装置以及介质与上述分布式存储方法相对应，效果同上。
附图说明
[0038]为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1为本申请实施例提供的一种分布式存储方法的流程图；
[0040]图2为本申请实施例提供的一种分布式存储装置的结构图；
[0041]图3为本申请实施例提供的另一种分布式存储装置的结构图。
具体实施方式
[0042]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
[0043]本申请的核心是提供一种分布式存储方法、装置以及介质，用于在分布式存储文件系统中区分混合文件。
[0044]为了使本
的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
[0045]图1为本申请实施例提供的一种分布式存储方法的流程图，如图1所示，该方法包括：
[0046]S10：获取客户端发送的文件。
[0047]S11：从日志文件中获取存有文件的元数据信息的目标日志文件。
[0048]S12：根据目标日志文件，确定文件的实际大小。
[0049]S13：判断文件的实际大小是否小于阈值，若小于，则进入步骤S131，若不小于，则进入步骤S132。
[0050]S131：确认文件为小文件。
[0051]S132：确认文件为大文本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分布式存储方法，其特征在于，包括：获取客户端发送的文件；从日志文件中获取存有所述文件的元数据信息的目标日志文件；根据所述目标日志文件，确定所述文件的实际大小；判断所述文件的实际大小是否小于阈值，若小于，则确认所述文件为小文件，若不小于，则确认所述文件为大文件；根据所确定出的所述文件的实际大小将所述文件存入存储设备中不同的存储池。2.根据权利要求1所述的分布式存储方法，其特征在于，在所述根据所确定出的所述文件的实际大小将所述文件存入存储设备中不同的存储池的步骤之后，还包括：统计所述存储设备中各大小文件的占比情况。3.根据权利要求1所述的分布式存储方法，其特征在于，在所述根据所确定出的所述文件的实际大小将所述文件存入存储设备中不同的存储池的步骤之前，还包括：获取所述文件的写入类型，其中，所述写入类型包括追加写、对齐覆盖写、非对齐覆盖写；进一步的，所述根据所述文件的大小将所述文件存入存储设备中不同的存储池包括：根据所述文件的大小以及写入类型将所述文件存入所述存储设备中不同的存储池。4.根据权利要求3所述的分布式存储方法，其特征在于，若所述写入类型为对齐覆盖写，则所述文件存入所述存储设备的对应的所述存储池包括：将所述文件的待写入数据写入对应的所述存储池的对应位置；根据所述对应位置更新元数据索引。5.根据权利要求3所述的分布式存储方法，其特征在于，若所述写入类型为非对齐覆盖写，则所述文件存入所述存储设备的对应的所述存储池包括：读取所述存储池的待写...
【专利技术属性】
技术研发人员：臧林劼，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。