一种文件系统缓存增量刷新方法及系统技术方案

本发明专利技术提供了一种文件系统缓存增量刷新方法，包括：读取文件系统缓存记录信息，缓存记录信息中包含缓存数据大小和缓存偏移量；判断缓存数据大小是否为0；当缓存数据大小不为0时，判断缓存数据大小是否大于缓存偏移量；当缓存数据大小大于缓存偏移量时，将缓存数据偏移量与缓存数据大小之间的缓存数据增量刷新落盘。本发明专利技术能够实现缓存安全、高效、快速的刷新。本发明专利技术还提供了一种文件系统缓存增量刷新系统。

【技术实现步骤摘要】
一种文件系统缓存增量刷新方法及系统
本专利技术涉及数据处理
，更具体地说，涉及一种文件系统缓存增量刷新方法及系统。
技术介绍
在海量存储源文件的场景中，源文件的频繁创建、读写、下盘引出了很多问题，有很多公司针对这种场景将源文件聚合成一个聚合文件。当创建源文件时，为提高写操作效率，采用写缓存模式即写入文件系统缓存即认为数据写成功，当缓存写满时数据落盘。但是在文件已存入缓存，但缓存尚未存满情况下，节点异常等情况下会导致使数据丢失。为让缓存中源文件安全落盘存储，通常采用定时刷新方案，将整个缓存全部数据刷新落盘。伴随着用户频繁的写入和定时刷新，落盘的缓存数据大小并不相等，由此为聚合文件的统一操作和小文件的管理会带来许多麻烦。因此，如何实现缓存安全、高效、快速的刷新是一项亟待解决的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种文件系统缓存增量刷新方法，能够实现缓存安全、高效、快速的刷新。为实现上述目的，本专利技术提供如下技术方案：一种文件系统缓存增量刷新方法，包括：读取文件系统缓存记录信息，所述缓存记录信息中包含缓存数据大小和缓存偏移量；判断所述缓存数据大小是否为0且所述缓存数据量大小是否等于所述缓存数据偏移量；当所述缓存数据大小不为0且不等于所述缓存数据偏移量时，判断所述缓存数据大小是否大于所述缓存偏移量；当所述缓存数据大小大于所述缓存偏移量时，将所述缓存数据偏移量与所述缓存数据大小之间的缓存数据增量刷新落盘。优选地，所述当所述缓存数据大小大于所述缓存偏移量时，将所述缓存数据偏移量与所述缓存数据大小之间的缓存数据增量刷新落盘后，还包括：更新所述文件系统缓存数据记录信息。优选地，所述读取文件系统缓存记录信息，所述缓存记录信息中包含缓存数据大小和缓存偏移量后，还包括：判断所述文件系统缓存数据记录信息距离上次更新的时间是否大于预设阈值；当所述文件系统缓存数据记录信息距离上次更新的时间大于预设阈值时，判断所述缓存数据大小是否为0且所述缓存数据量大小是否等于所述缓存数据偏移量。优选地，当所述缓存数据大小小于所述缓存偏移量时，记录失败信息。优选地，当所述缓存数据大小等于0或所述缓存偏移量等于所述缓存数据大小时，再次读取文件系统缓存记录信息。一种文件系统缓存增量刷新系统，包括：读取模块，用于读取文件系统缓存记录信息，所述缓存记录信息中包含缓存数据大小和缓存偏移量；第一判断模块，用于判断所述缓存数据大小是否为0且所述缓存数据量大小是否等于所述缓存数据偏移量；第二判断模块，用于当所述缓存数据大小不为0且不等于所述缓存数据偏移量时，判断所述缓存数据大小是否大于所述缓存偏移量；处理模块，用于当所述缓存数据大小大于所述缓存偏移量时，将所述缓存数据偏移量与所述缓存数据大小之间的缓存数据增量刷新落盘。优选地，所述系统还包括：更新模块，用于更新所述文件系统缓存数据记录信息。优选地，所述系统还包括：第三判断模块，用于判断所述文件系统缓存数据记录信息距离上次更新的时间是否大于预设阈值；当所述文件系统缓存数据记录信息距离上次更新的时间大于预设阈值时，所述第一判断模块判断所述缓存数据大小是否为0且所述缓存数据量大小是否等于所述缓存数据偏移量。优选地，当所述缓存数据大小小于所述缓存偏移量时，所述系统还包括：记录模块，用于记录失败信息。优选地，所述系统当所述缓存数据大小等于0或所述缓存偏移量等于所述缓存数据大小时，所述读取模块再次读取文件系统缓存记录信息。由上述技术方案可知，本专利技术提供了一种文件系统缓存增量刷新方法，当需要对文件系统缓存增量进行刷新时，首先读取文件系统缓存记录信息，其中，缓存记录信息中包含缓存数据大小和缓存偏移量；然后判断缓存数据大小是否为0且所述缓存数据量大小是否等于所述缓存数据偏移量；当缓存数据大小不为0且不等于所述缓存数据偏移量时，判断缓存数据大小是否大于缓存偏移量；当缓存数据大小大于缓存偏移量时，将缓存数据偏移量与缓存数据大小之间的缓存数据增量刷新落盘。通过在文件系统中记录缓存的缓存偏移量和缓存大小，并利用缓存偏移量和缓存大小实现缓存数据的增量存储，解决了定时刷新在不用刷新整个缓存的前提下聚合文件缓存大小不一致的问题，提高了缓存数据的安全性和存储的高效性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术公开的一种文件系统缓存增量刷新方法实施例1的方法流程图；图2为本专利技术公开的一种文件系统缓存增量刷新方法实施例2的方法流程图；图3为本专利技术公开的一种文件系统缓存增量刷新系统实施例1的结构示意图；图4为本专利技术公开的一种文件系统缓存增量刷新系统实施例2的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。为了更加特定地强调实施的独立性，本说明书涉及许多模块或单元。举例而言，模块或单元可由硬件电路实现，该硬件电路包括特制VLSI电路或门阵列，比如逻辑芯片、晶体管，或其它组件。模块或单元也可在可编程的硬设备中实现，比如场效可编程门阵列、可编程阵列逻辑、可编程逻辑设备等等。模块或单元也可在藉由各种形式的处理器所执行的软件中实现。比如说，一可执行码模块可包括一个或多个实体的或逻辑的计算机指令区块，该区块可能形成为，比如说，对象、程序或函数。然而，鉴别模块或单元的可执行部分不需要物理上放置在一起，但可由存于不同位置的不同指令所组成，当逻辑上组合在一起时，形成模块或单元且达到该模块或单元所要求的目的。实际上，可执行码模块或单元可以是一单一指令或多个指令，甚至可以分布在位于不同的程序的数个不同的码区段，并且横跨数个存储设备。同样地，操作数据可被辨识及显示于此模块或单元中，并且可以以任何合适的形式实施且在任何合适的数据结构形式内组织。操作数据可以集合成单一数据集，或可分布在具有不同的存储设备的不同的位置，且至少部分地只以电子信号方式存在于一系统或网络。本说明书所提及的“实施例”或类似用语表示与实施例有关的特性、结构或特征，包括在本专利技术的至少一实施例中。因此，本说明书所出现的用语“在一实施例中”、“在实施例中”以及类似用语可能但不必然都指向相同实施例。再者，本专利技术所述特性、结构或特征可以以任何方式结合在一个或多个实施例中。以下说明将提供许多特定的细节，比如编程序、软件模块、用户选择、网络交易、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片等例子，以提供对本专利技术实施例的了解。然而相关领域的普通技术人员将看出本专利技术，即使没有利用其中一个或多个特定细节，或利用其它方法、组件、材料等亦可实施。另一方面，为避免混淆本专利技术，公知的结构、材料或操作并没有详细描述。如图1所示，为本专利技术公开的一种文件系统缓存增量刷新方法实施例1的流程图，本方法包括以下步骤：S101、读取文件系统缓存记录信息，其本文档来自技高网...

【技术保护点】
一种文件系统缓存增量刷新方法，其特征在于，包括：读取文件系统缓存记录信息，所述缓存记录信息中包含缓存数据大小和缓存偏移量；判断所述缓存数据大小是否为0且所述缓存数据量大小是否等于所述缓存数据偏移量；当所述缓存数据大小不为0且不等于所述缓存数据偏移量时，判断所述缓存数据大小是否大于所述缓存偏移量；当所述缓存数据大小大于所述缓存偏移量时，将所述缓存数据偏移量与所述缓存数据大小之间的缓存数据增量刷新落盘。

【技术特征摘要】
1.一种文件系统缓存增量刷新方法，其特征在于，包括：读取文件系统缓存记录信息，所述缓存记录信息中包含缓存数据大小和缓存偏移量；判断所述缓存数据大小是否为0且所述缓存数据量大小是否等于所述缓存数据偏移量；当所述缓存数据大小不为0且不等于所述缓存数据偏移量时，判断所述缓存数据大小是否大于所述缓存偏移量；当所述缓存数据大小大于所述缓存偏移量时，将所述缓存数据偏移量与所述缓存数据大小之间的缓存数据增量刷新落盘。2.根据权利要求1所述的方法，其特征在于，所述当所述缓存数据大小大于所述缓存偏移量时，将所述缓存数据偏移量与所述缓存数据大小之间的缓存数据增量刷新落盘后，还包括：更新所述文件系统缓存数据记录信息。3.根据权利要求2所述的方法，其特征在于，所述读取文件系统缓存记录信息，所述缓存记录信息中包含缓存数据大小和缓存偏移量后，还包括：判断所述文件系统缓存数据记录信息距离上次更新的时间是否大于预设阈值；当所述文件系统缓存数据记录信息距离上次更新的时间大于预设阈值时，判断所述缓存数据大小是否为0且所述缓存数据量大小是否等于所述缓存数据偏移量。4.根据权利要求3所述的方法，其特征在于，当所述缓存数据大小小于所述缓存偏移量时，记录失败信息。5.根据权利要求4所述的方法，其特征在于，当所述缓存数据大小等于0或所述缓存偏移量等于所述缓存数据大小时，再次读取...

【专利技术属性】
技术研发人员：李文鹏，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41