一种日志数据管理方法及系统技术方案

本发明专利技术涉及日志数据处理技术领域，具体涉及了一种日志数据管理方法及系统，该方法包括：当检测到针对目标数据文件的变更操作时，将变更操作的日志数据缓存至预设的内存空间；判断内存空间中缓存数据的数据量是否达到预设的转存阈值；当判定数据量达到转存阈值时，将当前内存空间中的缓存数据写入硬盘。这样，由于相较硬盘而言内存具有较高的读写速度，即使频繁发起变更操作，也能保证较高的日志数据写入速度(即日志数据存入内存空间的速度)，同时也避免了频繁访问硬盘影响系统性能的情况。可见，本发明专利技术有效解决了现有技术中当频繁发起变更操作时，频繁访问硬盘降低日志数据写入速度的问题。

【技术实现步骤摘要】

本专利技术涉及日志数据处理
，特别是涉及一种日志数据管理方法及系统。
技术介绍
众所周知，日志文件是用于记录系统操作事件的记录文件或文件集合，操作系统有操作系统日志文件，文件系统有文件系统日志文件，等等。不同的日志文件记载不同的信息。例如，事务日志文件是数据库结构中非常重要却又常被忽视的部分。它是用来记录数据库更新情况的文件，它可以记录针对数据库的任何操作，并将记录的结果保存到独立的文件中。对于每一次数据库更新的过程，事务日志文件都有非常全面的记录。根据这些记录可以恢复数据库更新前的状态。在现有的日志数据管理方法中，当针对目标数据文件发起变更操作时，在将变更数据写入目标数据文件之前，会将这次变更操作的日志数据直接写入硬盘中的日志文件，以便需要时从日志文件中读出日志数据来恢复数据文件，进而保证数据文件的一致性。然而，当频繁发起变更操作时，需要频繁地访问硬盘来将相应的日志数据写入其中，而硬盘的读写速度低，这会影响日志数据的写入速度同时频繁地访问硬盘也会影响整个系统的性能，这是用户不想看到的。
技术实现思路
有鉴于此，本专利技术提供了一种日志数据管理方法及系统，以解决现有技术中当频繁发起变更操作时，频繁访问硬盘降低日志数据写入速度的问题。为解决上述技术问题，本专利技术提供一种日志数据管理方法，该方法包括：当检测到针对目标数据文件的变更操作时，将所述变更操作的日<br>志数据缓存至预设的内存空间；判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值；当判定所述数据量达到所述转存阈值时，将当前所述内存空间中的所述缓存数据写入硬盘。上述方法中，优选地，在所述将所述变更操作的日志数据缓存至预设的内存空间时，还包括：启动定时器，并开始计时；在所述判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值之后，还包括：当判定所述数据量未达到所述转存阈值且计时达到预设时间阈值时，将当前所述内存空间中的所述缓存数据写入所述硬盘。上述方法中，优选地，所述内存空间为非易失性内存空间，该方法还包括：当所述非易失性内存空间出现掉电情况并重启时，利用所述非易失性内存空间中的缓存数据恢复所述目标数据文件中相应的数据。上述方法中，优选地，在所述将所述变更操作的日志数据缓存至预设的内存空间之前，还包括：创建所述非易失性内存空间，并确定所述非易失性内存空间的内存地址；所述将所述变更操作的日志数据缓存至预设的内存空间，包括：根据所述内存地址，查找并定位所述非易失性内存空间；将所述日志数据缓存至定位到的所述非易失性内存空间。本专利技术还提供了一种日志数据管理系统，该系统包括：缓存单元，用于当检测到针对目标数据文件的变更操作时，将所述变更操作的日志数据缓存至预设的内存空间；判断单元，用于判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值；写入单元，用于当判定所述数据量达到所述转存阈值时，将当前所述内存空间中的所述缓存数据写入硬盘。上述系统中，优选地，还包括：计时单元，用于在所述将所述变更操作的日志数据缓存至预设的内存空间时，启动定时器，并开始计时；所述写入单元还用于在所述判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值之后，当判定所述数据量未达到所述转存阈值且计时达到预设时间阈值时，将当前所述内存空间中的所述缓存数据写入所述硬盘。上述系统中，优选地，所述内存空间为非易失性内存空间，该系统还包括：恢复单元，用于当所述非易失性内存空间出现掉电情况并重启时，利用所述非易失性内存空间中的缓存数据恢复所述目标数据文件中相应的数据。上述系统中，优选地，还包括：创建单元，用于在所述将所述变更操作的日志数据缓存至预设的内存空间之前，创建所述非易失性内存空间，并确定所述非易失性内存空间的内存地址；所述缓存单元用于将所述变更操作的日志数据缓存至预设的内存空间，具体用于：根据所述内存地址，查找并定位所述非易失性内存空间；将所述日志数据缓存至定位到的所述非易失性内存空间。以上本专利技术提供的一种日志数据管理方法及系统中，引入用来缓存日志数据的内存空间，具体地，当检测到针对目标数据文件的变更操作时，先将所述变更操作的日志数据缓存至预设的内存空间；然后实时判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值；当判定所述数据量达到所述转存阈值时，将当前所述内存空间中的所述缓存数据统一成批写入硬盘。这样，由于相较硬盘而言内存具有较高的读写速度，即使频繁发起变更操作，也能保证较高的日志数据写入速度(即日志数据存入内存空间的速度)，同时也避免了频繁访问硬盘影响系统性能的情况。可见，本专利技术有效解决了现有技术中当频繁发起变更操作时，频繁访问硬盘降低日志数据写入速度的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种日志数据管理方法的流程图；图2为本专利技术实施例提供的一种日志数据管理系统的结构框图示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的核心是提供一种日志数据管理方法及系统，以解决现有技术中当频繁发起变更操作时，频繁访问硬盘降低日志数据写入速度的问题。为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。参考图1，图1示出了本专利技术实施例提供的一种日志数据管理方法的流程图，该方法具体可以包括如下步骤：步骤S100、当检测到针对目标数据文件的变更操作时，将变更操作的日志数据缓存至预设的内存空间。本专利技术实施例方法的执行主体为日志数据管理系统，主要针对那些需要进行日志记录的应用系统，比如操作系统、文件系统等等。对于目标数据文件，泛指那些在应用系统中接受变更操作的对象；变更...

【技术保护点】
一种日志数据管理方法，其特征在于，该方法包括：当检测到针对目标数据文件的变更操作时，将所述变更操作的日志数据缓存至预设的内存空间；判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值；当判定所述数据量达到所述转存阈值时，将当前所述内存空间中的所述缓存数据写入硬盘。

【技术特征摘要】
1.一种日志数据管理方法，其特征在于，该方法包括：
当检测到针对目标数据文件的变更操作时，将所述变更操作的日
志数据缓存至预设的内存空间；
判断所述内存空间中缓存数据的数据量是否达到预设的转存阈
值；
当判定所述数据量达到所述转存阈值时，将当前所述内存空间中
的所述缓存数据写入硬盘。
2.如权利要求1所述的方法，其特征在于，在所述将所述变更
操作的日志数据缓存至预设的内存空间时，还包括：
启动定时器，并开始计时；
在所述判断所述内存空间中缓存数据的数据量是否达到预设的
转存阈值之后，还包括：
当判定所述数据量未达到所述转存阈值且计时达到预设时间阈
值时，将当前所述内存空间中的所述缓存数据写入所述硬盘。
3.如权利要求1或2所述的方法，其特征在于，所述内存空间
为非易失性内存空间，该方法还包括：
当所述非易失性内存空间出现掉电情况并重启时，利用所述非易
失性内存空间中的缓存数据恢复所述目标数据文件中相应的数据。
4.如权利要求3所述的方法，其特征在于，在所述将所述变更
操作的日志数据缓存至预设的内存空间之前，还包括：
创建所述非易失性内存空间，并确定所述非易失性内存空间的内
存地址；
所述将所述变更操作的日志数据缓存至预设的内存空间，包括：
根据所述内存地址，查找并定位所述非易失性内存空间；
将所述日志数据缓存至定位到的所述非易失性内存空间。
5.一种日志数据管理系统，其特征在于，该系统包括：
缓存单...

【专利技术属性】
技术研发人员：闫晓峰，吴楠，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11