一种数据落盘方法、装置、设备及介质制造方法及图纸

本申请公开了一种数据落盘方法、装置、设备及介质，涉及数据缓存领域。本申请所提供的一种数据落盘方法，应用于使用数据缓存桶将数据落盘的系统，首先由刷新机制更新数据缓存桶的容量，使得数据缓存桶的容量可以随着数据产生的多少进行变化，若产生的数据过多，可以是缓存桶的容量相应的增大，通过判断此时数据缓存桶内数据是否大于桶的容量，实现数据的落盘，采用本方法可以做到无论产生的数据多与少，都能够及时落盘，避免了产生大量数据无法落盘从而数据溢出的发生，减少磁盘IO的占用，提高了程序性能。本申请还提供了一种数据落盘装置、设备及介质，与上述方法相对应，故与数据落盘方法的有益效果相同。落盘方法的有益效果相同。落盘方法的有益效果相同。

【技术实现步骤摘要】
一种数据落盘方法、装置、设备及介质


[0001]本申请涉及数据缓存领域，特别是涉及一种数据落盘方法、装置、设备及介质。

技术介绍

[0002]终端审计类和安全防护类产品，往往是基于审计日志的分析实现，对于审计日志的分析有两种方式，分别是将审计日志上报给服务器由服务端处理分析和在终端对审计日志进行处理分析后再上报给服务器，无论是哪种分析审计日志的方式，都有可能会有大量数据场景下的数据堆积，从而无法及时落盘导致系统程序崩溃的问题。
[0003]基于密集数据无法及时落盘的问题，目前使用缓冲队列或者数据分桶的方式，使用缓冲队列虽然增加了一定的数据缓冲空间，但也只能短暂地解决数据落盘不及时的问题，长时间的数据积压可能会导致缓冲区溢出。使用数据分桶，可以解决大量数据产生时的数据落盘问题，但终端审计产品一般批量部署，有的终端数据多，有的终端数据少，且可能根据时间的不同数据量也有不同，若产生数据的量少，短时间内数据桶装不满就不能使桶内的数据落盘。
[0004]基于此，寻求一种可以无论是在大量数据产生的情况或者少量数据产生的情况下的数据及时落盘方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据落盘方法，应用于使用数据缓存桶将数据落盘的系统，其特征在于，该方法包括：使用刷新机制更新所述数据缓存桶的容量；获取所述数据缓存桶内的数据缓存量；判断所述数据缓存量是否满足将所述数据缓存桶内的数据下刷至磁盘的条件；若是，则下刷所述数据缓存桶内的数据至磁盘；若否，则返回所述获取所述数据缓存桶内的数据缓存量的步骤。2.根据权利要求1所述的数据落盘方法，其特征在于，所述使用刷新机制更新所述数据缓存桶的容量包括：重置所述数据缓存桶的数据长度的值为1；计算预设时间内所述数据缓存桶内数据的增长量；将所述增长量赋值给所述数据缓存桶的容量。3.根据权利要求2所述的数据落盘方法，其特征在于，所述判断所述数据缓存量是否满足将所述数据缓存桶内的数据下刷至磁盘的条件包括：判断所述数据缓存桶的长度是否大于所述数据缓存桶的容量；若所述数据缓存桶的长度大于所述数据缓存桶的容量，则下刷所述数据缓存桶内的数据至磁盘；若所述数据缓存桶的长度不大于所述数据缓存桶的容量，则返回所述获取所述数据缓存桶内的数据缓存量的步骤。4.根据权利要求3所述的数据落盘方法，其特征在于，所述获取所述数据缓存桶内的数据缓存量步骤之前，还包括：将所述数据按照产生的时间先后顺序放入所述数据缓存桶。5.根据权利要求1至4任意一项所述的数据落盘方法，其特征在于，所述判断所述数据缓存量是否满足将所述数据缓存桶内的数据下刷至磁盘的条件之...

【专利技术属性】
技术研发人员：颜迎松，刘博，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：