【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种日志存储的方法和装置。
技术介绍
1、在现有的日志存储过程中，通常是将邮件网关中获取的邮件日志直接存储至搜索引擎的数据库中，以便于后续利用搜索引擎进行数据的查询。由于一封邮件对应于不同的收件人会产生多条邮件日志，因此邮件日志存在数据量大、并发多、以及实时性高的特点，且多个邮件日志之间存在着关联关系。因此直接将大量的邮件日志存储至搜索引擎存在着存储效率慢的问题，且占用搜索引擎的使用内存，进而影响到搜索引擎的查询性能。
技术实现思路
1、有鉴于此，本专利技术实施例提供一种日志存储的方法和装置，通过设置临时缓存对目标日志进行存储，可以避免直接将日志存储至搜索引擎所导致的问题，提高了存储效率。同时在临时缓存中采用数据集的方式进行存储，可以对具备相同第一日志标识的数据进行整合，有效降低了需要存储至搜索引擎中的数据总量，进一步提高了存储效率。
2、为实现上述目的，根据本专利技术实施例的一个方面，提供了一种日志存储的方法。
3、本专利技术实施例的一种日志存储的方法包括：获取目标日志；确定临时缓存中是否存在与所述目标日志对应的第一日志标识；如果是，则根据所述目标日志对所述第一日志标识对应的数据集进行更新；其中，在所述临时缓存中，每个所述第一日志标识对应一条数据集；如果否，则根据所述目标日志对应的第二日志标识在所述临时缓存中插入新的数据集；根据所述临时缓存对搜索引擎中的数据库进行同步，以将所述目标日志存储至所述搜索引擎中。
4、可
5、可选地，所述将所述目标日志以数组格式添加至所述第一日志标识对应的数据集中，包括：根据所述目标日志对应的邮件接收时间，确定所述目标日志在所述数据集中的第一添加位置；根据所述第一添加位置，将目标日志以数组格式添加至所述第一日志标识对应的数据集中。
6、可选地，该方法还包括：根据预设的时间周期，对所述数据集中的数组进行清空。
7、可选地，在待存储的日志为多个的情况下，所述获取目标日志，包括：利用第一线程将多个所述待存储的日志存储至消息中间件中；利用第二线程异步从所述消息中间件中获取需要存储至所述搜索引擎中的目标日志；其中，所述第一线程与所述第二线程为不同线程。
8、可选地，该方法还包括：根据缓存时间分片粒度以及缓存时间分片数量为所述临时缓存配置目标缓存数据量；
9、所述根据所述目标日志对应的第二日志标识在所述临时缓存中插入新的数据集，包括：在所述临时缓存中的已有缓存数据量不大于所述目标缓存数据量的情况下，根据所述目标日志对应的第二日志标识在所述临时缓存中插入新的数据集。
10、可选地，所述根据所述临时缓存对搜索引擎中的数据库进行同步，包括：将所述临时缓存中的一个或多个数据集以内嵌对象结构作为存储格式，同步至所述搜索引擎中的数据库中。
11、为实现上述目的，根据本专利技术实施例的又一方面，提供了一种日志存储的装置。
12、本专利技术实施例的一种日志存储的装置包括：获取模块，用于获取目标日志；确定模块，用于确定临时缓存中是否存在与所述目标日志对应的第一日志标识；更新模块，用于如果临时缓存中存在与所述目标日志对应的第一日志标识，则根据所述目标日志对所述第一日志标识对应的数据集进行更新；其中，在所述临时缓存中，每个所述第一日志标识对应一条数据集；如果临时缓存中不存在与所述目标日志对应的第一日志标识，则根据所述目标日志对应的第二日志标识在所述临时缓存中插入新的数据集；同步模块，用于根据所述临时缓存对搜索引擎中的数据库进行同步，以将所述目标日志存储至所述搜索引擎中。
13、为实现上述目的，根据本专利技术实施例的又一方面，提供了一种用于日志存储的电子设备。
14、本专利技术实施例的一种日志存储的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例的一种日志存储的方法。
15、为实现上述目的，根据本专利技术实施例的再一方面，提供了一种计算机可读存储介质。
16、本专利技术实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术实施例的一种日志存储的方法。
17、上述专利技术中的一个实施例具有如下优点或有益效果：通过设置临时缓存对目标日志进行存储，可以避免直接将日志存储至搜索引擎所导致的问题，提高了存储效率。同时在临时缓存中采用数据集的方式进行存储，可以对具备相同第一日志标识的数据进行整合，有效降低了需要存储至搜索引擎中的数据总量，进一步提高了存储效率。
18、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
本文档来自技高网...【技术保护点】
1.一种日志存储的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标日志对所述第一日志标识对应的数据集进行更新，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述目标日志以数组格式添加至所述第一日志标识对应的数据集中，包括：
4.根据权利要求1所述的方法，其特征在于，还包括：
5.根据权利要求1所述的方法，其特征在于，在待存储的日志为多个的情况下，所述获取目标日志，包括：
6.根据权利要求1所述的方法，其特征在于，还包括：
7.根据权利要求1所述的方法，其特征在于，所述根据所述临时缓存对搜索引擎中的数据库进行同步，包括：
8.一种日志存储的装置，其特征在于，包括：
9.一种用于日志存储的电子设备，其特征在于，包括：
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
【技术特征摘要】
1.一种日志存储的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标日志对所述第一日志标识对应的数据集进行更新，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述目标日志以数组格式添加至所述第一日志标识对应的数据集中，包括：
4.根据权利要求1所述的方法，其特征在于，还包括：
5.根据权利要求1所述的方法，其特征在于，在待存储的日志为多个的情况下，所述获...
【专利技术属性】
技术研发人员：周永健，刘霖，王宇，
申请(专利权)人：北京天空卫士网络安全技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。