【技术实现步骤摘要】
日志收集系统及方法、设备、存储介质
本申请涉及数据处理
，尤其涉及一种日志收集系统及方法、设备、存储介质。
技术介绍
目前，在日志收集过程中，主要是利用系统工具或编写的脚本，将分散存储在各个节点上的日志同步到中心节点上。现有的同步方式可靠性较差，在日志收集失败的情况下无法及时发现，需要人工介入后才能发现，再手动将上传失败的日志上传到中心节点。
技术实现思路
本申请提供了一种日志收集系统及方法、设备、存储介质，用以解决日志同步可靠性差，人工维护成本高的问题。第一方面，本申请实施例提供了一种日志收集系统，包括日志扫描器、数据持久器和日志上传器；所述日志扫描器，用于扫描产生的日志，获得扫描结果，将所述扫描结果为扫描成功的日志的信息传输给所述日志上传器；在所述扫描结果为扫描失败时，生成包括扫描失败的指示的第一失败记录，将所述第一失败记录写入所述数据持久器；以及，用于按照所述数据持久器中记录的所述第一失败记录执行至少一次扫描日志的过程；所述日志上传器，用于获取所述日志扫描器扫描成功的日...
【技术保护点】
1.一种日志收集系统，其特征在于，包括日志扫描器、数据持久器和日志上传器；/n所述日志扫描器，用于扫描产生的日志，获得扫描结果，将所述扫描结果为扫描成功的日志的信息传输给所述日志上传器；在所述扫描结果为扫描失败时，生成包括扫描失败的指示的第一失败记录，将所述第一失败记录写入所述数据持久器；以及，用于按照所述数据持久器中记录的所述第一失败记录执行至少一次扫描日志的过程；/n所述日志上传器，用于获取所述日志扫描器扫描成功的日志的信息，根据所述扫描成功的日志的信息上传日志，获得上传结果；将所述上传结果为上传失败的日志的信息和上传失败的指示，作为第二失败记录写入所述数据持久器；以及...
【技术特征摘要】
1.一种日志收集系统，其特征在于，包括日志扫描器、数据持久器和日志上传器；
所述日志扫描器，用于扫描产生的日志，获得扫描结果，将所述扫描结果为扫描成功的日志的信息传输给所述日志上传器；在所述扫描结果为扫描失败时，生成包括扫描失败的指示的第一失败记录，将所述第一失败记录写入所述数据持久器；以及，用于按照所述数据持久器中记录的所述第一失败记录执行至少一次扫描日志的过程；
所述日志上传器，用于获取所述日志扫描器扫描成功的日志的信息，根据所述扫描成功的日志的信息上传日志，获得上传结果；将所述上传结果为上传失败的日志的信息和上传失败的指示，作为第二失败记录写入所述数据持久器；以及，用于按照所述数据持久器中记录的所述第二失败记录执行至少一次上传日志的过程。
2.根据权利要求1所述的日志收集系统，其特征在于，所述系统还包括任务调度器；
所述任务调度器，用于调度所述日志扫描器启动扫描指定周期内产生的日志的过程。
3.根据权利要求1或2所述的日志收集系统，其特征在于，所述系统还包括日志修复器；
所述日志修复器，用于获取所述数据持久器中记录的所述第一失败记录和所述第二失败记录，根据所述第一失败记录和所述第二失败记录中记录的日志的信息进行日志修复。
4.根据权利要求2所述的日志收集系统，其特征在于，
所述日志扫描器，还用于：获取所述数据持久器中记录的所述第一失败记录；其中，所述第一失败记录中包括所述指定周期；重新扫描至少一次所述第一失败记录中的所述指定周期内产生的日志，获得重新扫描结果，将重新扫描结果为成功的日志的信息传输给所述日志上传器，并删除所述数据持久器中的所述第一失败记录；
所述日志上传器，还用于：获取所述重新扫描成功的日志的信息，根据所述重新扫描成功的日志的信息上传日志。
5.根据权利要求4所述的日志收集系统，其特征在于，所述日志扫描器，还用于：在所述重新扫描的次数达到第一设定次数时，若每次重新扫描的扫描结果均为扫描失败，在所述数据持久器中，将所述指定周期对应的所述第一失败记录标记为设定标记。
6.根据权利要求2所述的日志收集系统，其特征在于，所述扫描成功的日志的信息中携带所述指定周期；
所述日志上传器，还用于：
根据所述扫描成功的日志的信息上传日志，获得上传结果后，在所述上传结果为上传失败的日志的信息中携带所述指定周期，将所述上传结果为上传失败的日志信息和上传失败指示，作为第二失败记录写入所述数据持久器；
获取所述数据持久器中记录的所述第二失败记录，重新上传至少一次所述第二失败记录中所述指定周期内上传失败的日志，获得重新上传结果，若所述重新上传结果为重新上传成功，则将重新上传成功的日志的信息从所述数据持久器中的所述第二失败记录中删除；
在重新上传的次数达到第二设定...
【专利技术属性】
技术研发人员：金玉玮，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。