日志采集校验方法及其装置、设备、产品制造方法及图纸

本申请涉及一种日志采集校验方法及其装置、设备、产品，所述方法包括：调用日志发布组件将数据源的日志数据条目传输到消息队列系统，数据源存储有从在线服务实时采集的日志数据条目；累积存储日志发布组件生成的条目截止记录，条目截止记录包括第一定时到达时完成传输的日志数据条目总数相对应的条目截止量和时间戳；累积存储消息队列系统生成的偏移截止记录，偏移截止记录包括第二定时到达时完成写入的日志数据条目相对应的偏移截止量和时间戳；根据时间戳属于相同目标时段的条目截止量和偏移截止量，确定数据源的数据采集完整性相对应的校验结果。本申请的日志数据采集与完整性校验解决方案通用性强、可靠性高，适用于多种数据处理环境。

【技术实现步骤摘要】

本申请涉及信息安全，尤其涉及一种日志采集校验方法及其装置、设备、产品。

技术介绍

1、在信息
，日志数据扮演着关键角色，它们记录了系统运行时的详细活动和状态变化，对于监控、故障排查、安全分析等应用至关重要。然而，传统的日志采集系统存在一些技术瓶颈，特别是在数据采集的完整性校验方面。

2、传统日志采集系统通常采用定时触发的作业来收集日志数据，这种方式在资源分配和任务调度上存在不足。在作业执行的高峰期，由于资源的抢占，执行效率往往会受到影响。此外，批量处理的特性导致系统难以满足实时性要求高的业务需求，因为数据采集和处理存在延迟，无法实现对日志数据的即时监控。

3、在数据完整性校验方面，传统方法依赖于定时任务来检查数据文件的完整性，例如通过比较文件的md5值来验证数据是否完整。这种方法在文件形式的数据传输中有效，但在实时日志采集的场景下，数据以流的形式传输，传统的校验方法不再适用。

4、针对这些问题，尽管已有一些改进措施，但它们往往需要大量的计算资源，并且在实时性、准确性和资源优化方面仍有局限。例如，旧采集系统可能占用了本文档来自技高网...

【技术保护点】

1.一种日志采集校验方法，其特征在于，包括：

2.根据权利要求1所述的日志采集校验方法，其特征在于，调用日志发布组件将数据源的日志数据条目传输到消息队列系统，包括：

3.根据权利要求1所述的日志采集校验方法，其特征在于，累积存储日志发布组件生成的条目截止记录，包括：

4.根据权利要求1所述的日志采集校验方法，其特征在于，累积存储消息队列系统生成的偏移截止记录，包括：

5.根据权利要求1所述的日志采集校验方法，其特征在于，根据时间戳属于相同目标时段的条目截止记录中的条目截止量和偏移截止记录中的偏移截止量，确定所述数据源的数据采集完整性相对应的...

【技术特征摘要】

1.一种日志采集校验方法，其特征在于，包括：

2.根据权利要求1所述的日志采集校验方法，其特征在于，调用日志发布组件将数据源的日志数据条目传输到消息队列系统，包括：

3.根据权利要求1所述的日志采集校验方法，其特征在于，累积存储日志发布组件生成的条目截止记录，包括：

4.根据权利要求1所述的日志采集校验方法，其特征在于，累积存储消息队列系统生成的偏移截止记录，包括：

5.根据权利要求1所述的日志采集校验方法，其特征在于，根据时间戳属于相同目标时段的条目截止记录中的条目截止量和偏移截止记录中的偏移截止量，确定所述数据源的数据采集完整性相对应的校验结果，包括：

6.根据权利要求5所述的日志采集校验方法...

【专利技术属性】
技术研发人员：葛星星，
申请(专利权)人：广州海外扛把子网络科技有限公司，
类型：发明
国别省市：