一种安全日志数据采集方法、系统及电子设备技术方案

技术编号:45852090 阅读:11 留言:0更新日期:2025-07-19 11:12
本发明专利技术提供了一种安全日志数据采集方法、系统,涉及数据处理技术领域,包括:获取启动指令、目标配置文件;基于所述目标配置文件选择传输通道,得到目标传输通道;基于所述启动指令生成唯一任务标识,并将关联的日志文件发送至目标节点的目标文件中;基于所述启动指令启动代理模型,通过所述目标传输通道完成安全日志数据采集,并同步启动监控线程,注册所述唯一任务标识及其关联的日志文件,实时采集所述代理模型的关键指标。本发明专利技术,支持多源数据接入,减少人工干预,简化了平台的部署和维护工作,提高了日志采集效率。

【技术实现步骤摘要】

本专利技术涉及数据处理,特别是涉及一种安全日志数据采集方法、系统及电子设备


技术介绍

1、随着云计算、物联网及边缘计算的快速发展,企业it环境中产生的日志数据类型日趋复杂,涵盖服务器状态记录、网络流量报文、音视频流、iot设备遥测数据等异构数据源。传统日志采集系统(如flume、logstash)在面对多样化数据源时,普遍存在以下技术瓶颈:

2、现有方案多依赖静态配置与固定适配器,难以动态扩展新型数据源(如云原生事件流)。例如,对非结构化音视频日志的采集需定制开发专用插件,导致接入成本高、灵活性差。传统系统通常采用单一传输通道(如纯内存或纯磁盘),无法根据场景需求动态切换。例如,在突发流量场景下,纯内存通道易因缓冲区溢出导致数据丢失;而纯磁盘通道则因i/o延迟难以满足实时性要求。现有技术多采用固定阈值告警策略,缺乏防疲劳机制,导致重复告警干扰运维决策。同时,任务停止后常存在资源残留(如未释放的内存句柄、僵尸进程),可能引发系统稳定性风险。

3、因此,提出一种安全日志数据采集方法、系统及电子设备。


>

技术实本文档来自技高网...

【技术保护点】

1.一种安全日志数据采集方法,其特征在于,包括:

2.如权利要求1所述的安全日志数据采集方法,其特征在于,所述获取目标配置文件,包括:

3.如权利要求2所述的安全日志数据采集方法,其特征在于,所述基于所述目标配置文件选择传输通道,得到目标传输通道,包括:

4.如权利要求3所述的安全日志数据采集方法,其特征在于,所述同步启动监控线程,注册所述唯一任务标识及其关联的日志文件,实时采集所述代理模型的关键指标,包括:

5.如权利要求4所述的安全日志数据采集方法,其特征在于,还包括:

6.如权利要求5所述的安全日志数据采集方法,其特征在于...

【技术特征摘要】

1.一种安全日志数据采集方法,其特征在于,包括:

2.如权利要求1所述的安全日志数据采集方法,其特征在于,所述获取目标配置文件,包括:

3.如权利要求2所述的安全日志数据采集方法,其特征在于,所述基于所述目标配置文件选择传输通道,得到目标传输通道,包括:

4.如权利要求3所述的安全日志数据采集方法,其特征在于,所述同步启动监控线程,注册所述唯一任务标识及其关联的日志文件,实时采集所述代理模型的关键指标,包括:

5.如权利要求4所述的安全日志数据...

【专利技术属性】
技术研发人员:刘凤余杨忠伟王春明朱坤龙
申请(专利权)人:卓繁智能技术上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1