【技术实现步骤摘要】
本专利技术涉及数据处理,特别是涉及一种安全日志数据采集方法、系统及电子设备。
技术介绍
1、随着云计算、物联网及边缘计算的快速发展,企业it环境中产生的日志数据类型日趋复杂,涵盖服务器状态记录、网络流量报文、音视频流、iot设备遥测数据等异构数据源。传统日志采集系统(如flume、logstash)在面对多样化数据源时,普遍存在以下技术瓶颈:
2、现有方案多依赖静态配置与固定适配器,难以动态扩展新型数据源(如云原生事件流)。例如,对非结构化音视频日志的采集需定制开发专用插件,导致接入成本高、灵活性差。传统系统通常采用单一传输通道(如纯内存或纯磁盘),无法根据场景需求动态切换。例如,在突发流量场景下,纯内存通道易因缓冲区溢出导致数据丢失;而纯磁盘通道则因i/o延迟难以满足实时性要求。现有技术多采用固定阈值告警策略,缺乏防疲劳机制,导致重复告警干扰运维决策。同时,任务停止后常存在资源残留(如未释放的内存句柄、僵尸进程),可能引发系统稳定性风险。
3、因此,提出一种安全日志数据采集方法、系统及电子设备。
>技术实本文档来自技高网...
【技术保护点】
1.一种安全日志数据采集方法,其特征在于,包括:
2.如权利要求1所述的安全日志数据采集方法,其特征在于,所述获取目标配置文件,包括:
3.如权利要求2所述的安全日志数据采集方法,其特征在于,所述基于所述目标配置文件选择传输通道,得到目标传输通道,包括:
4.如权利要求3所述的安全日志数据采集方法,其特征在于,所述同步启动监控线程,注册所述唯一任务标识及其关联的日志文件,实时采集所述代理模型的关键指标,包括:
5.如权利要求4所述的安全日志数据采集方法,其特征在于,还包括:
6.如权利要求5所述的安全日志数据
...【技术特征摘要】
1.一种安全日志数据采集方法,其特征在于,包括:
2.如权利要求1所述的安全日志数据采集方法,其特征在于,所述获取目标配置文件,包括:
3.如权利要求2所述的安全日志数据采集方法,其特征在于,所述基于所述目标配置文件选择传输通道,得到目标传输通道,包括:
4.如权利要求3所述的安全日志数据采集方法,其特征在于,所述同步启动监控线程,注册所述唯一任务标识及其关联的日志文件,实时采集所述代理模型的关键指标,包括:
5.如权利要求4所述的安全日志数据...
【专利技术属性】
技术研发人员:刘凤余,杨忠伟,王春明,朱坤龙,
申请(专利权)人:卓繁智能技术上海有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。