【技术实现步骤摘要】
本专利技术涉及大数据领域，具体为一种基于大数据的运行日志分析方法及系统。
技术介绍
1、日志详细记录了系统的各种运行以及操作记录，在生产制造系统、物联网系统、安全系统中都会产生大量的日志信息，例如开机、关机、崩溃、警告以及程序的运行信息等。日志分析有助于监控系统的运行状态，及时发现和解决潜在的问题，保障系统的稳定运行。而且通过监控和分析日志，可以发现异常行为和潜在的安全威胁，如未授权的访问和数据泄露，从而采取相应的安全措施。
2、大数据技术能够处理海量的日志数据，从中提取有价值的信息，但是日志数据的产生速度非常快，尤其是在高并发环境下，数据量以每秒数兆甚至数十兆的速度增长，而且日志数据本身具有高度的多样性，包括系统日志、应用日志、安全日志等，这些不同类型的数据需要进行复杂的预处理和解析，进一步增加了处理的复杂性和时间开销。此外，现有的大数据处理框架在进行数据传输（如shuffle阶段）时，网络带宽和传输延迟成为瓶颈，大量数据需要在不同节点之间进行交换和排序，导致处理时间显著增加。
技术实现思路b>
1本文档来自技高网...
【技术保护点】
1.一种基于大数据的运行日志分析方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的方法，其特征在于，所述根据所有执行所述Map任务的节点在执行所述Map任务时溢出到磁盘的文件的信息确定分区方式，具体为：
3.如权利要求2所述的方法，其特征在于，所述主节点汇总所有文件的信息后根据所述比例确定分割标识集合，具体为：
4.如权利要求2所述的方法，其特征在于，所述主节点汇总所有文件的信息后根据所述比例确定分割标识集合，具体为：
5.如权利要求1所述的方法，其特征在于，所述分析程序中至少包括一个MapReduce阶段...
【技术特征摘要】
1.一种基于大数据的运行日志分析方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的方法，其特征在于，所述根据所有执行所述map任务的节点在执行所述map任务时溢出到磁盘的文件的信息确定分区方式，具体为：
3.如权利要求2所述的方法，其特征在于，所述主节点汇总所有文件的信息后根据所述比例确定分割标识集合，具体为：
4.如权利要求2所述的方法，其特征在于，所述主节点汇总所有文件的信息后根据所述比例确定分割标识集合，具体为：
5.如权利要求1所述的方法，其特征在于，所述分析程序中至少包括一个mapreduce阶段，每个mapreduce阶段至少包括map阶段程序和reduce阶段程序；map阶段程序运行时称为map任务，reduce阶段程序运行时称为re...
【专利技术属性】
技术研发人员：母建宁，
申请(专利权)人：上海秒慎科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。