【技术实现步骤摘要】
本专利技术涉及计算机，特别涉及一种集群数据处理方法、装置、设备及介质。
技术介绍
1、高性能计算（high-performance computing，hpc）技术的发展是推动科学研究、工业创新和国家安全的重要力量。随着计算需求的不断增长和技术的快速演进，hpc技术在近些年取得了显著进展。同时，高性能计算集群需要一个实时的数据收集和分析方法，及实时响应并处理集群安全事件的装置。
2、传统技术之一基于系统运行日志进行数据收集与分析，也即使用专门的日志收集工具（fluentd、logstash、rsyslog等）集中收集各类日志，并将其转发到集中存储和处理平台，以实现实时监控、性能分析、故障诊断与安全分析。传统技术之二基于集群管理软件进行数据收集与分析，也即集群管理软件通常通过守护进程（slurmctld、slurmd）实时收集和传输集群中各个节点和作业的状态信息，并进行作业调度分析、资源使用分析、故障检测与诊断等。
3、然而，上述两种方法需要将用户的数据写入磁盘，再定期从磁盘读取数据进行分析，该形式给系统增加了大量...
【技术保护点】
1.一种集群数据处理方法，其特征在于，包括：
2.根据权利要求1所述的集群数据处理方法，其特征在于，还包括：
3.根据权利要求2所述的集群数据处理方法，其特征在于，所述将所述第一数据输入至预先训练完的目标时间序列模型之前，还包括：
4.根据权利要求2所述的集群数据处理方法，其特征在于，所述将所述第一数据输入至预先训练完的目标随机森林分类模型之前，还包括：
5.根据权利要求1所述的集群数据处理方法，其特征在于，所述根据预处理策略对所述当前负载数据进行预处理，得到预处理后负载数据，包括：
6.根据权利要求1至5任...
【技术特征摘要】
1.一种集群数据处理方法，其特征在于，包括：
2.根据权利要求1所述的集群数据处理方法，其特征在于，还包括：
3.根据权利要求2所述的集群数据处理方法，其特征在于，所述将所述第一数据输入至预先训练完的目标时间序列模型之前，还包括：
4.根据权利要求2所述的集群数据处理方法，其特征在于，所述将所述第一数据输入至预先训练完的目标随机森林分类模型之前，还包括：
5.根据权利要求1所述的集群数据处理方法，其特征在于，所述根据预处理策略对所述当前负载数据进行预处理，得到预处理后负载数据，包括：
6.根据权利要求1至5任一项所述的集群数据...
【专利技术属性】
技术研发人员：于洪梅，魏晓辉，郇安渝，吴旗，徐海啸，董飒，岳恒山，李翔，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。