一种基于统计分析的Spark拖延任务诊断方法技术

发明专利技术涉及一种基于统计分析的Spark拖延任务诊断方法，监测数据中心并行执行任务，从监测数据中推断出任务执行拖延的原因。在相同阶段，监测相同任务在不同节点的执行情况，搜集物理服务器的监测数据，分析Spark日志文件得到任务执行的监测数据。比较任务执行时间以检测拖延任务，分析拖延任务与正常执行任务的特征值的偏离程度以定位异常特征，从而诊断任务拖延的原因。

【技术实现步骤摘要】
一种基于统计分析的Spark拖延任务诊断方法
本专利技术涉及一种基于统计分析的Spark拖延任务诊断方法，属于软件

技术介绍
Spark是一种并行数据处理模型，而Stragglers是Spark的数据处理作业中异常缓慢的任务，会拖延整个作业的完成时间，在具有多个作业的数据中心中普遍存在。数据中心将数据处理的计算作业分解为许多任务，在多台机器上并行执行，在最后一个任务完成时聚合结果，Stragglers威胁数据中心的并行计算性能，其影响会随着任务的数量和系统的规模而增加。研究表明，在谷歌数据中心，拖延任务造成20%的作业的完成时间超过1.5倍。在Facebook和微软的数据中心，Straggler分别把平均完成作业的时间延长了47%和29%。当前的研究通过推测任务执行时间，复制Stragglers在另一台机器上重新执行(JeffreyDeanandSanjayGhemawat.2008.Spark:SimplifiedDataProcessingonLargeClusters.CACM,51(1):107–113,2008.)(MateiZaharia,AndyKonwins本文档来自技高网...

【技术保护点】
1.一种基于统计分析的Spark拖延任务诊断方法，方法特征在于实现步骤如下：第一步，实时系统监测：使用系统监测软件持续监测执行Spark数据处理作业的各主机，搜集监测数据，包括CPU时间、磁盘每秒读写数据量、网络每秒收发数据量等；第二步，离线日志分析：分析Spark日志文件，从中提取信息，包括读取字节数、Shuffle读取字节数、Shuffle写入字节数、读入内存字节数、读入磁盘字节数、任务垃圾回收时间、序列化执行时间、逆序列化执行时间等；第三步，拖延任务检测：如果某个任务的持续时间大于所有任务的持续时间的1.5倍，则检测为延迟任务；第四步，异常特征诊断：如果特征值F>gq且F>mean(Fp...

【技术特征摘要】
1.一种基于统计分析的Spark拖延任务诊断方法，方法特征在于实现步骤如下：第一步，实时系统监测：使用系统监测软件持续监测执行Spark数据处理作业的各主机，搜集监测数据，包括CPU时间、磁盘每秒读写数据量、网络每秒收发数据量等；第二步，离线日志分析：分析Spark日志文件，从中提取信息，包括读取字节数、Shuffle读取字节数、Shuffle写入字节数、读入内存字节数、读入磁盘字节数、任务垃圾回收时间、序列化执行时间、逆序列化执行时间等；第三步，拖延任务检测：如果某个任务的持续时间大于所有任务的持续时间...

【专利技术属性】
技术研发人员：刘延新，李亚琼，吴昊，李守超，
申请(专利权)人：江苏润和软件股份有限公司，
类型：发明
国别省市：江苏,32