【技术实现步骤摘要】
流式任务的时延检测系统以及方法
[0001]本申请涉及网络
，尤其涉及一种流式任务的时延检测系统以及方法。
技术介绍
[0002]在通过流式任务平台对流式任务进行处理的过程中，为了能够对流式任务平台的任务处理能力进行监督，以便于及时解决流式任务平台的异常状态，常需要对流式任务平台中的流式任务的时延生是否存在异常进行检测。
[0003]目前，通过确定流式任务的时延是否大于预设值确定流式任务是否存在时延异常。然而，这种方案并未考虑不同任务场景下，对时延容忍度的差异，导致时延异常检测的准确性较低。
技术实现思路
[0004]本申请实施例提供一种流式任务的时延检测系统以及方法，考虑不同任务场景下对时延容忍度的差异，以期提高对流式任务的时延异常检测的准确性。
[0005]第一方面，本申请实施例提供一种流式任务的时延检测系统，包括：任务数据获取组件，用于获取多个流式任务分别对应的时延采样数据，该时延采样数据用于指示对应的流式任务的时延程度，该多个流式任务包括至少一个任务场景下的流式任务，该至少一个任...
【技术保护点】
【技术特征摘要】
1.一种流式任务的时延检测系统，其特征在于，包括：任务数据获取组件，用于获取多个流式任务分别对应的时延采样数据，所述时延采样数据用于指示对应的流式任务的时延程度，所述多个流式任务包括至少一个任务场景下的流式任务，所述至少一个任务场景包括第一任务场景，所述第一任务场景下包括N个第一流式任务；时延异常处理组件，所述时延异常处理组件部署有每个任务场景对应的异常检测模型，所述时延异常处理组件用于确定所述第一任务场景对应的异常检测模型，并根据所述N个第一流式任务分别对应的N个时延采样数据和所述第一任务场景对应的异常检测模型，得到时延检测结果，所述时延检测结果用于指示所述N个第一流式任务中存在时延异常的M1个第一流式任务；其中，N＞M1≥0。2.根据权利要求1所述的系统，其特征在于，所述时延异常处理组件包括：时延异常检测单元和时延异常生成单元；所述时延异常检测单元将所述N个时延采样数据输入所述第一任务场景对应的异常检测模型，得到初始时延检测结果，所述初始时延检测结果用于指示所述N个第一流式任务中存在时延异常的M2个第一流式任务，M2≥M1；所述时延异常生成单元根据所述M2个第一流式任务分别对应的任务状态，对所述初始时延检测结果进行校验，得到所述时延检测结果。3.根据权利要求2所述的系统，其特征在于，所述异常检测模型为基于孤立森林算法训练得到的，所述时延异常检测单元具体用于：在基于孤立森林算法建立所述异常检测模型后，将所述N个时延采样数据输入所述异常检测模型，得到训练后的异常检测模型和所述初始时延检测结果，N大于预设值。4.根据权利要求2或3所述的系统，其特征在于，所述时延异常生成单元具体用于：针对所述M2个第一流式任务中的每个第一流式任务，在所述第一流式任务对应的任务状态为运行时，确定所述第一流式任务存在时延异常；或者，在所述第一流式任务对应的任务状态为停止时，确定所述第一流式任务不存在时延异常。5.根据权利要求2或3所述的系统，其特征在于，所述系统还包括检测数据库和元数据库；所述时延异常检测单元还用于将所述初始时延检测结果存储于所述检测数据库；所述时延异常生成单元具体用于：通过维表关联模块，建立所述检测数据库中的初始时延检测结果与所述元数据库中的所述M2个第一流式任务的元数据之间的关联关系，以确定所述M2个第一流式任务分别对应的任务状态，所述元数据包括所述任务状态；根据所述M2个第一流式任务分别对应的任务状态，对所述初始时延检测结果进行校验，得到所述时延检测结果。6.根据权利要求2或3所述的系统，其特征在于，所述时延异常处理组件具体用于：根据所述多个流式任务分别对应的任务标识，对所述多个流式任务进行聚类，得到至少一个流式任务集；所述至少一个流式任务集中的一个流式任务集包括所述N个第一流式
任务，所述多个第一流式任务分别对应的任务标识均属于所述第一任务场景；将所述至少一个流式任务集中的N个第一流式任务分别对应的N个时延采样数据输入所述第一任务场景对应的异常检测模型，得到所述初始时延检测结果和训练后的异常检测模型。7.根据权利要求1至3任一项所述的系统，其特征...
【专利技术属性】
技术研发人员：欧阳武林，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。