【技术实现步骤摘要】
反向迭代的异常检测方法、装置、电子设备及介质
[0001]本专利技术涉及人工智能
，尤其涉及一种反向迭代的异常检测方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]随着人工智能的发展，运维已经进入了智能运维时代，其中，异常检测是智能运维系统中的一项核心功能。传统的运维异常监控基本都是基于规则，根据业务专家的经验来设定阈值报警，然而这种方法的通用性会非常差，而且容易产生大量的误报和漏报，同时用户需要在每种指标数据上单独去配置相应的规则，这样的场景给运维部门也带来了巨大的挑战。
[0003]现有技术中，每天生产环境都有大量的数据发布和变更，web服务的稳定性需要运维监控来保障，比如，运维人员通过监控系统中的业务指标来判断系统是否出现异常，业务场景中就包含订单、CPU使用率、内存使用率、磁盘IO、APP的服务指标(响应时间，请求量、错误数)等，仅从列举的指标来看就有上万或几十万条以上，所以单靠人工来手动配置规则来反复添加规则条件和迭代优化规则会使得运维效率低下，同时加上业务数据的频繁变更和业务场景的多...
【技术保护点】
【技术特征摘要】
1.一种反向迭代的异常检测方法，其特征在于，所述方法包括：获取多个数据源的历史业务数据集合，对所述历史业务数据集合进行数据清洗，得到标准业务数据集合；对所述标准业务数据集合中的数据进行曲线分类，得到周期业务数据集合及非周期业务数据集合；利用所述周期业务数据集合训练预构建的第一检测模型，得到周期检测模型，以及利用所述非周期业务数据集合训练预构建的第二检测模型，得到非周期检测模型；利用实时流技术获取所述多个数据源的实时业务数据，利用所述周期检测模型及所述非周期检测模型对所述实时业务数据进行异常检测，根据异常检测的结果对所述实时业务数据进行标注，并将标注后的实时业务数据作为所述历史业务数据并返回所述对所述历史业务数据集合进行数据清洗的步骤。2.如权利要求1所述的反向迭代的异常检测方法，其特征在于，所述获取多个数据源的历史业务数据集合，对所述历史业务数据集合进行数据清洗，得到标准业务数据集合，包括：从所述多个数据源中获取预设时间内的历史业务数据集合；利用预设的距离公式对所述历史业务数据集合中的数据进行去重处理，得到去重数据；利用预设的双边测试剔除法对所述去重数据进行去异常处理，得到去异常数据；利用预设的填充算法对所述去异常数据进行缺失值填充，得到所述标准业务数据集合。3.如权利要求2中所述的反向迭代的异常检测方法，其特征在于，所述对所述标准业务数据集合中的数据进行曲线分类，得到周期业务数据集合及非周期业务数据集合，包括：根据所述预设时间构建所述标准业务数据集合中数据的业务变化曲线；对同一标准业务数据的业务变化曲线及相邻时间内的业务变化曲线进行标准化处理，得到两条标准业务曲线；对所述两条标准业务曲线进行差分处理得到差分曲线，并计算所述差分曲线的方差；汇总所有方差大于预设的方差阈值的业务变化曲线对应的标准业务数据得到所述非周期业务数据集合；汇总所有方差小于等于所述方差阈值的业务变化曲线对应的标准业务数据得到所述周期业务数据集合。4.如权利要求1所述的反向迭代的异常检测方法，其特征在于，所述利用所述周期业务数据集合训练预构建的第一检测模型，得到周期检测模型，包括：通过所述第一检测模型的输入门计算所述周期业务数据集合中各时刻数据的状态值；通过所述第一检测模型的遗忘门计算所述周期业务数据集合中各时刻数据的激活值；根据所述状态值和所述激活值计算所述周期业务数据集合中各时刻数据的状态更新值；利用所述第一检测模型的输出门计算所述状态更新值对应的预测标签；根据所述预测标签与预设的真实标签对所述第一检测模型进行反向迭代，直至迭代次数大于等于预设的迭代阈值或所述第一检测模型收敛时，得到所述周期检测模型。
5.如权利要求1所述的反向迭代的异常检测方法，其特征在于，所述利用所述非周期业务数据集合训练预构建的第二检测模型，得到非周期检测模型，包括：利用所述第二检测模型输出所述非周期...
【专利技术属性】
技术研发人员：王文进，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。