【技术实现步骤摘要】
信息系统异常检测方法、装置、设备和介质
[0001]本公开涉及人工智能领域，更具体地，涉及一种信息系统异常检测方法、装置、设备、介质和程序产品。
技术介绍
[0002]信息系统(Information system)，是由计算机硬件、网络和通信设备、计算机软件、信息资源、信息用户和规章制度组成的以处理信息流为目的的人机一体化系统，可以实现对信息的输入、存储、处理、输出和控制。信息系统包括基于硬件和软件资源实现的计算机应用程序，例如购物程序、手机银行程序或社交程序等。
[0003]相关技术中，通常使用监督算法训练机器学习模型对信息系统进行异常检测，例如从信息系统获取运行产生的时间序列数据，并通过运维人员根据实际故障发生情况对历史数据进行标注(是否为异常数据)，最后通过监督算法对模型进行训练。
[0004]可见，监督学习需要投入大量人力对训练样本数据赋予标签，成本较高。另外通常信息系统架构和软件版本是动态更新的，所以历史数据和根据历史数据训练的监督学习模型是有生命周期的，这也进一步提高了使用监督学习的人力成本。<...
【技术保护点】
【技术特征摘要】
1.一种信息系统异常检测方法，包括：将信息系统运行时生成的待检测时序数据输入数据处理模型，获得所述数据处理模型输出的第一预测结果，所述第一预测结果用于表征所述待检测时序数据异常或正常；其中，所述数据处理模型被配置为预先通过强化学习算法训练得到，包括：将所述信息系统的N个第一历史时序数据作为N个当前状态，输入所述数据处理模型，得到N个第二预测结果作为N个第一动作，N为大于或等于1的整数；将所述信息系统的N个第二历史时序数据作为N个下一状态，输入所述数据处理模型，得到N个第三预测结果作为N个第二动作，所述数据处理模型的预测结果包括对应历史时序数据的异常概率值；基于所述N个当前状态、所述N个第一动作、所述N个下一状态和所述N个第二动作更新所述数据处理模型的模型参数。2.根据权利要求1所述的方法，其中，所述数据处理模型包括第一动作网络和第二动作网络，所述第二动作网络与所述第一动作网络的网络参数不同；所述得到N个第二预测结果作为N个第一动作包括：将所述N个第一历史时序数据输入所述第一动作网络，得到所述N个第二预测结果作为N个第一动作；所述得到N个第三预测结果作为N个第二动作包括：将所述N个第二历史时序数据输入所述第二动作网络，得到所述N个第三预测结果作为所述N个第二动作。3.根据权利要求2所述的方法，其中，所述数据处理模型包括第一评估网络和第二评估网络，所述第二评估网络与所述第一评估网络的网络参数不同；所述更新所述数据处理模型的模型参数包括：将所述N个第一历史时序数据及各自的异常概率值输入所述第一评估网络，得到第一评估值，所述第一评估值用于表征对所述第一动作网络的异常预测可信程度；将所述N个第二历史时序数据及各自的异常概率值输入所述第二评估网络，得到第二评估值，所述第二评估值用于表征对所述第二动作网络的异常预测可信程度；基于所述第一评估值和所述第二评估值更新所述数据处理模型的模型参数。4.根据权利要求3所述的方法，其中，所述基于所述第一评估值和所述第二评估值更新所述数据处理模型的模型参数包括：确定所述第一评估值对应的梯度值；基于策略梯度算法处理所述第一评估值和所述梯度值，得到策略梯度值，所述策略梯度算法通过所述信息系统运行时的数据分布特征确定；基于所述策略梯度值更新所述第一动作网络的网络参数。5.根据权利要求4所述的方法，其中，在更新所述第一动作网络的网络参数之后，所述方法还包括：基于第一更新系数和所述第一动作网络的网络参数，更新所述第二动作网络的网络参数，所述第一更新系数小于1。6.根据权利要求3～5任一项所述的方法，其中，所述基于所述第一评估值和所述第二评估值更新所述数据处理模型的模型参数包括：
将所述第一评估值和所述第二评估值输入所述第一评估网络的损失函数，得到损失函数值；若所述损失函数值不满足训练结束条件，基于所述损失函数更新所...
【专利技术属性】
技术研发人员：荣翔，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。