【技术实现步骤摘要】
本申请涉及设备异常检测，特别是涉及协同工作的多设备异常自动化检测方法及检测系统。
技术介绍
1、设备异常检测是指对设备的运行状态进行监测，发现并诊断设备的故障，预测设备的故障发展趋势，制定并执行设备的故障修复方案的过程。设备异常检测对于保证设备的正常运行和安全性能具有重要意义。
2、在目前的设备异常检测方法中，通常是通过设定设备性能的指标门限值来进行异常检测，即当设备实时性能的时序数据超过某个预设指标阈值时，则确定该设备出现异常，例如：若设备的cpu或者网络带宽的使用率超过90%，且持续时长超过预设时长，那么就确定该设备出现异常。在确定该设备出现异常之后，获取该设备的告警信息，并将告警信息发送给该设备对应的运维人员，运维人员在收到告警信息之后，对该设备进行相应的处理以消除设备异常。
3、然而，这种基于指标门限值的异常检测方法存在以下不足：
4、由于设备的运行状态和环境因素的影响，设备性能的时序数据具有动态变化和不确定性的特点，因此，通过静态的指标门限值进行异常检测的准确率非常低，该准确率主要依赖于运维人员的经验水平，容易造成大量误报或漏报的情况；由于设备之间可能存在相互影响和协作的关系，因此，单独地对每个设备进行异常检测，忽略了设备之间的关联性和协同性，容易导致检测效果的下降和资源的浪费。
技术实现思路
1、本申请技术方案主要提供了协同工作的多设备异常自动化检测方法及检测系统，考虑在实际工作过程中设备之间可能存在的相互影响及协作，避免单独检测可能
2、为实现上述目的，本申请提供了如下技术方案：
3、协同工作的多设备异常自动化检测方法，包括：
4、s20，确定待检测设备的待检测指标；
5、s40，将每个设备的每个待检测指标适配一个智能体；
6、s60，为智能体设计深度强化学习模型并收集智能体数据以训练所述深度强化学习模型；其中，所述深度强化学习模型包括观察空间、动作空间和奖励函数；
7、s80，设计智能体的通信协议，并确定智能体之间信息交换方式；
8、s100，将智能体部署到待检测设备上，进行设备异常检测并对设备的运行状态进行控制。
9、优选为，步骤s60中对深度强化学习模型的训练包括：
10、初始化每个智能体的深度强化学习模型；并设定每个智能体的观察空间、动作空间及奖励函数；并预设时间步；
11、在每个时间步，每个智能体根据自身状态及深度强化学习模型输出一个动作，并执行该动作；
12、将智能体执行动作后的奖励以及下一个状态存储在其自身的经验回放缓冲区中；
13、在每个训练周期，智能体从其自身的经验回放缓冲区中随机采样一批数据以训练其深度强化学习模型；
14、重复以上步骤，直至每个智能体的深度强化学习模型收敛，或者达到预设的训练次数或训练时间。
15、优选为，所述智能体从其自身的经验回放缓冲区采样的同时将采样数据发送给其他检智能体。
16、优选为，步骤s100中包括：
17、获得智能体的多个时序数据以及多个非时序数据；
18、对所述时序数据及所述非时序数据进行预处理；
19、将预处理后的时序数据和非时序数据进行融合，获得融合后的数据，作为深度强化学习模型的观察空间；
20、基于观察空间给出对应智能体的奖励函数，基于该奖励函数判断对应智能体是否存在异常以及异常程度并给出第一判定结果：
21、若存在异常，基于对应的奖励函数评估异常的程度；
22、基于对应智能体的动作空间，选择执行对应的控制策略。
23、优选为，所述异常的程度分为轻微异常、严重异常以及危急异常；
24、当对应的异常被判定为严重异常或者危急异常，将对应的多个时序数据以及异常结果发送终端；
25、终端基于前述时序数据以及异常程度反馈第二判定结果。
26、优选为，比对第一判定结果与第二判定结果：
27、若第二判定结果与第一判定结果一致，仍执行原动作；
28、若第二判定结果与第一判定结果不一致，执行第二判定结果对应的动作。
29、优选为，还包括：
30、对智能体之间进行关联分析，挖掘智能体之间的关联规则，构建智能体的正常行为模式库。
31、优选为，还包括：s120，对所述深度强化学习模型进行更新；
32、其中，深度强化学习模型更新数据源基于：
33、获得的所述智能体的多个时序数据；
34、获得的所述第一判定结果；
35、获得的所述第二判定结果；
36、该智能体对应的正常行为模式库以及其他智能体对应的正常行为模式库。
37、本申请的另一方面公开了设备异常自动化检测系统，包括：
38、数据采集模块，配置于待检测设备的检测过程中，用于接收智能体的运行数据；
39、通信模块，基于智能体之间的通信协议，以预设的信息交互方式进行智能体之间的信息交换；
40、异常检测模块，用于对智能体的运行数据进行异常检测，其中所述异常检测模块内嵌有深度强化学习模型；
41、执行器，被配置在待检测设备上，所述执行器能够基于异常检测模块的检测结果执行对应的动作以对设备的运行状态进行控制。
42、本申请提供的技术方案，与已知的公有技术相比，具有如下有益效果：
43、（1）通过将每个设备的每个待检测指标定义为一个智能体，为智能体设计深度强化学习模型，让智能体能够根据自身状态和环境变化，自动地学习和调整自己的行为，从而实现对设备异常的动态检测和响应；避免静态的指标门限值的局限性，减少误报或漏报的情况，提高检测的准确率和效率。
44、（2）通过设计智能体的通信协议，并确定智能体之间信息交换方式，让智能体能够在检测过程中，与其他相关的智能体进行数据的传输和同步，实现设备之间的协同工作和信息共享；利用设备之间的关联性和协同性，提高检测的效果和资源的利用率。
45、（3）通过将智能体部署到待检测设备上，进行设备异常检测并对设备的运行状态进行控制，让智能体能够根据检测结果，输出相应的控制指令，优化设备的运行状态和控制策略，提高设备的运行效率和安全性，降低设备的故障率和维护成本。
本文档来自技高网...【技术保护点】
1.协同工作的多设备异常自动化检测方法，其特征在于，包括：
2.根据权利要求1所述的协同工作的多设备异常自动化检测方法，其特征在于，步骤S60中对深度强化学习模型的训练包括：
3.根据权利要求2所述的协同工作的多设备异常自动化检测方法，其特征在于，所述智能体从其自身的经验回放缓冲区采样的同时将采样数据发送给其他检智能体。
4.根据权利要求1所述的协同工作的多设备异常自动化检测方法，其特征在于，步骤S100中包括：
5.根据权利要求4所述的协同工作的多设备异常自动化检测方法，其特征在于，所述异常的程度分为轻微异常、严重异常以及危急异常；
6.根据权利要求5所述的协同工作的多设备异常自动化检测方法，其特征在于，比对第一判定结果与第二判定结果：
7.根据权利要求5所述的协同工作的多设备异常自动化检测方法，其特征在于，还包括：
8.根据权利要求7所述的协同工作的多设备异常自动化检测方法，其特征在于，还包括：S120，对所述深度强化学习模型进行更新；
9.设备异常自动化检测系统，其特征在于，包括
...【技术特征摘要】
1.协同工作的多设备异常自动化检测方法，其特征在于，包括：
2.根据权利要求1所述的协同工作的多设备异常自动化检测方法，其特征在于，步骤s60中对深度强化学习模型的训练包括：
3.根据权利要求2所述的协同工作的多设备异常自动化检测方法，其特征在于，所述智能体从其自身的经验回放缓冲区采样的同时将采样数据发送给其他检智能体。
4.根据权利要求1所述的协同工作的多设备异常自动化检测方法，其特征在于，步骤s100中包括：
5.根据权利要求4所述的协同工作...
【专利技术属性】
技术研发人员：林凯，汤连杰，于东，张增伟，李政亮，滕孟祥，
申请(专利权)人：慧新全智工业互联科技青岛有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。