一种基于改进强化学习的复杂网络局部破坏的自改进恢复策略制造技术

本发明专利技术公开了一种基于改进强化学习的复杂网络局部破坏的自改进恢复策略方法，解决了复杂网络进行集群维修的恢复策略生成的问题。步骤如下：1根据局部破坏信息建立复杂网络的集群维修状态矩阵。2基于初始集群维修状态生成复杂网络邻接矩阵。3基于神经网络模型预测集群的先验维修状态转移概率和维修策略价值。4基于蒙特卡洛树搜索算法遍历集群的维修策略解空间，并选择当前时刻全局最佳维修动作。5基于集群维修状态的变化更新复杂网络邻接矩阵。6基于集群维修状态和邻接矩阵计算并检验复杂网络的恢复程度。7基于强化学习经验参数训练神经网络参数。8基于恢复策略自改进过程的一系列最佳维修动作生成一个完整的维修恢复方案。

【技术实现步骤摘要】
一种基于改进强化学习的复杂网络局部破坏的自改进恢复策略所属
本专利技术提供一种基于改进强化学习的复杂网络局部破坏状态下的自改进恢复策略(Self-improvementRecoveryStrategy，SIRS)方法，尤其涉及一种考虑网络节点组成单元特征，基于改进的强化学习算法，实现自改进求解复杂网络多节点集群维修的恢复策略方法，属于维修性工程领域。
技术介绍
自改进恢复策略(SIRS)是指复杂网络发生局部破坏后，破坏位置出现多节点集中不可用的情况，通过集群维修的方式快速抢修至整体可用状态。但目前国内外关于集群维修的研究一般不考虑时序。随着维修性越来越受到重视，对复杂网络开展集群维修策略的研究提出了更高的要求，即充分考虑集群维修的时序和收益不确定特征，以及问题整体的NP-hard特征，提供一种高效的集群维修策略方法。本专利技术基于维修状态转移概率的神经网络预测模型和蒙特卡洛树搜索(MonteCarloTreeSearch，MCTS)算法，专利技术了一种基于改进强化学习的新型的自改进恢复策略(SIRS)方法，解决了复杂网络局部破坏状态下的集群维修策略生成的问题。
技术实现思路
本专利技术的目的是为局部破坏状态下的复杂网络提供一种新型的自改进恢复策略(SIRS)方法，旨在解决传统集群维修策略方法未充分考虑集群维修的时序和收益不确定特征，以及问题整体的NP-hard特征等问题。本专利技术提出了一种基于神经网络预测模型和蒙特卡洛树搜索(MCTS)算法的SIRS方法，主要包含以下步骤：步骤一：基于局部破坏建立复杂网络的集群维修状态矩阵。将复杂网络局部破坏恢复策略视为多节点的集群维修问题展开研究。首先，构建复杂网络的节点集合K＝{k1,k2,…,ki,…,kj,…,kn}(其中n为节点的个数)，将各节点的组成进行拆解，建立其单元集合U＝{u1,u2,…,um}。以此为基础，建立m×n的“节点-单元”矩阵，并根据局部破坏信息，用“0”表示待维修的局部破坏空间中的故障单元，“1”表示正常单元，对矩阵中元素赋值，形成维修状态矩阵S。步骤二：基于初始集群维修状态生成复杂网络邻接矩阵。将一个复杂网络抽象为一个由节点集K＝{k1,k2,…,ki,…,kj,…,kn}和连接(边)集组成的图G＝(K,E)。用一个n×n的邻接矩阵A描述复杂网络中n个节点之间的连接关系(边)，且不考虑自环。当复杂网络中所有单元均正常时，邻接矩阵记为A*。将节点ki的单元集Ui＝{u1,u2,…,um}分为三类单元集则表示单元集中的所有节点均为破坏空间中的故障单元，同理可以对和两类单元集进行描述。基于上述分类，以节点ki为例，假设维修状态矩阵S中元素与邻接矩阵A中元素的映射关系fS→A为上述关系表示，当节点ki的a类单元全部破坏时，与该节点关联的所有边均断开；当节点ki的b类单元全部破坏时，由该节点指向其余节点的边断开；当节点ki的c类单元全部破坏时，由其余节点指向该节点的边断开。基于复杂网络的初始维修状态，由映射关系fS→A可以生成初始维修状态的邻接矩阵A。步骤三：基于神经网络模型预测集群的先验维修状态转移概率。设计一个压缩-激励残差网络(Squeeze-and-ExcitationResidualNetworks，SE-ResNet)预测“节点-单元”集群的先验维修状态转移概率矩阵p和先验集群维修策略价值v。神经网络输入特征图X：包括当前的“节点-单元”集群维修状态S、维修策略迭代过程中的最近的历史集群维修状态(以7步历史集群维修状态为例)，以及复杂网络节点的邻接矩阵A(S)和A*。神经网络输出信息：包括“节点-单元”集群的一个先验集群维修状态转移概率p和一个先验集群维修策略价值v。选用的神经网络结构：包括卷积模块、残差模块、压缩-激励(Squeeze-and-Excitation，SE)模块、ReLU函数模块等。神经网络的表达式为fθ(X)＝(p,v)。步骤四：基于蒙特卡洛树搜索算法遍历集群的维修策略解空间。以提高复杂网络“节点-单元”集群性能恢复程度，减少恢复时间为目标，构建维修策略自改进的迭代体系。设计一种基于改进的加权MCTS算法的强化学习框架，用于求解最优维修策略。MCTS算法利用步骤三中SE-ResNet的维修预测结果p作为搜索权重，避免直接全局搜索集群维修策略解空间出现组合爆炸问题，基于先验概率p进行解空间的局部搜索同样能得到全局最优维修策略，依据树搜索得到改进的维修状态转移概率矩阵π，执行一次全局最佳维修策略动作a，当前的“节点-单元”集群维修状态S转移至下一时刻集群维修状态，MCTS算法的其表达式为MCTSθ(X,p,v)＝(π,a)。步骤五：基于集群维修状态的变化更新复杂网络邻接矩阵。恢复策略自改进过程某一时刻的最佳维修动作执行后，集群维修状态转移至下一时刻，基于集群维修状态的变化，按照步骤二中的映射关系fS→A，更新复杂网络邻接矩阵。步骤六：计算并检验复杂网络的恢复程度。执行一次恢复策略自改进操作(包括步骤三、步骤四和步骤五)之后，由转移后的“节点-单元”集群维修状态S及其邻接矩阵A(S)计算复杂网络的恢复程度。若未满足恢复要求，返回步骤三，继续执行恢复策略自改进操作。若T时刻的集群维修状态ST满足要求，则经过T次自改进操作完成了一个完整的恢复策略自改进过程，然后同时执行步骤七和步骤八。步骤七：基于强化学习经验参数训练神经网络参数。由奖励函数计算一个奖励值z对恢复策略自改进过程进行评估，基于奖励值和恢复策略自改进过程产生的T组最新的强化学习经验参数，SE-ResNet以最小化预测的评估值v与自改进结束的奖励值z之间的误差，以及最大化先验状态转移概率p与改进的状态转移概率π之间的相似度为目标，利用梯度下降法训练网络参数θ，得到一个新的SE-ResNet用于下一次恢复策略的自改进过程。通过迭代训练神经网络可为MCTS提供更好的搜索方向。步骤八：基于恢复策略自改进过程生成一个完整的维修恢复方案由恢复策略自改进过程存储的一系列最佳维修动作{a1,a2,...,aT}生成一个完整的维修恢复方案，维修恢复方案可以表示为Recovery＝fRec(a1,a2,...,aT)＝1×a1+2×a2+…+T×aT由最终的集群维修状态ST及其邻接矩阵A(ST)计算并输出复杂网络的恢复程度。附图说明图1为本专利技术中所述方法的整体架构框图图2为本专利技术中先验维修状态转移概率的SE-ResNet预测模型图3为本专利技术中先验维修状态转移概率预测模型选用的SE-Residual单元结构图4为本专利技术中遍历维修策略解空间的蒙特卡洛树搜索算法流程图具体实施方式为使本专利技术的技术方案、特征及优点得到更清楚的了解，以下结合附图，作详细说明。本专利技术给出了一种新型的自改进恢复策略(SIRS)方法，可用于局部破坏状态下复杂网络的集群维修策略问题，解决了传统方法未充分考虑集群维修的时序和收益不确定特征，以及问题整体的NP-hard特征等不足。本专利技术的整体架构，见图1所示。其具体实施步骤是：步骤一：基于局部破坏建立复杂网络的集群维修状态矩阵。将复杂网络局部破坏恢复策略视为多节点的集群维修问题展开研究。首先，构建复杂网络的节点集合K＝{k1,k2,…,ki,…,kj,…,kn}(其中n为节点的个本文档来自技高网...

【技术保护点】
1.基于改进强化学习的复杂网络局部破坏的自改进恢复策略方法，其特征在于：它包含以下步骤：第一步：基于局部破坏建立复杂网络的集群维修状态矩阵：根据破坏信息建立复杂网络“节点‑单元”集群的维修状态0‑1矩阵。第二步：基于初始集群维修状态生成复杂网络邻接矩阵：考虑维修状态矩阵与邻接矩阵的映射关系，基于初始的集群维修状态生成复杂网络邻接矩阵。第三步：基于神经网络模型预测集群的先验维修状态转移概率：设计一个SE‑ResNet神经网络预测“节点‑单元”集群的先验维修状态转移概率和先验维修策略价值。第四步：基于蒙特卡洛树搜索算法遍历集群的维修策略解空间：遍历维修策略解空间，得到改进的维修状态转移概率矩阵，并据此选择当前时刻全局最佳维修动作。第五步：基于集群维修状态的变化更新复杂网络邻接矩阵。第六步：计算并检验复杂网络的恢复程度：基于复杂网络的集群维修状态和邻接矩阵计算并检验其恢复程度。第七步：基于强化学习经验参数训练神经网络参数：基于恢复策略自改进过程产生的一组最新的强化学习经验参数，利用梯度下降法训练神经网络参数。第八步：基于恢复策略自改进过程生成一个完整的维修恢复方案：由恢复策略自改进过程存储的一系列最佳维修动作生成一个完整的维修恢复方案。通过以上步骤，给出了一种基于改进强化学习的自改进恢复策略方法，可以解决复杂网络局部破坏状态下进行集群维修的恢复策略问题。...

【技术特征摘要】
1.基于改进强化学习的复杂网络局部破坏的自改进恢复策略方法，其特征在于：它包含以下步骤：第一步：基于局部破坏建立复杂网络的集群维修状态矩阵：根据破坏信息建立复杂网络“节点-单元”集群的维修状态0-1矩阵。第二步：基于初始集群维修状态生成复杂网络邻接矩阵：考虑维修状态矩阵与邻接矩阵的映射关系，基于初始的集群维修状态生成复杂网络邻接矩阵。第三步：基于神经网络模型预测集群的先验维修状态转移概率：设计一个SE-ResNet神经网络预测“节点-单元”集群的先验维修状态转移概率和先验维修策略价值。第四步：基于蒙特卡洛树搜索算法遍历集群的维修策略解空间：遍历维修策略解空间，得到改进的维修状态转移概率矩阵，并据此选择当前时刻全局最佳维修动作。第五步：基于集群维修状态的变化更新复杂网络邻接矩阵。第六步：计算并检验复杂网络的恢复程度：基于复杂网络的集群维修状态和邻接矩阵计算并检验其恢复程度。第七步：基于强化学习经验参数训练神经网络参数：基于恢复策略自改进过程产生的一组最新的强化学习经验参数，利用梯度下降法训练神经网络参数。第八步：基于恢复策略自改进过程生成一个完整的维修恢复方案：由恢复策略自改进过程存储的一系列最佳维修动作生成一个完整的维修恢复方案。通过以上步骤，给出了一种基于改进强化学习的自改进恢复策略方法，可以解决复杂网络局部破坏状态下进行集群维修的恢复策略问题。2.根据权利要求1所述的基于改进强化学习的复杂网络局部破坏的自改进恢复策略方法，其特征在于：在第一步中所述的“基于局部破坏建立复杂网络的集群维修状态矩阵”中，将复杂网络局部破坏状态的恢复问题视为多节点的集群维修问题，根据破坏信息建立复杂网络“节点-单元”集群的维修状态0-1矩阵。首先，构建复杂网络的节点集合K＝{k1,k2,…,ki,…,kj,…,kn}(其中n为节点的个数)，将各节点的组成进行拆解，建立其单元集合U＝{u1,u2,…,ui,…,uj,…,um}。以此为基础，建立m×n的“节点-单元”矩阵，并根据破坏信息用“0”、“1”对矩阵中元素赋值，形成维修状态矩阵S。3.根据权利要求1所述的基于改进强化学习的复杂网络局部破坏的自改进恢复策略方法，其特征在于：在第二步中所述的“基于初始集群维修状态生成复杂网络邻接矩阵”中，将一个复杂网络抽象为一个由节点集K＝{k1,k2,…,ki,…,kj,…,kn}和连接(边)集组成的图G＝(K,E)。用一个n×n的邻接矩阵A描述复杂网络中n个节点之间的连接关系(边)，且不考虑自环。当复杂网络中所有单元均正常时，邻接矩阵记为A*。将节点ki的单元集Ui＝{u1,u2,…,um}分为三类单元集则表示单元集中的所有节点均为破坏空间中的故障单元，同理可以对另外两类单元集进行描述。基于上述分类，以节点ki为例，假设维修状态矩阵S中元素与邻接矩阵A中元素的映射关系fS→A为上述关系表示，当节点ki的a类单元全部破坏时，与该节点关联的所有边均断开；当节点ki的b类单元全部破坏时，由该节点指向其余节点的边断开；当节点ki的c类单元全部破坏时，由其余节点指向该节点的边断开。基于复杂网络的初始维修状态，由映射关系fS→A可以生成初始维修状态的邻接矩阵A。4.根据权利要求1所述的基于改进强化学习的复杂网络局部破坏的自改进恢复策略方法，其特征在于：在第三步中所述的“基于神经网络模型预测集群的先验维修状态转移概率”中，设计了一个压缩-激励残差网络(Squeeze-and-ExcitationResidualNetworks，SE-ResNet)预测“节点-单元”集群的先验维修状态转移概率矩...

【专利技术属性】
技术研发人员：冯强，吴其隆，任羿，孙博，杨德真，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11