一种基于智能体学习的合作博弈集群视情维修方法技术

本发明专利技术公开了一种基于智能体学习的合作博弈集群视情维修方法。步骤如下：1.选择任务执行对象，制定初始维修策略。2.计算收益，若满足任务和维修限制要求，则进入步骤八；否则，进入步骤三。3.计算每一轮学习中的学习信号。4.调整策略，选择博弈参与者。5.剔除不符合优化方向的策略，生成策略减少空间。6.选择策略减少空间，构成编队层次的维修策略，建立博弈矩阵。7.计算当前动作集合下的收益。若收益值大于等于零，则为可行解策略；若有多种可行解策略，则选择最大收益值策略作为帕累托平衡解，并进入到下一步骤。8.输出方案收益，判断是否满足退火收敛条件，若满足，则终止博弈并输出最优方案；否则，进入下一轮博弈。

An agent-based learning approach for cooperative game cluster situation based maintenance

【技术实现步骤摘要】
一种基于智能体学习的合作博弈集群视情维修方法所属
本专利技术提供了一种基于智能体学习的合作博弈装备集群视情维修方法，尤其使用了一种基于智能体学习的合作博弈方法，能够支持在多层次上的集群维修，属于可靠性工程领域。
技术介绍
面向任务可靠性的装备集群维修是一个多层次的维修执行过程，维修策略需要在多个层次上制定。在装备集群和设备层次上的可靠性模型是非常复杂的，从而对制定多层次的维修策略带来巨大挑战。所以基于装备状态的视情维修在装备集群编队的任务过程中被广泛应用，是维持和保证装备集群的任务成功所必要的手段。采用基于装备状态的视情维修可以在保证任务可靠性的同时降低维修损耗，节约维修成本。当前针对装备集群的视情维修通常只是在的特定组件、单元或模块进行，缺少面向装备集群进行多层次的维修，无法有效综合编队、装备、分系统(或组件)多层次状态提出更加合理的维修策略。装备集群的视情维修应该在满足任务可靠性的基础上，通过合理的建立维修模型，选择合适的维修策略，从而有效降低维修成本，减少资源消耗，提高维修效率。在此类问题中既需要考虑装备编队、装备对象、装备组件的状态以及本文档来自技高网...

【技术保护点】
1.基于智能体学习的合作博弈集群视情维修方法，其特征在于，它包含以下步骤：/n第一步：制定初始维修策略：根据任务要求、装备对象的LRM的三种寿命状态：必须维修状态、随机维修状态、不需要维修状态以及LRM的维修状态。选择任务执行对象，制定初始的维修策略。/n第二步：判断初始维修策略下的收益：根据初始的维修策略，计算在该策略下的维修收益，如果能够满足任务要求和维修限制要求，则进入第八步；如果没有达到则进入到合作博弈算法流程，进入第四步。/n第三步：计算装备对象的学习信号：根据装备的四种状态来确定其三种学习信号，根据学习信号可以减少在博弈过程中的选择策略的数量，可初步确定三种学习方向，再根据维修后集...

【技术特征摘要】
1.基于智能体学习的合作博弈集群视情维修方法，其特征在于，它包含以下步骤：
第一步：制定初始维修策略：根据任务要求、装备对象的LRM的三种寿命状态：必须维修状态、随机维修状态、不需要维修状态以及LRM的维修状态。选择任务执行对象，制定初始的维修策略。
第二步：判断初始维修策略下的收益：根据初始的维修策略，计算在该策略下的维修收益，如果能够满足任务要求和维修限制要求，则进入第八步；如果没有达到则进入到合作博弈算法流程，进入第四步。
第三步：计算装备对象的学习信号：根据装备的四种状态来确定其三种学习信号，根据学习信号可以减少在博弈过程中的选择策略的数量，可初步确定三种学习方向，再根据维修后集群总收益和装备的状态对学习方向进行调整。
第四步：选择需要改变维修策略的博弈参与者：根据装备的三种学学习信号做出相应的策略调整，其中需要调整的博弈参与者的数量不能超过4。
第五步：生成博弈者的策略减少空间：在进入下一轮博弈之前，根据博弈算法，减少初始维修策略空间。规定装备初始策略在每次变化中只调整一个元素，计算对应的维修花费和风险，将不符合优化方向的策略剔除出初始策略空间。根据学习信号，形成由所有的可行性策略组成策略减少空间。
第六步：建立博弈矩阵：在第下一轮博弈中，从每个需要进行策略调整的博弈参与者的策略减少空间中选择一个策略，构成编队层次的维修策略，根据策略减少空间中策略数量计算博弈矩阵中的元素数量。
第七步：计算动作集合的收益并找到帕累托平衡解：选择维修策略构成动作集合，根据每个博弈者的收益计算得到当前动作集合下的收益。根据收益值和可行解策略数量，判断当前的动作下的可行性策略，并选择收益最大的动作策略作为帕累托平衡解。
第八步：根据退火算法判断是否结束循环：根据每一轮博弈后得到的帕累托平衡解和收益，进一步判断是否满足退火收敛，如果满足，则终止博弈流程并将此轮平衡解方案作为最优方案；如果不满足，则重新进入下一轮博弈。


2.根据权利要求1所述的一种基于智能体学习的合作博弈集群视情维修方法，其特征在于：在第一步中所述的“制定初始维修策略”中，用uij表示装备i的第j个LRM的维修状态可以使用，uij＝1表示该LRM是维修状态，uij＝0表示该LRM没有处于维修状态。装备的LRM的寿命状态可分为必须维修状态、随机维修状态、不需要维修状态三种。在装备集群任务前，根据任务要求以及装备对象的状态，选择任务执行对象，制定初始维修策略。


3.根据权利要求1所述的一种基于智能体学习的合作博弈集群视情维修方法，其特征在于：在第二步中所述的“判断初始维修策略下的收益”中，根据初始的维修策略，计算在该策略下的维修收益，如果能够满足任务要求和维修限制要求，则进入第八步；如果没有达到则进入到合作博弈算法流程，进入第四步。


4.根据权利要求1所述的一种基于智能体学习的合作博弈集群视情维修方法，其特征在于：在第三步中所述的“计算装备对象的学习信号”中，在学习过程中需要根据每...

【专利技术属性】
技术研发人员：冯强，海星朔，任羿，王自力，孙博，杨德真，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11