内部状态未知的无人集群系统输出同步优化控制方法技术方案

本发明专利技术公开了一种内部状态未知的无人集群系统输出同步优化控制方法，包括：设计状态估计器，估计系统未知内部状态，对内部状态进行重构，根据重构的内部状态，重新定义局部误差系统。对于新的局部误差系统结合矩阵理论、系统稳定性理论进行误差系统稳定性分析。进一步，考虑系统精确模型未知下，优化控制策略，本发明专利技术提出了改进的Q

【技术实现步骤摘要】
内部状态未知的无人集群系统输出同步优化控制方法


[0001]本专利技术涉及无人机控制方法领域，具体涉及内部状态未知的无人集群系统输出同步优化控制方法。

技术介绍

[0002]近年来，专家学者受到自然界生物群集行为的启发将无人集群系统一致性应用于复杂系统协同控制中，无人集群系统一致性问题在智能电网、编队控制、无人机集群等领域有着重要的应用前景。
[0003]对于无人集群系统来说，一致性问题是一个基本现象。所有无人机在一致控制协议的作用下通过信息交换实现相同的状态。对未知的内部状态，现有的相关工作使用可测量的系统输入/输出数据来重构，用输入/输出数据进行重构内部状态时需要用到增广矩阵，而增广矩阵是一个状态不能完全可控的系统，容易导致追踪误差。另一方面，现有的工作较少考虑无人集群系统在执行任务过程中能量消耗问题。

技术实现思路

[0004]本专利技术所要解决的技术问题在于：如何解决现有的研究工作中，较少考虑无人集群系统在内部状态未知的情况下的优化问题，然而在实际中，一方面由于无人机的内部状态不容易测量，另一方面由于无人机算力、存储的有限以及任务的复杂性，所以考虑一种内部状态未知的无人集群系统输出同步优化控制方法。
[0005]本专利技术是通过以下技术方案解决上述技术问题的，本专利技术包括以下步骤：
[0006]S1：根据无人集群系统各个无人机之间的连接情况，构建出所述无人集群系统的拓扑结构及拉普拉斯连接矩阵；
[0007]S2：通过状态估计器估计所述无人集群系统未知的内部状态，将所述无人机划分为领导者无人机和追随者无人机，重构无人机的局部状态误差系统，并定义性能函数；
[0008]S3：采用Q学习算法中的Actor
‑
Critic网络结构分别近似无人机的控制动作和性能函数，采用Critic网络对所述性能函数进行近似处理，Actor网络根据所述性能函数更新无人机的控制动作；
[0009]S4：Critic网络对Actor网络近似的控制动作进行评价，Actor网络根据Critic网络的评价对控制动作进行调整，整个过程使用梯度下降更新；在训练神经网络参数时采用经验回放策略和目标网络技术，当Actor
‑
Critic网络结构的神经网络参数不再更新时，即获取到近似优化输出一致控制策略。
[0010]本专利技术相比现有技术具有以下优点：
[0011]1、本专利技术提出了一种获取内部状态的新方法。具体而言，本专利技术基于输出反馈机制设计了状态估计器。与现有的内部状态重构方法相比，本专利技术中的方法不需要使用会导致系统不稳定的增广矩阵，而这种状态估计器能够提升系统的稳定性能。
[0012]2、本专利技术基于估计的内部状态，提出了一种等效系统模型来表征局部输出同步误
差的动态特性，这有利于优化控制。
[0013]3、本专利技术的无人集群系统是系统精确模型未知的系统，相比于传统的优化方法要求精确模型已知，然而在很多实际情形中，系统精确模型未知或者不容易获取，本专利技术所使用的Actor
‑
Critic框架能较好的解决系统精确模型未知的情形。
[0014]4、本专利技术所提出的经验重演策略和目标网络技术，可以使得无人机与环境的充分交互，同时避免了使用激励条件。仿真结果已得到验证。本专利技术所提出的增加经验池和目标网络技术方法能有效的提高无人机与环境的探索，最终提高系统的收敛性。
附图说明
[0015]图1是本专利技术的整体流程图；
[0016]图2是本专利技术的系统收敛过程中可能出现的拓扑图；
[0017]图3为本专利技术的对比实验的无人机追踪误差演变图；
[0018]图4为本专利技术的对比实验的无人机追踪轨迹演变图；
[0019]图5为本专利技术的对比实验的近似优化控制演变图；
[0020]图6为本专利技术的无人机追踪误差演变图；
[0021]图7为本专利技术的无人机追踪轨迹演变图；
[0022]图8为本专利技术的近似优化控制演变图；
[0023]图9为本专利技术中算法1，算法2和算法3的关系图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]图1是本专利技术的整体流程图；如图1所示，本实施例提供一种内部状态未知的无人集群系统输出同步优化控制方法，该方法为无人集群系统在合作竞争关系下的反同步优化控制方法，该方法包括但不限于如下步骤：
[0026]S1：根据无人集群系统各个无人机之间的连接情况，构建出所述无人集群系统的拓扑结构及拉普拉斯连接矩阵；在本专利技术实施例中，所述无人集群系统中，各个无人机通过一定的方式进行连接，本实施例以图2为示例拓扑结构图，一个由5个节点组成的领导者
‑
追随者模式的无人集群系统，其中节点1、2、3、4表示追随者无人机，节点0表示领导者无人机。值得注意的是，追随者无人机4会从领导者无人机0处获取信息。
[0027]因此，所述本专利技术中拉普拉斯连接矩阵的相关参数为：
[0028]所述拓扑结构图表示为：G＝diag{1,1,0,0}；
[0029]所述连接矩阵表示为：
[0030]所述拉普拉斯矩阵表示为：
[0031]S2：通过状态估计器估计所述无人集群系统未知的内部状态，将所述无人机划分为领导者无人机和追随者无人机，重构无人机的局部状态误差系统，并定义性能函数；
[0032]在本专利技术实施例中，所述无人集群系统包括领导者与追随者模式，每个无人机包含自身的状态信息，x
i
(k)表示第i个无人机的状态信息，x
j
(k)表示第j个无人机的状态信息；通过上述方式，将领导者无人机与追随者无人机采用相对应的领导者动态方程与追随者动态方程进行更新，表示为：
[0033]领导者无人机动态方程表示为：
[0034][0035]追随者无人机动态方程表示为：
[0036][0037]其中，x0(k+1)表示领导者无人机在k+1时刻的状态值，x0(k)表示领导者无人机在k时刻的状态值，y0(k)表示领导者无人机在k时刻的控制输出，y
i
(k)表示追随者无人机i在k时刻的控制输出，x
i
(k+1)表示追随者无人机i在k+1时刻的状态值，x
i
(k)表示追随者无人机i在k时刻的状态值，μ
i
(k)表示追随者无人机i在k时刻的控制输入，A,B
i
,C为不同的未知常数矩阵，这几个常数矩阵具有一定合适维度，但是其具体值是未知的。
[0038]在本专利技术实施例中，还需要根据所述领导者动态方程与追随者动态方程重构得到无人机的局部状态误差系统，表示为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内部状态未知的无人集群系统输出同步优化控制方法，其特征在于，包括以下步骤：S1：根据无人集群系统各个无人机之间的连接情况，构建出所述无人集群系统的拓扑结构及拉普拉斯连接矩阵；S2：通过状态估计器估计所述无人集群系统未知的内部状态，将所述无人机划分为领导者无人机和追随者无人机，重构无人机的局部状态误差系统，并定义性能函数；S3：采用Q学习算法中的Actor
‑
Critic网络结构分别近似无人机的控制动作和性能函数，采用Critic网络对所述性能函数进行近似处理，Actor网络根据所述性能函数更新无人机的控制动作；S4：Critic网络对Actor网络近似的控制动作进行评价，Actor网络根据Critic网络的评价对控制动作进行调整，整个过程使用梯度下降更新；在训练神经网络参数时采用经验回放策略和目标网络技术，当Actor
‑
Critic网络结构的神经网络参数不再更新时，即获取到近似优化输出一致控制策略。2.根据权利要求1所述的一种内部状态未知的无人集群系统输出同步优化控制方法，其特征在于：步骤S2中的状态估计器如下：其中，W是观测增益矩阵；表示追随者无人机i在k+1时刻的状态观测值，A,B
i
,C为不同的未知常数矩阵；追随者无人机i在k时刻的状态观测值，μ
i
(k)表示追随者无人机i在k时刻的控制输入，y
i
(k)表示追随者无人机i在k时刻的控制输出，表示追随者无人机i在k时刻的控制输出观测值。3.根据权利要求1所述的一种内部状态未知的无人集群系统输出同步优化控制方法，其特征在于：步骤S2中的领导者无人机与追随者无人机采用相对应的领导者动态方程与追随者动态方程进行更新；并根据所述领导者动态方程与追随者动态方程重构得到无人机的局部状态误差系统，基于所述无人机的局部状态误差系统确定性能函数，其中：领导者无人机动态方程表示为：追随者无人机动态方程表示为：其中，x0(k+1)表示领导者无人机在k+1时刻的状态值，x0(k)表示领导者无人机在k时刻的状态值，y0(k)表示领导者无人机在k时刻的控制输出，x
i
(k+1)表示追随者无人机i在k+1时刻的状态值，y
i
(k)表示追随者无人机i在k时刻的控制输出，x
i
(k)表示追随者无人机i在k时刻的状态值，μ
i
(k)表示追随者无人机i在k时刻的控制输入，A,B
i
,C为不同的未知常数矩阵；
无人机的局部状态误差系统重构为：其中，表示追随者无人机i在k时刻的局部状态误差系统，b
i
表示追随者无人机是否能接收领导者无人机的状态信息，b
i
＝1表示追随者无人机能够接收领导者无人机的信息，b
i
＝0表示追随者无人机不能接收领导者无人机的信息；a
ij
≥0表示追随者无人机i接收追随者无人机j的状态信息情况，a
ij
＞0表示追随者无人机i能够接收追随者无人机j的状态信息，a
ij
＝0表示追随者无人机i不能接收追随者无人机j的状态信息；N

【专利技术属性】
技术研发人员：纪良浩，张翠娟，杨莎莎，郭兴，于凤敏，于南翔，李华青，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：