一种基于模型参考强化学习的无人船容错控制方法技术

本发明专利技术公开了一种基于模型参考强化学习的无人船容错控制方法，该方法包括：对无人船的不确定性因素进行分析，构建无人船名义动力学模型；基于无人船名义动力学模型，设计无人船标称控制器；基于最大熵的Actor

【技术实现步骤摘要】
一种基于模型参考强化学习的无人船容错控制方法


[0001]本专利技术涉及无人船控制领域，尤其涉及一种基于模型参考强化学习的无人船容错控制方法。

技术介绍

[0002]随着制导、导航和控制技术的显著进步，无人船(autonomous surface vehicles，ASV)的应用已经占据了航空举足轻重的部分。在大多数应用中，无人船预计将在长时间没有人工干预的情况下安全运行。因此，需要无人船具有足够的安全和可靠性属性以提供正常的运作，并避免灾难性的后果。然而，无人船容易出现故障、系统组建退化、传感器故障等问题，从而经历性能恶化，不稳定，甚至灾难性的损失。

技术实现思路

[0003]为了解决上述技术问题，本专利技术的目的是提供一种基于模型参考强化学习的无人船容错控制方法，可以在遇到故障后恢复系统性能或保持系统运行，从而显著提高系统的安全性和可靠性。
[0004]本专利技术所采用的第一技术方案是：一种基于模型参考强化学习的无人船容错控制方法，包括以下步骤：
[0005]S1、对无人船的不确定性因素进行分析，构建无人船名义动力学模型；
[0006]S2、基于无人船名义动力学模型，设计无人船标称控制器；
[0007]S3、基于最大熵的Actor
‑
Critic方法，根据实际无人船系统、无人船名义动力学模型的状态变量差值和无人船标称控制器的输出，构建基于模型参考强化学习的容错控制器；
[0008]S4、根据控制任务需求，搭建强化学习评价函数和控制策略模型并训练容错控制器，得到训练完成的控制策略。
[0009]进一步，所述无人船名义动力学模型的公式表示如下：
[0010][0011]上式中，表示广义坐标向量，v表示广义速度向量，u表示控制力和力矩，M表示惯性矩阵，C(v)包括科氏力和向心力，D(v)表示阻尼矩阵，G(v)表示由于重力和浮力及力矩而产生的未建模动力学，B表示预设的输入矩阵
[0012]进一步，所述无人船标称控制器的公式表示如下：
[0013][0014]上式中，N
m
和H
m
包含无人船动力学模型的所有已知常量参数，η
m
表示标称模型的广
义坐标向量，u
m
表示控制律，x
m
表示参考模型的状态。
[0015]进一步，所述容错控制器的公式表示如下：
[0016][0017]上式中，H
m
‑
L表示Hurwitz矩阵，u
l
表示来自深度学习模块的控制策略，β(v)表示内环动力学中所有模型不确定性的集合，n
v
表示广义速度测量值上的噪声矢量，f
v
表示作用于广义速度矢量的传感器故障。
[0018]进一步，所述强化学习评价函数的公式表示如下：
[0019]Q
π
(s
t
,u
l,t
)＝T
π
Q
π
(s
t
,u
l,t
)
[0020][0021]上式中，u
l,t
表示来自RL的控制激发，s
t
表示时间步长t处的状态信号，T
π
表示固定策略，E
π
表示期望算子，γ表示折扣因子，α表示温度系数，Q
π
(s
t
,u
l,t
)表示强化学习评价函数。
[0022]进一步，所述控制策略模型的公式表示如下：
[0023][0024]上式中，Π表示策略集，π
old
表示前一次更新的策略，表示π
old
的Q值，D
KL
表示KL散度，表示归一化因子，(s
t
,
·
)表示控制策略，点表示省去自变量的写法。
[0025]进一步，所述根据控制任务需求，搭建强化学习评价函数和控制策略模型并训练容错控制器，得到训练完成的控制策略这一步骤，其具体包括：
[0026]S41、根据控制任务需求，对基于模型参考强化学习的容错控制器搭建强化学习评级函数和模型策略模型。
[0027]S42、对基于模型参考强化学习的容错控制器进行训练，得到初始控制策略；
[0028]S43、在无人船系统中注入故障，对初始控制策略进行再训练并返回步骤S41，直至强化学习的评价函数网络模型和控制策略模型收敛。
[0029]进一步，还包括：
[0030]引入双评价函数模型，在控制策略预期回报函数中加入策略的熵值，其中R
t
是奖励函数，R
t
＝R(s
t
,u
l,t
)。
[0031]本专利技术方法的有益效果是：本专利技术针对存在模型不确定性和传感器故障的无人船系统，提出了一种将模型参考强化学习与故障诊断和估计机制相结合的基于强化学习的容错控制算法，考虑到蒙特卡洛采样效率低，使用Actor
‑
Critic模型，把累计收益换成Q函数，通过新的基于强化学习的容错控制，我们确保无人船能够学习适应不同的传感器故障，并在故障条件下恢复轨迹跟踪性能。
附图说明
[0032]图1是本专利技术一种基于模型参考强化学习的无人船容错控制方法的步骤流程图；
[0033]图2是本专利技术具体实施例Actor
‑
Critic网络的结构框图。
具体实施方式
[0034]下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0035]如图1所示，本专利技术提供了一种基于模型参考强化学习(reinforcement learning，RL)的无人船容错控制方法，该方法包括以下步骤：
[0036]S1、对无人船内在的不确定性因素进行分析，忽略其中内环动力学中的所有非线性项，得到广义速度向量的动力学方程的线性和解耦模型，建立无人船名义动力学模型；
[0037]动力学模型具体为：
[0038][0039]其中是一个广义坐标向量，x
p
和y
p
表示ASV在惯性系中的水平坐标，是航向角。v＝[u
p
,v
p
,r
p
]T
∈R3是广义速度向量，u
p
和v
p
分别为x轴和y轴方向上的线速度，r
p
为航向角速率。u＝[τ
u
,τ
r
]∈R3控制力和力矩，G(v)＝[g1(v),g2(v),g3(v)]T
∈R3是由于重力和浮力及力矩而产生的未建模动力学，M∈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模型参考强化学习的无人船容错控制方法，其特征在于，包括以下步骤：S1、对无人船的不确定性因素进行分析，构建无人船名义动力学模型；S2、基于无人船名义动力学模型，设计无人船标称控制器；S3、基于最大熵的Actor
‑
Critic方法，根据实际无人船系统、无人船名义动力学模型的状态变量差值和无人船标称控制器的输出，构建基于模型参考强化学习的容错控制器；S4、根据控制任务需求，搭建强化学习评价函数和控制策略模型并训练容错控制器，得到训练完成的控制策略。2.根据权利要求1所述一种基于模型参考强化学习的无人船容错控制方法，其特征在于，所述无人船名义动力学模型的公式表示如下：上式中，表示广义坐标向量，v表示广义速度向量，u表示控制力和力矩，M表示惯性矩阵，C(v)包括科氏力和向心力，D(v)表示阻尼矩阵，G(v)表示由于重力和浮力及力矩而产生的未建模动力学，B表示预设的输入矩阵。3.根据权利要求2所述一种基于模型参考强化学习的无人船容错控制方法，其特征在于，所述无人船标称控制器的公式表示如下：上式中，N
m
和H
m
包含无人船动力学模型的所有已知常量参数，η
m
表示标称模型的广义坐标向量，u
m
表示控制律，x
m
表示参考模型的状态。4.根据权利要求3所述一种基于模型参考强化学习的无人船容错控制方法，其特征在于，所述容错控制器的公式表示如下：上式中，H
m
‑
L表示Hurwitz矩阵，u
l
表示来自深度学习模块的控制策略，β(v)表示内环动力学中所有模型不确定性的集合，n
v
表示广义速度测量值上的噪声矢量，f
v
表示作用于广义速度矢量的传感器故障。5.根据权利要求4所述一种基于模型参考强化学习的无人船容错控制方法，其特征在于，所述强化学习评价...

【专利技术属性】
技术研发人员：张清瑞，熊培轩，张雷，朱波，胡天江，
申请(专利权)人：中山大学，
类型：发明
国别省市：