【技术实现步骤摘要】
本专利技术属于欠驱动水下航行器运动控制的，尤其涉及自主式水下航行器模型预测控制参数自适应轨迹跟踪方法。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、自主式水下航行器（autonomous underwater vehicle，auv）在海洋探索的过程中发挥着十分重要的作用。auv因其自身的结构特点，具有运行里程长、体积小、耐久度、灵活度高等特点，得到了广泛的应用，在海洋探测、海洋装备、海洋状态监测等方面发挥着越来越重要的作用。当前兴起的人工智能技术在各个领域发挥着越来越重要的作用，目前该领域的研究人员正在探索使auv智能化和自主化的控制方法，使得auv能够适应复杂多变的海洋环境和各种未知因素，能够更加自主地完成任务。
3、在水下航行器的运动控制主要分为两类，一类是轨迹跟踪，另一类是路径跟踪。轨迹跟踪任务相较于路径跟踪有着严格的时间和速度约束，在执行轨迹跟踪任务过程中，其运动过程中的速度约束与位置约束都十分重要，同时有着严格的时间步长的要求，因此也具备着较高的控制难度。
4、在模型预测控制方面，现在常用的方法有包括非线性模型预测控制、自适应模型预测控制、分布式模型预测控制等方法，但是该类方法的控制器参数固定，难以适应复杂多变的海洋环境。
5、强化学习控制方面，现在常用的方法有ddpg、actor-critic、td3等方法，通过训练神经网络，根据水下航行器的状态进行动作的选择和输出，或者通过训练深度神经网络（dnn）作为基函数，离线
6、现有的方法主要分为两类，一类是基于模型的控制方法，这类方法的依靠于精确的建模，控制器参数固定，无法根据环境进行自适应调整；另一类方法是无模型的控制方法，典型代表有无模型的强化学习方法，虽然可以通过神经网络进行智能控制，但是存在训练速度慢，训练结果不稳定的问题。由此，本方法的优势在于将强化学习中的sac算法与lpv-mpc算法相结合，一方面采用sac算法动态调整lpv-mpc算法中权重矩阵的参数，提高控制器的自适应调整能力，另一方面利用lpv-mpc算法中的线性时变模型，能够提高sac算法的训练速度和训练结果的稳定性。
7、由此，现有方法中需要进行精确建模，因此采用sac算法动态调整控制器的参数，可以不需要进行精确建模，另一方面现有的强化学习方法需要大量的数据进行训练，因此将现有模型的lpv-mpc方法与无模型的强化学习方法相结合，一方面可以不需要精确建模，另一方面可以提高强化学习算法的训练速度和训练结果稳定性，同时控制器还具备根据环境和任务变化的自适应调节能力，因此，存在控制器参数固定、无法针对于环境或者任务变化进行动态调整的问题。
技术实现思路
1、为克服上述现有技术的不足，本专利技术提供了自主式水下航行器模型预测控制参数自适应轨迹跟踪方法，基于强化学习实现auv模型预测控制参数自适应轨迹跟踪。
2、为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
3、第一方面，公开了自主式水下航行器模型预测控制参数自适应轨迹跟踪方法，包括：
4、针对于自主式水下航行器的运动学和动力学构建得到自主式水下航行器的状态空间方程；
5、将当前状态以及目标状态输入到强化学习的动作网络中，输出模型预测控制器中的q、r权重矩阵中的参数；
6、结合模型预测控制和目标状态，求解得到水下航行器的控制输入，通过龙格库塔法更新水下航行器的运动状态。
7、作为进一步的技术方案，构建自主式水下航行器的状态空间方程的步骤为：
8、自主式水下航行器在工作时忽略横滚角，忽略横滚角后，获得运动坐标系下的速度及固定坐标系下的速度之间的转换公式，基于该转换公式获得自主式水下航行器的运动学模型；
9、基于自主式水下航行器的动力学方程、重心和浮心在载体坐标系的位置，得到动力学模型中的各项矩阵；
10、基于自主式水下航行器的动力学模型和运动学模型，得到状态转移矩阵；获得将动力学模型与运动学模型合并到一起后的输入矩阵b；a，b矩阵中存在状态变量，由此矩阵参数与自主式水下航行器的运动状态相关。
11、第二方面，公开了自主式水下航行器模型预测控制参数自适应轨迹跟踪系统，包括：
12、状态空间方程构建模块，被配置为：针对于自主式水下航行器的运动学和动力学构建得到自主式水下航行器的状态空间方程；
13、预测控制器构建模块，被配置为：将当前状态以及目标状态输入到强化学习的动作网络中，输出模型预测控制器中的q、r权重矩阵中的参数；
14、求解模块，被配置为：结合模型预测控制和目标状态，求解得到水下航行器的控制输入，通过龙格库塔法更新水下航行器的运动状态。
15、以上一个或多个技术方案存在以下有益效果：
16、本专利技术技术方案相较于传统的强化学习方法和模型预测控制方法，该方法的模型预测控制部分采用线性时变模型进行预测控制（ltv-mpc），具体为较为精确的auv动力学模型，因此在训练过程中能有效提高训练速度，并且控制器参数（ltv-mpc中权重矩阵的参数）能够针对于环境或者任务变化进行动态调整，动态调整时，权重矩阵的参数作为sac算法的动作输出，根据当前auv的状态以及目标状态，采用sac算法输出ltv-mpc中权重矩阵的参数，自适应能力大大增强。
17、针对于传统模型预测控制方法控制器参数固定，自适应能力差，强化学习算法训练速度慢，收敛效果不稳定的问题，将强化学习中的sac算法与模型预测控制相结合，具体为将sac算法中的动作输出设定为模型预测控制中权重矩阵q、r、s的参数，即提高了强化学习的训练速度和收敛效果的稳定性，同时模型预测控制中的权重矩阵参数（具体为权重矩阵q、r、s的参数）能够根据环境自适应调整，提高了控制器的自适应能力和抗干扰性，使控制器参数能够根据环境和任务的变化而变化。
18、本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
本文档来自技高网...【技术保护点】
1.自主式水下航行器模型预测控制参数自适应轨迹跟踪方法，其特征是，包括：
2.如权利要求1所述的自主式水下航行器模型预测控制参数自适应轨迹跟踪方法，其特征是，构建自主式水下航行器的状态空间方程的步骤为：
3.如权利要求1所述的自主式水下航行器模型预测控制参数自适应轨迹跟踪方法，其特征在于，所述当前状态指的是水下航行器的速度和姿态，通过传感器测量得到，目标状态是预先设定好的目标轨迹信息。
4.如权利要求1所述的自主式水下航行器模型预测控制参数自适应轨迹跟踪方法，其特征在于，所述动力学模型用于描述速度与加速度之间的关系，所述运动学模型是描述水下航行器速度和位置的关系。
5.如权利要求1所述的自主式水下航行器模型预测控制参数自适应轨迹跟踪方法，其特征在于，求解得到水下航行器的控制输入时，是通过计算得到的输入序列，模型预测控制器的目标就是得到最优的控制序列，使得性能指标最小。
6.如权利要求5所述的自主式水下航行器模型预测控制参数自适应轨迹跟踪方法，其特征在于，求解得到最优控制序列为
7.如权利要求1所述的自主式水下
8.自主式水下航行器模型预测控制参数自适应轨迹跟踪系统，其特征在于，包括：
9.一种计算机装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行上述权利要求1-7任一所述方法的步骤。
...【技术特征摘要】
1.自主式水下航行器模型预测控制参数自适应轨迹跟踪方法，其特征是，包括：
2.如权利要求1所述的自主式水下航行器模型预测控制参数自适应轨迹跟踪方法，其特征是，构建自主式水下航行器的状态空间方程的步骤为：
3.如权利要求1所述的自主式水下航行器模型预测控制参数自适应轨迹跟踪方法，其特征在于，所述当前状态指的是水下航行器的速度和姿态，通过传感器测量得到，目标状态是预先设定好的目标轨迹信息。
4.如权利要求1所述的自主式水下航行器模型预测控制参数自适应轨迹跟踪方法，其特征在于，所述动力学模型用于描述速度与加速度之间的关系，所述运动学模型是描述水下航行器速度和位置的关系。
5.如权利要求1所述的自主式水下航行器模型预测控制参数自适应轨迹跟踪方法，其特征在于，求解得到水下航行器的控制输入时，是通过计算得到的输入序列，模型预测控制器的目标就是得到最优的控制序列，使得性...
【专利技术属性】
技术研发人员：李沂滨，孙昊，宋艳，王代超，张悦，李禧龙，张天泽，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。