基于李雅普诺夫神经网络的无人系统控制方法及控制系统技术方案

本发明专利技术公开了一种基于李雅普诺夫神经网络的无人系统控制方法及控制系统，包括：通过李雅普诺夫神经网络拟合无人系统对应的李雅普诺夫函数；根据所述李雅普诺夫神经网络划分出的安全区域指导无人系统进行迭代训练；融合李雅普诺夫神经网络和无人系统的有模型强化学习智能体后，对无人系统进行控制。本发明专利技术通过李雅普诺夫神经网络拟合李雅普诺夫函数，可以涵盖大部分的李雅普诺夫稳定区域，保证安全区域的充分探索；可扩展至较为复杂的非线性系统，可以在无人船等无人系统中学习李雅普诺夫神经网络；可以有效地迁移到其他的控制算法中，方便与其他算法进行融合。方便与其他算法进行融合。方便与其他算法进行融合。

【技术实现步骤摘要】
基于李雅普诺夫神经网络的无人系统控制方法及控制系统


[0001]本专利技术属于无人系统控制
，特别涉及一种基于李雅普诺夫神经网络的无人系统控制方法及控制系统。

技术介绍

[0002]近年来，为了解决海上运输行业中熟练的专业人员短缺以及运营效率问题，无人船的发展得到了快速的发展，出现了多种无人船控制方法。
[0003]船舶的海洋上航行的过程中会受到例如风力、水流扰动等环境因素的影响，存在着一定的安全隐患。同时安全性问题一直是控制领域中的核心问题，但是由于无人船系统的安全性强烈依赖于人对无人船的先验知识以及手动选择的特征，所以安全问题在现有的无人船控制方法中很少被解决。
[0004]具有安全保证的无人船控制技术具有重大意义。保障无人船控制的安全性，一方面可以减小无人船出现不必要的损伤，发生危险事故，如翻船这类事件的可能性；另一方面可以帮助无人船排除危险系数较大的控制动作，实现更为稳定、有效的控制，帮助无人船摆脱过度依赖人类的先验知识，实现真正的智能化。所以，无人船的安全性保障是一个重要的研究方向，也是亟待解决的关键问题。
[0005]针对保障安全控制问题，研究者提出了许多方法，大致可以分为3类：基于传统方法的计算李雅普诺夫函数方法；给定简单动力模型学习李雅普诺夫神经网络；学习李雅普诺夫神经网络控制器。其中，基于传统方法计算李雅普诺夫函数，通过多项式拟合来进行计算；给定简单动力模型学习李雅普诺夫神经网络是通过神经网络来拟合给定的动力系统的李雅普诺夫函数，解决了李雅普诺夫函数不易寻找的问题；学习李雅普诺夫神经网络控制器可以应用到一些简单的非线性系统中，并找到一个合适的控制函数，同时对李雅普诺夫条件进行了验证。
[0006]无人船系统是一个相对较为复杂的非线性系统，上述几种方法都无法直接完成安全保障任务。基于传统方法计算李雅普诺夫函数，在简单的线性系统中可以计算出合适的李雅普诺夫函数，但在无人船系统中很难寻找到合适的函数，而且所找到的函数只能涵盖一小部分的李雅普诺夫稳定区域；给定简单动力模型学习李雅普诺夫神经网络，这种普遍适用于低维、离散状态的动力系统，无法直接应用到高维、连续的动力系统中，相关研究也基本停留在简单的实验，如倒立摆等，没有在更为复杂的情况下进行拓展；学习李雅普诺夫神经网络控制器，这种方法在生成控制器的同时用李雅普诺夫条件进行验证，但是这种方法固定了李雅普诺夫函数，无法得到占比较大的李雅普诺夫稳定区域，探索不充分，而且不易进行算法迁移，针对有控制算法的系统，无法进行有效的融合。

技术实现思路

[0007]本专利技术的目的在于，针对上述现有技术的不足，提供一种基于李雅普诺夫神经网络的无人系统控制方法及控制系统，用以至少解决上述现有技术问题之一。
[0008]为解决上述技术问题，本专利技术所采用的技术方案是：
[0009]一种基于李雅普诺夫神经网络的无人系统控制方法，其特点是包括：
[0010]通过李雅普诺夫神经网络拟合无人系统对应的李雅普诺夫函数；
[0011]根据所述李雅普诺夫神经网络划分出的安全区域指导无人系统进行迭代训练；
[0012]融合李雅普诺夫神经网络和无人系统的有模型强化学习智能体后，对无人系统进行控制。
[0013]进一步地，还包括基于无人系统的观测状态集合对李雅普诺夫神经网络进行训练，其中，所述李雅普诺夫神经网络的输入为状态对应的无人系统的工作参数数据和工作环境数据，所述李雅普诺夫神经网络的输出为状态对应的李雅普诺夫值。
[0014]作为一种优选方式，在李雅普诺夫神经网络训练过程中，状态在递减区域内。
[0015]作为一种优选方式，在李雅普诺夫神经网络训练过程中，在潜在的安全区域内，若某个状态在经历设定时间步后满足设定的安全集定义，则将该状态加入安全集中。
[0016]作为一种优选方式，在每次迭代训练结束后，基于最新的样本集更新高斯过程模型和李雅普诺夫神经网络。
[0017]作为一种优选方式，所述无人系统的有模型强化学习智能体基于滤波概率模型预测控制算法获得；所述融合李雅普诺夫神经网络和无人系统的有模型强化学习智能体包括根据李雅普诺夫神经网络指导滤波概率模型预测控制算法进行训练，获得基于李雅普诺夫指导的奖励函数，基于所述奖励函数指导控制无人系统。
[0018]作为一种优选方式，所述无人系统为无人船、无人车、无人机或机器人。
[0019]作为一种优选方式，当所述无人系统为无人船时，训练样本集数据包括无人船的实时定位数据、无人船的速度和方向数据、无人船所处环境的风速和风向数据；对无人系统进行控制包括对其发动机油门和/或船舵舵角控制。
[0020]基于同一个专利技术构思，本专利技术还提供了一种基于李雅普诺夫神经网络的无人系统控制系统，其特点是包括：
[0021]李雅普诺夫函数获得模块：用于通过李雅普诺夫神经网络拟合获得无人系统对应的李雅普诺夫函数；
[0022]迭代训练模块：用于根据所述李雅普诺夫神经网络划分出的安全区域指导无人系统进行迭代训练；
[0023]控制模块：用于在融合李雅普诺夫神经网络和无人系统的有模型强化学习智能体后，对无人系统进行控制。
[0024]作为一种优选方式，所述无人系统为无人船、无人车、无人机或机器人。
[0025]与现有技术相比，本专利技术具有以下有益效果：
[0026]1)通过李雅普诺夫神经网络拟合李雅普诺夫函数，可以涵盖大部分的李雅普诺夫稳定区域，保证安全区域的充分探索。
[0027]2)可扩展至较为复杂的非线性系统，可以在无人船等无人系统中学习李雅普诺夫神经网络。
[0028]3)可以有效地迁移到其他的控制算法中，方便与其他算法进行融合。
附图说明
[0029]图1为本专利技术一实施例的基于李雅普诺夫神经网络的无人系统控制方法整体框架图(以无人系统为无人船为例)。
[0030]图2为本专利技术一实施例的基于李雅普诺夫神经网络的无人船无人系统控制方法图(以无人系统为无人船为例)。
具体实施方式
[0031]针对现有技术中的问题和不足，为了更高效、完整的探索安全区域，让无人船等无人系统的控制过程更加稳定，控制效率更加高效，从而能够实际应用，本专利技术提出一种基于李雅普诺夫神经网络来进行迭代学习的强化学习无人系统控制方法和控制系统。
[0032]本专利技术提出的基于李雅普诺夫神经网络来进行迭代学习的强化学习无人系统(如无人船等)控制方法，通过迭代学习李雅普诺夫神经网络来保证系统的安全性，同时能够实现无需人类的先验知识的无人系统(如无人船等)自主学习，可以更为安全、有效的实现对无人系统(如无人船等)的操控。
[0033]根据本专利技术的第一方面，本专利技术提供了一种基于李雅普诺夫神经网络的无人系统控制方法，包括：
[0034]通过李雅普诺夫神经网络拟合无人系统对应的李雅普诺夫函数；
[0035]根据所述李雅普诺夫神经网络划分出的安全区域指导无人系统进行迭代训练；...

【技术保护点】

【技术特征摘要】
1.一种基于李雅普诺夫神经网络的无人系统控制方法，其特征在于，包括：通过李雅普诺夫神经网络拟合无人系统对应的李雅普诺夫函数；根据所述李雅普诺夫神经网络划分出的安全区域指导无人系统进行迭代训练；融合李雅普诺夫神经网络和无人系统的有模型强化学习智能体后，对无人系统进行控制。2.根据权利要求1所述的基于李雅普诺夫神经网络的无人系统控制方法，其特征在于，还包括基于无人系统的观测状态集合对李雅普诺夫神经网络进行训练，其中，所述李雅普诺夫神经网络的输入为状态对应的无人系统的工作参数数据和工作环境数据，所述李雅普诺夫神经网络的输出为状态对应的李雅普诺夫值。3.根据权利要求2所述的基于李雅普诺夫神经网络的无人系统控制方法，其特征在于，在李雅普诺夫神经网络训练过程中，状态在递减区域内。4.根据权利要求2所述的基于李雅普诺夫神经网络的无人系统控制方法，其特征在于，在李雅普诺夫神经网络训练过程中，在潜在的安全区域内，若某个状态在经历设定时间步后满足设定的安全集定义，则将该状态加入安全集中。5.根据权利要求1至4任一项所述的基于李雅普诺夫神经网络的无人系统控制方法，其特征在于，在每次迭代训练结束后，基于最新的样本集更新高斯过程模型和李雅普诺夫神经网络。6.根据权利要求1至4任一项所述的基于李雅普诺夫神经网络的无人系统控制方法，其特征在...

【专利技术属性】
技术研发人员：夏镭，崔允端，李慧云，彭磊，邵翠萍，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：