一种基于柔性轴的矢量推进器控制系统及方法技术方案

本发明专利技术公开了一种基于柔性轴的矢量推进器控制系统及方法，包括系统建模模块、奖励函数模块、学习模块、训练模块和执行策略模块，具体而言，该方法首先定义柔性轴的状态空间和动作空间，并设计相应的奖励函数，然后，构建策略网络和价值网络的深度神经网络架构，策略网络接收当前状态作为输入，并输出动作的概率分布，在训练阶段，初始化网络参数，并根据当前状态使用策略网络选择动作，并执行在柔性轴上，使用PPO算法更新策略网络的参数以最大化预期奖励，并使用蒙特卡洛方法更新价值网络的参数以减小估计值与实际回报的差距，训练结束后，根据训练得到的最优控制策略，执行姿态调整和推力控制。

【技术实现步骤摘要】

本专利技术涉及船舶控制，尤其是一种基于柔性轴的矢量推进器控制系统及方法。

技术介绍

1、传统的控制方法通常基于预先设计的模型或规则，对于柔性轴矢量推进器这种复杂、非线性的系统往往难以建立准确的模型，

2、离散动作空间的限制：传统控制方法中常用的离散动作空间限制了对柔性轴姿态和推力的精确控制；

3、缺乏自适应性和鲁棒性：传统控制方法通常需要事先调整参数或手动设计控制策略，对于不同工况和环境变化的适应性有限；

4、多智能体协同控制的困难：柔性轴矢量推进器系统中涉及多个推进器的协同控制是一个挑战，传统的分散式控制方法通常需要设计复杂的通信和协调机制。

5、本专利技术针对提出上述缺点提出解决方案为：

6、强化学习通过与环境的交互学习最优策略，不需要依赖精确的模型，能够更好地适应柔性轴推进器的特性，而强化学习算法能够根据奖励信号进行自适应调整，实时优化控制策略，并通过实时训练提高鲁棒性，采用连续动作空间处理的方法，可以更灵活地选择柔性轴的动作，并避免了离散化带来的信息损失，例如，确定性策略梯度算法能够直接输本文档来自技高网...

【技术保护点】

1.一种基于柔性轴的矢量推进器控制系统，其特征在于：包括系统建模模块、奖励函数模块、学习模块、训练模块、执行策略模块；

2.一种基于柔性轴的矢量推进器控制方法，其特征在：所述一种基于柔性轴的矢量推进器控制方法：

3.根据权利要求2所述的一种基于柔性轴的矢量推进器控制方法，其特征在于：所述S3步骤中构建策略网络(Actor)和价值网络(Critic)的深度神经网络架构：

4.根据权利要求2所述的一种基于柔性轴的矢量推进器控制方法，其特征在于：所述在S4步骤中使用PPO算法更新策略网络的参数θ以最大化期望奖励，同时使用蒙特卡洛方法更新价值网络的参数ω来减小...

【技术特征摘要】

1.一种基于柔性轴的矢量推进器控制系统，其特征在于：包括系统建模模块、奖励函数模块、学习模块、训练模块、执行策略模块；

2.一种基于柔性轴的矢量推进器控制方法，其特征在：所述一种基于柔性轴的矢量推进器控制方法：

3.根据权利要求2所述的一种基于柔性轴的矢量推进器控制方法，其特征在于：所述s3步骤中构建策略网络(actor)和价值网络(critic)的深度神经网络架构：

4...

【专利技术属性】
技术研发人员：董良雄，李聚保，滕宪斌，毕齐林，干鑫华，李诏贤，李行行，
申请(专利权)人：广州航海学院，
类型：发明
国别省市：