【技术实现步骤摘要】
基于深度强化学习的卫星探索控制系统及方法
[0001]本专利技术属于飞行器导航、制导与控制领域，具体涉及一种基于深度强化学习的导航控制系统及方法。
技术介绍
[0002]卫星探索控制是一个具有挑战性的任务，需要在复杂空间环境中进行高精度的动态调整。在过去的应用中，优于限制与卫星有限的计算资源和能源，并不会搭载高效且复杂的计算设备，但在今日各种半导体和航天工业的发展下，搭载一部可以承担训练以及模拟的计算终端已经成为现实。传统的卫星控制方法依赖地面中心各种观测设备的预判以及计算，并针对计算结果对自动控制的方法的参数进行修改控制，简单、稳定且精度高，但也存在延迟高、调参复杂等问题，都没法达到即时控制行为，这给卫星安全带来了极大的隐患。如果控制指令因为某些特殊因素导致无法准确传达，便有可能造成无法挽回的损失。然而在太空任务日渐复杂的今天，常规的姿态控制不再能满足复杂的太空任务，尤其是卫星姿态控制中最常用的PID算法，虽然其运作时所耗费的计算资源较少，但其需要在软硬件中对细节参数进行复杂的调整，难以适应动态复杂的任务需求。
[...
【技术保护点】
【技术特征摘要】
1.基于深度强化学习的卫星探索控制系统，其特征是包括强化学习模块和环境模块，环境模块包括动作模块、初始化模块、状态更新模块、基础环境模块、奖励计算模块；强化学习模块调用初始化模块，初始化模块对基础环境进行初始化，完成初始化后由初始化模块返回当前状态s，强化学习模块在获得当前状态s后输出动作a给环境模块，a为一个三元数组作为卫星的三轴加速度动作；环境模块中的动作模块捕获动作进行处理，交由状态更新模块调用基础环境模块来处理当前环境状态更新，再由奖励计算模块获取所有状态和动作信息后给出当前这轮学习的奖励r，并将奖励r和更新后的状态s
′
传递给强化学习模块；强化学习模块结合当当前状态s、输出动作a、奖励r和下一步状态s
′
构成四元组(s,a,r,s
′
)，作为网络的输入值并进行训练后，再根据下一步状态s
′
输出下一个动作a'。2.如权利要求1所述基于深度强化学习的卫星探索控制系统，其特征是，所述的深度强化学习模块包含：TD3网络子模块：包含Actor网络、Critic网络、经验回放池；复合噪声模块：包含探索噪声、策略噪声；网络附加模块：包含LSTM网络子模块和RunningMeanStd归一化函数子模块。3.如权利要求2所述基于深度强化学习的卫星探索控制系统，其特征是，所述的深度强化学习模块的控制策略采用Advanced
‑
TD3算法，Advanced
‑
TD3算法具体步骤如下：S1.训练开始时，进行参数的初始化，对Actor网络、Critic网络、经验回放池和LSTM网络加载初始化时的超参数；S2.与环境模块进行若干轮的随机采样；S3.在复合噪声的介入下与环境进行交互，从环境模块中取得当前状态、动作、奖励与下一步状态所组成的元组；其中，当前状态包含环境的观测值和前一步的动作，前一步状态是前一步的观测值和动作；S4.采用RunningMeanStd归一化方法对当前状态进行归一化处理；S5.输入包括当前状态和经过LSTM网络处理后先前的若干个状态，同时LSTM网络在接受输入值后，对特征向量序列进行建模，学习状态序列之间的时间依赖关系；S6.采用强化学习方法从LSTM网络的输出中选择下一步动作，以最大化预期回报，同时对Actor网络和Critic网络的参数进行更新。4.如权利要求1
‑
3任一项所述基于深度强化学习的卫星探索控制系统，其特征是，所述的深度强化学习模块在学习环境之前，将轨道探索控制问题转换为马尔科夫决策过程，在马尔科夫决策过程主要由三个关键要素构成，分别为状态、动作、奖励。5.如权利要求4所述基于深度强化学习的卫星探索控制系统，其特征是，所述的状态介绍如下：卫星的运动环境采用地心惯性坐标系，x轴指向春分点，与太阳
‑
地球平面相交的地球赤道平面内的一条线，指向黄经为0度的方向；y轴与x轴垂直，指向黄经为90度的方向，即东方向；z轴与地球旋转轴重合，指向北极的方向；在此基础上，状态空间主要由二元数组构成，分别为卫星的当前位置和速度，在当前时刻t下状态空间构成如下公式：S
t
＝[[x
t
,y
t
,z
t
],[v
xt
,v
yt...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。