【技术实现步骤摘要】
本专利技术涉及航迹规划，特别涉及一种基于dqn的运载火箭航迹规划方法。
技术介绍
1、传统的运载火箭路径规划通常依赖于预定义的轨迹和数学模型，这些方法在复杂多变的环境中表现出限制，难以实现高度自主性和实时适应性。现有的自主控制系统在火箭领域中虽有一定应用，但仍受到一系列挑战，如局限性和性能限制等。
2、同时，在火箭航迹规划方法通常需要大量的人工干预和专业知识，包括火箭动力学、空气动力学和数学建模等领域的专业人员，这增加了研发和执行任务的成本。且传统方法通常采用固定的、预先计划好的轨迹，这种刚性规划难以应对突发情况和任务变化，需要频繁的手动调整和修改，缺乏自主决策和适应性，不能在复杂和动态环境中实现自主导航和路径规划。
3、有鉴于此，实有必要提供一种新的技术方案以解决上述问题。
技术实现思路
1、为解决上述技术问题，本申请提供一种基于dqn的运载火箭航迹规划方法，能够使得运载火箭在发射、轨道调整和着陆等关键任务中能够更好地适应实际情况，提高自主性和智能化水平。
2、一种基于dqn的运载火箭航迹规划方法，包括：
3、将运载火箭航迹规划中涉及的数据信息进行初始化；
4、根据初始化的数据信息构建dqn运载火箭环境模型；
5、构建用于航迹规划的dqn神经网络模型，并对dqn神经网络模型进行训练；
6、使用训练完成的 dqn 神经网络模型在仿真环境中生成运载火箭轨迹；
7、对生成的运载火箭轨迹进行评
8、优选的，在将运载火箭航迹规划中涉及的数据信息进行初始化中，包括：坐标系进行初始化、发射点位初始化、地球参数初始化、运载火箭参数初始化和目标弹道参数初始化；
9、其中，所述坐标系包括：发射坐标系、发射惯性系、箭体坐标系、速度坐标系和地心直角坐标系；
10、所述发射点位包括：理论发射点纬度、经度、高度和重力加速度；
11、所述地球模型参数包括：长半轴，扁率，地心引力常数，地球自转角速度，短半轴，平均半径和2阶带谐系数；
12、所述运载火箭参数包括：火箭总重量、火箭全长、最大横截面积、整流罩质量；
13、所述目标弹道参数包括：目标轨道半长轴、目标轨道偏心率、目标轨道倾角、转移轨道远地点地心距、转移轨道远地点速度和转移轨道远地点倾角。
14、优选的，所述根据初始化的数据信息构建dqn运载火箭环境模型，包括：
15、确定运载火箭的相应力学模型和力矩模型；
16、通过运载火箭的相应力学模型和力矩模型分别计算运载火箭所受的合外力和合外力矩；
17、结合运载火箭总体参数信息，计算运载火箭加速度和角加速度以及运载火箭的速度和角速度；
18、计算得到运载火箭的位置和姿态角度；
19、其中，运载火箭的相应力学模型和力矩模型包括地球引力模型、发动机推力模型、控制力和控制力矩模型、惯性力和惯性力矩模型以及气动力和气动力矩模型。
20、优选的，所述通过坐标转换得到运载火箭的位置和姿态角度中，运载火箭的姿态角度公式为：
21、；
22、其中，、、分别为发射惯性系下运载火箭的俯仰、偏航和滚转姿态角；为转动惯量，为视加速度。
23、优选的，所述通过坐标转换得到运载火箭的位置和姿态角度中，运载火箭的位置公式为：
24、；
25、式中，、、分别为运载火箭在发射坐标系下的x、y、z向位置坐标；、、分别为发射点地心矢径三方向分量；、、分别为发射惯性系下的x、y、z向位置坐标；为发射惯性系至发射坐标系的转换矩阵。
26、优选的，所述构建用于航迹规划的dqn神经网络模型，并对dqn神经网络模型进行训练，包括：
27、构建奖励分配模型；
28、构建dqn神经网络模型；
29、对dqn神经网络模型进行训练。
30、优选的，在所述构建奖励分配模型中，奖励制度包括：到达目标高度奖励、与目标轨道距离奖励、燃料节省奖励、超出安控区负奖励、高度损失负奖励、过度调整负奖励、时间奖励、姿态调整奖励、稳定性奖励和惯性导航奖励。
31、优选的，所述对dqn神经网络模型进行训练，包括：
32、获取当前时刻状态和当前时刻采取的动作，计算当前状态下采取动作后得到的奖励；
33、获取下一时刻状态，并且判断是否已经达到入轨目标；
34、根据当前动作索引在训练网络的输出的第1维度上获取对应索引的q值；
35、选出下个状态采取的动作中最大的q值；
36、计算目标网络输出的当前状态的q值；
37、计算并且统计目标网络和训练网络之间的误差损失；
38、将显式将梯度置为0，对反向传播参数更新，同时对训练网络更新；
39、在到达预设时间后更新目标网络的参数，同时将目标网络的参数替换成训练网络的参数。
40、优选的，在对dqn神经网络模型进行训练之前，还包括：确定学习率、折扣因子、贪婪策略、目标网络的参数的更新频率。
41、优选的，所述对生成的运载火箭轨迹进行评估，筛选出最优轨迹，包括：
42、考虑轨迹是否处于安控区域，对于不处于安控区域的轨迹进行去除；
43、对于总奖励越高相应的评估值越高，同时结合达到目标的时间、轨迹的平滑度综合计算运载火箭轨迹评估值；
44、筛选运载火箭轨迹评估值最大的航迹曲线作为最优轨迹。
45、与现有技术相比，本申请至少具有以下有益效果：
46、1、本专利技术能使运载火箭在发射、轨道调整和着陆等关键任务中能够更好地适应实际情况，提高自主性和智能化水平。
47、2、本专利技术能够通过深度学习从环境中学到复杂的航迹规划策略，相较于传统方法具有更强的自适应性和泛化能力。
48、3、本专利技术中的dqn神经网络模型通过训练可以适应不同的飞行条件和任务目标，使得航迹规划更具有灵活性，能够应对多样化的环境。
49、4、本专利技术能够在实时性要求较高的环境中进行航迹规划，具备更高的计算效率和实时性。
50、5、本专利技术的dqn神经网络模型通过学习过程中的奖励设计，能够综合考虑燃料消耗、航迹平滑性等多种因素，使得最终规划的航迹更全面、更优化。
51、6、本专利技术的可以实现航迹规划决策的自动化，减轻人工干预，提高规划的智能性和自主性。
52、7、本专利技术可以在仿真环境中学习和验证，对于复杂的三维空间环境，能够更好地适应不同的飞行情境和任务需求。
53、8、本专利技术具有通用性，该航迹规划方法不仅可以适用于当前的任务需求，也具备适应未来不同任务的潜力。
本文档来自技高网...【技术保护点】
1.一种基于DQN的运载火箭航迹规划方法，其特征在于，包括：
2.如权利要求1所述的运载火箭航迹规划方法，其特征在于，在将运载火箭航迹规划中涉及的数据信息进行初始化中，包括：坐标系进行初始化、发射点位初始化、地球参数初始化、运载火箭参数初始化和目标弹道参数初始化；
3.如权利要求1所述的运载火箭航迹规划方法，其特征在于，所述通过坐标转换得到运载火箭的位置和姿态角度中，运载火箭的姿态角度公式为：
4.如权利要求1所述的运载火箭航迹规划方法，其特征在于，所述通过坐标转换得到运载火箭的位置和姿态角度中，运载火箭的位置公式为：
5.如权利要求1所述的运载火箭航迹规划方法，其特征在于，所述构建用于航迹规划的DQN神经网络模型，并对DQN神经网络模型进行训练，包括：
6.如权利要求5所述的运载火箭航迹规划方法，其特征在于，在所述构建奖励分配模型中，奖励制度包括：到达目标高度奖励、与目标轨道距离奖励、燃料节省奖励、超出安控区负奖励、高度损失负奖励、过度调整负奖励、时间奖励、姿态调整奖励、稳定性奖励和惯性导航奖励。
7.如权
8.如权利要求7所述的运载火箭航迹规划方法，其特征在于，在对DQN神经网络模型进行训练之前，还包括：确定学习率、折扣因子、贪婪策略、目标网络的参数的更新频率。
9.如权利要求8所述的运载火箭航迹规划方法，其特征在于，所述对生成的运载火箭轨迹进行评估，筛选出最优轨迹，包括：
...【技术特征摘要】
1.一种基于dqn的运载火箭航迹规划方法，其特征在于，包括：
2.如权利要求1所述的运载火箭航迹规划方法，其特征在于，在将运载火箭航迹规划中涉及的数据信息进行初始化中，包括：坐标系进行初始化、发射点位初始化、地球参数初始化、运载火箭参数初始化和目标弹道参数初始化；
3.如权利要求1所述的运载火箭航迹规划方法，其特征在于，所述通过坐标转换得到运载火箭的位置和姿态角度中，运载火箭的姿态角度公式为：
4.如权利要求1所述的运载火箭航迹规划方法，其特征在于，所述通过坐标转换得到运载火箭的位置和姿态角度中，运载火箭的位置公式为：
5.如权利要求1所述的运载火箭航迹规划方法，其特征在于，所述构建用于航迹规划的dqn神经网络模型，并对dqn神经网络...
【专利技术属性】
技术研发人员：周良，布向伟，彭昊旻，赵也倪，徐国光，贺浩，祖运予，
申请(专利权)人：东方空间江苏航天动力有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。