一种数字孪生环境下智能卫星的深度强化学习设计方法技术

本发明专利技术公开了一种数字孪生环境下智能卫星的深度强化学习设计方法，涉及卫星设计技术领域。本发明专利技术通过建立一套完整的卫星仿真数字孪生模型，评估卫星的运行状况，反馈卫星布局优劣，为卫星设计提供低成本试错空间；其次，本发明专利技术通过深度强化学习网络生成大量卫星安装数据，在数字孪生空间中不断试错，学习卫星总体设计最优策略，为设计人员提供所需情况下的最优布局。最优布局。最优布局。

【技术实现步骤摘要】
一种数字孪生环境下智能卫星的深度强化学习设计方法


[0001]本专利技术涉及卫星设计
，更具体的说是涉及一种数字孪生环境下智能卫星的深度强化学习设计方法。

技术介绍

[0002]在卫星设计时，目前的卫星设计过程主要依靠技术人员手动设计。人工进行卫星总体设计通常由多个设计部门协同配合，在设计过程中，卫星内部部件的设计，安装，使用大多数情况下是单独完成的，缺乏与其他部件之间的联系。这就使得卫星各模块组成完整卫星后难以进行总体的优化，需要大量的迭代设计，从而导致在卫星设计的效率以及时间上造成了大量的浪费。即人工设计的卫星可能无法达到当前卫星设计条件下的最优解。且在设计过程中，设计进度一定程度上依赖于不同部门之间的协调沟通。
[0003]此外，卫星的高成本也会进一步对卫星设计产生不良影响。卫星零部件以及整星价格高昂，以及现有技术条件下缺乏对卫星的回收能力，即卫星部件不能重复利用，导致了卫星的设计处于相对保守的状态，创新与试错的成本大大增加。
[0004]而且，当前神经网络的训练依赖于大量数据集，而卫星作为高精尖科技，缺少足够的数据集。即使使用强化学习进行无监督学习，在高昂成本下也无法提供足够多的试错机会。
[0005]因此，如何提供一种数字孪生环境下智能卫星的深度强化学习设计方法是迫切需要的。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种数字孪生环境下智能卫星的深度强化学习设计方法，主要的用途在于辅助卫星设计人员进行卫星总体规划设计。
[0007]为了实现上述目的，本专利技术采用如下技术方案：一种数字孪生环境下智能卫星的深度强化学习设计方法，包括以下步骤：S1、根据卫星真实部件构造卫星数字孪生部件，并创建卫星模拟运行环境；S2、构建深度强化学习神经网络，所述深度强化学习神经网络输入卫星数字孪生部件参数信息及卫星数字孪生部件安装信息，输出卫星数字孪生部件组装后的数字卫星；S3、在卫星模拟运行环境中模拟数字卫星发射及运行流程，并根据数字卫星运行情况返回数字卫星各项性能指标以及奖励值；S4、根据数字卫星各项性能指标以及奖励值对卫星数字孪生部件进行修改，将修改后的卫星数字孪生部件再次输入所述深度强化学习神经网络；S5、循环执行步骤S2
‑
S4直到奖励值达到稳定。
[0008]优选的，步骤S2中所述卫星数字孪生部件安装信息包括卫星数字孪生部件的添加、删除以及移动信息。
[0009]优选的，步骤S2中卫星数字孪生部件组装过程包括以下步骤：
在卫星模拟运行环境中将离散的卫星数字孪生部件视为多个正方体的组合体，利用多个正方体的有序组合描述卫星数字孪生部件的物理形状，其中，卫星数字孪生部件物理形状的精细程度取决于正方体数量级；根据多个正方体组成的卫星数字孪生部件的物理形状信息进行碰撞检测，输出各卫星数字孪生部件之间的相对位置信息；深度强化学习神经网络智能体读取卫星数字孪生部件安装信息，结合卫星数字孪生部件之间的相对位置信息将卫星数字孪生部件组装成数字卫星。
[0010]优选的，卫星数字孪生部件组装步骤中采用OpenGL引擎来实现安装过程的可视化。
[0011]优选的，步骤S3中数字卫星发射及运行流程包括：卫星稳定，太阳捕获，地球捕获，以及卫星绕地运行。
[0012]优选的，步骤S3中根据数字卫星运行情况返回数字卫星各项性能指标以及奖励值，还包括以下步骤：根据真实卫星轨道高度将真实卫星对应的数字卫星划分为不同的类型；针对低轨数字卫星，计算其在轨道保持阶段的燃料消耗值及控制精度值，并将所述燃料消耗值及控制精度值对低轨数字卫星运行的评估结果作为奖励值；针对中高轨数字卫星，计算其在轨道转移阶段的燃料消耗值、飞行时间及控制精度值，并将所述燃料消耗值、飞行时间及控制精度值对中高轨数字卫星运行的评估结果作为奖励值。
[0013]优选的，将运行数据的评估结果作为奖励值时，不同类型的数字卫星中运行数据的权重不同，所述运行数据包括燃料消耗值、飞行时间及控制精度值。
[0014]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种数字孪生环境下智能卫星的深度强化学习设计方法，具有以下有益效果：首先，本专利技术通过建立一套完整的卫星仿真数字孪生环境模型，评估卫星的运行状况，反馈卫星布局优劣，为卫星设计提供低成本试错空间；其次，本专利技术通过深度强化学习网络生成大量卫星安装数据，在数字孪生空间中不断试错，学习卫星总体设计最优策略，为设计人员提供所需情况下的最优布局。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0016]图1为本专利技术提供的方法整体流程示意图；图2为本专利技术提供的方法流程框架示意图。
具体实施方式
[0017]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于
本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]如图1所示，本专利技术实施例公开了一种数字孪生环境下智能卫星的深度强化学习设计方法，包括以下步骤：S1、根据卫星真实部件构造卫星数字孪生部件，并创建卫星模拟运行环境；S2、构建深度强化学习神经网络，所述深度强化学习神经网络输入卫星数字孪生部件参数信息及卫星数字孪生部件安装信息，输出卫星数字孪生部件组装后的数字卫星；S3、在卫星模拟运行环境中模拟数字卫星发射及运行流程，并根据数字卫星运行情况返回数字卫星各项性能指标以及奖励值；S4、根据数字卫星各项性能指标以及奖励值对卫星数字孪生部件进行修改，将修改后的卫星数字孪生部件再次输入所述深度强化学习神经网络；S5、循环执行步骤S2
‑
S4直到奖励值达到稳定。
[0019]为了进一步优化上述技术方案，卫星数字孪生部件安装信息包括卫星数字孪生部件的添加、删除以及移动信息；卫星数字孪生部件组装具体可采用以下方法：在卫星模拟运行环境中将离散的卫星数字孪生部件视为多个正方体的组合体，利用多个正方体的有序组合描述卫星数字孪生部件的物理形状，卫星数字孪生部件物理形状的精细程度取决于正方体数量级；根据多个正方体组成的卫星数字孪生部件的物理形状信息进行碰撞检测，输出各卫星数字孪生部件之间的相对位置信息；深度强化学习神经网络智能体读取卫星数字孪生部件安装信息，结合卫星数字孪生部件之间的相对位置信息将卫星数字孪生部件组装成数字卫星。
[0020]步骤S3中数字卫星发射及运行流程包括：卫星稳定，太阳捕获，地球捕获，以及卫星绕地运行。具体的，卫星发射及运行流程可在完整卫星部件安装完成后，以星载计算机为核心进行卫星各流程的实现，主要分为卫星稳定，太本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字孪生环境下智能卫星的深度强化学习设计方法，其特征在于，所述方法包括以下步骤：S1、根据卫星真实部件构造对应的卫星数字孪生部件，并创建卫星模拟运行环境；S2、构建深度强化学习神经网络，所述深度强化学习神经网络输入卫星数字孪生部件参数信息及卫星数字孪生部件安装信息，输出卫星数字孪生部件组装后的数字卫星；S3、在卫星模拟运行环境中模拟数字卫星发射及运行流程，并根据数字卫星运行情况返回数字卫星各项性能指标以及奖励值；S4、根据数字卫星各项性能指标以及奖励值对卫星数字孪生部件进行修改，将修改后的卫星数字孪生部件再次输入所述深度强化学习神经网络；S5、循环执行步骤S2
‑
S4直到奖励值达到稳定。2.根据权利要求1所述的数字孪生环境下智能卫星的深度强化学习设计方法，其特征在于，步骤S2中所述卫星数字孪生部件安装信息包括卫星数字孪生部件的添加、删除以及移动信息。3.根据权利要求1所述的数字孪生环境下智能卫星的深度强化学习设计方法，其特征在于，步骤S2中卫星数字孪生部件组装过程包括以下步骤：在卫星模拟运行环境中将离散的卫星数字孪生部件视为多个正方体的组合体，利用多个正方体的有序组合描述卫星数字孪生部件的物理形状，其中，卫星数字孪生部件物理形状的精细程度取决于正方体数量级；根据多个正方体组成的卫星数字孪生部件的物理形状信息进行碰撞检测，输出各卫星数字孪生部件之间的...

【专利技术属性】
技术研发人员：邓岳，杨李俊，章修惠，李洪珏，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：