一种可见光相机的空间卫星目标图像仿真方法技术

本发明专利技术公开了一种可见光相机的空间卫星目标仿真方法，包括对已有的三维卫星模型进行贴图、渲染处理后设计光照环境和追踪星拍摄角度上进行设计：在卫星的光照环境上，同时设置太阳光源仿真和环境光源仿真；调整相机位置得到不同距离、角度的渲染卫星图像集；采用生成对抗网络模型，利用渲染卫星图像和真实空间卫星目标图像进行训练，利用反向传播来不断调整网络的权重，更新结构参数，得到最优的参数权重。本方法得到的空间卫星目标图像质量更高，并接近真实的空间卫星目标图像；进一步增强了空间目标卫星的多样性，提高了训练空间目标卫星检测任务和部件分割任务模型的鲁棒性。星检测任务和部件分割任务模型的鲁棒性。星检测任务和部件分割任务模型的鲁棒性。

【技术实现步骤摘要】
一种可见光相机的空间卫星目标图像仿真方法


[0001]本专利技术属于可见光相机的空间卫星目标图像仿真
具体地，本专利技术涉及一种对基于可见光相机的空间卫星目标图像仿真的方法，采用一种新型生成对抗网络，并将其应用于可见光相机的空间卫星目标图像仿真。

技术介绍

[0002]人造卫星技术的不断发展给军事侦察等军事领域应用带来了诸多的便利，但同时也带来了越来越多的技术挑战。其中之一就是对空间非合作卫星目标，例如对敌方侦察或通讯卫星进行捕获并进而获取情报。
[0003]人造卫星技术的不断发展给军事侦察等军事领域应用带来了诸多的便利，但同时也带来了越来越多的技术挑战。其中之一就是对空间非合作卫星目标，例如对敌方侦察或通讯卫星进行捕获并进而获取情报。
[0004]空间非合作目标卫星区别于空间合作目标卫星，其上没有与追踪星的对接接口，也无法对其进行控制，因而造成追踪星在进行捕获时，易发生碰撞或抓取失败的情况。非合作目标卫星捕获过程中，不仅需要对追踪星位置、姿态和抓取机械臂的精准控制，而且需要对目标卫星的姿态、运动情况和包括太阳翼、天线、星箭对接环、发动机等在内的主要部件进行精准识别。
[0005]目前在追踪星靠近和接近非合作目标卫星时，可以使用可见光相机拍摄目标卫星图像，对其进行检测和跟踪，以此推断目标卫星的运动状态，并对其主要部件进行分割和识别，为抓取路径和位置的规划提供准确信息。但由于空间卫星的近距离可见光图像难以获取，难以构建可见光卫星目标图像数据集，并进而支撑卫星部件图像检测识别和分割算法研究。

技术实现思路

[0006]针对上述技术问题，本专利技术提出了一种可见光相机的空间卫星目标仿真方法，本方法拟结合真实空间可见光图像，对空间可见光相机自身噪声和光照影响进行分析，结合卫星模型和光照模型对卫星在不同光照下的图像进行仿真从而仿真构建经过标注的空间可见光卫星图像数据集，为目标检测识别和分割算法研究提供了有力支撑。
[0007]本专利技术完整的技术方案包括：
[0008]一种可见光相机的空间卫星目标仿真方法，其特征在于，包括如下步骤：
[0009](1)利用已有的三维卫星模型，基于给定的真实卫星图片对三维卫星模型进行贴图调整处理；
[0010](2)采用光线跟踪和光能传递结合以模拟真实光照效果，对步骤(1)贴图处理后的三维卫星模型进行渲染，使渲染后的图片接近可见光相机拍摄下的图片；
[0011]在渲染的光照环境进行设计：在卫星的光照环境上，同时设置太阳光源仿真和环境光源仿真；设置一组目标平行光用以模仿太阳光，目标平行光的目标点设置在卫星上，光
源设置在距离卫星目标较远的点；同时在距离卫星较近的位置，设置强度较弱的环境光，以模拟宇宙空间中来自附近星体漫反射的光；调整光强度使仿真出来的卫星图像接近真实卫星情况下的光照，得到渲染后的三维卫星模型图像；
[0012](3)在追踪星拍摄角度上进行设计：在图像进行渲染的过程中，通过在一定范围内调整相机位置以得到不同距离、角度拍摄的渲染卫星图像，得到渲染卫星图像集；
[0013](4)采用深度学习的方法来对步骤(3)得到的渲染卫星图像集进行步改进，使仿真图像能尽可能逼近真实图像；
[0014]搭建生成对抗网络模型，采用真实的空间卫星目标图像形成真实空间卫星图像集，将真实空间卫星图像集和渲染卫星图像集作为生成对抗网络模型的输入图像集，并对生成对抗网络模型进行训练，利用反向传播来不断调整网络的权重，更新结构参数，并利用训练优化后的生成对抗网络模型生成仿真卫星图像。
[0015]进一步的，所述步骤(4)中，所述生成对抗网络包括生成网络G和判别网络D，所述生成网络G由步骤(3)得到的渲染卫星图像集得到网络生成卫星图像；所述判别网络D用以判断图像是网络生成卫星图像还是真实卫星图像。
[0016]进一步的，生成网络G和判别网络D通过迭代的方式依次训练，即在训练其中一个网络的时候，固定另一个网络的权重。
[0017]进一步的，所述生成网络G为TransU
‑
Net网络，其结构包括编码器和解码器，所述编码器对输入的渲染卫星图像进行多次下采样和卷积激活并完成Transformer特征提取，所述解码器进行多次上采样和卷积，上采样和卷积过程首先进行特征张量堆叠，编码和解码过程中同时在不同层次上进行特征拼接，完成编码和解码过程后生成网络G输出网络生成卫星图像。
[0018]进一步的，所述判别网络D由多个卷积网络层进行叠加，最后结合全连接层所构成。
[0019]进一步的，判别网络D结构为：在多个卷积网络层的叠加过程中，采用3*3的小卷积核，并通过增大卷积步长的方式增大感受野并且缩小图像尺寸，通过不断增加卷积核个数的方式获取足够多的特征，特征通道数从64逐渐递增到1024，最后展开成一维向量输入到全连接层中。
[0020]进一步的，所述判别网络D由全连接层来综合特征进行分类，以sigmoid函数作为激活函数，利用sigmoid函数来输出0到1的概率来进行判断输入是网络生成卫星图像还是真实卫星图像，对于真实卫星图像，训练过程中标签设置为0.9～1的随机值，对于由生成网络G生成的网络生成卫星图像，将标签设置为0～0.1的随机值。
[0021]进一步的，所述判别网络D训练过程在真实卫星图像上添加随机噪声。
[0022]相比现有技术，本专利技术具有如下优点：
[0023]1、采用新型生成对抗网络进行空间卫星目标图像仿真工作上，得到空间卫星目标图像质量更高，并接近真实的空间卫星目标图像。
[0024]2、通过本仿真的方法取得和真实空间卫星目标相近的图像，可以进一步增强空间目标卫星的多样性，提高训练空间目标卫星检测任务和部件分割任务模型的鲁棒性，使对应模型在遇到没见过的卫星目标也可以较好的检测和分割。
附图说明
[0025]图1为本专利技术生成对抗网络整体结构。
[0026]图2为本专利技术生成网络结构示意图。
[0027]图3为本专利技术判别网络结构示意图。
[0028]图4为Transformer结构示意图。
[0029]图5为最终仿真卫星图像示意图。
具体实施方式
[0030]下面将结合本申请实施方式中的附图，对本申请的实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本申请。
[0031](1)使用已有的三维卫星模型，基于给定的真实卫星图片，使用真实卫星纹理对三维模型进行纹理贴图，使其尽可能还原真实的卫星三维模型。
[0032](2)使用VRay渲染器对步骤(1)得到的卫星三维模型进行渲染，使渲染出来的图片接近可见光相机拍摄下的图片，仿真了大量的卫星部件图像。基于已有的三维卫星模型，我们使用结合了光线跟踪和光能传递的效果，真实的光线计算模拟真实光照效果，更好的模拟空间中的卫星部件，具体包括在渲染的光照环境和追踪星拍摄角度上进行设计。
[0033]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可见光相机的空间卫星目标仿真方法，其特征在于，包括如下步骤：(1)利用已有的三维卫星模型，基于给定的真实卫星图片对三维卫星模型进行贴图调整处理；(2)采用光线跟踪和光能传递结合以模拟真实光照效果，对步骤(1)贴图处理后的三维卫星模型进行渲染，使渲染后的图片接近可见光相机拍摄下的图片；在渲染的光照环境进行设计：在卫星的光照环境上，同时设置太阳光源仿真和环境光源仿真；设置一组目标平行光用以模仿太阳光，目标平行光的目标点设置在卫星上，光源设置在距离卫星目标较远的点；同时在距离卫星较近的位置，设置强度较弱的环境光，以模拟宇宙空间中来自附近星体漫反射的光；调整光强度使仿真出来的卫星图像接近真实卫星情况下的光照，得到渲染后的三维卫星模型图像；(3)在追踪星拍摄角度上进行设计：在图像进行渲染的过程中，通过在一定范围内调整相机位置以得到不同距离、角度拍摄的渲染卫星图像，得到渲染卫星图像集；(4)采用深度学习的方法来对步骤(3)得到的渲染卫星图像集进行步改进，使仿真图像能尽可能逼近真实图像；搭建生成对抗网络模型，采用真实的空间卫星目标图像形成真实空间卫星图像集，将真实空间卫星图像集和渲染卫星图像集作为生成对抗网络模型的输入图像集，并对生成对抗网络模型进行训练，利用反向传播来不断调整网络的权重，更新结构参数，得到最优的参数权重，并利用训练优化后的生成对抗网络模型生成仿真卫星图像。2.根据权利要求1所述的一种可见光相机的空间卫星目标仿真方法，其特征在于，所述步骤(4)中，所述生成对抗网络包括生成网络G和判别网络D，所述生成网络G由步骤(3)得到的渲染卫星图像集得到网络生成卫星图像；所述判别网络D用以判断图像是网络生成卫星图像还是真实卫星图像。3.根据权利要求2所述的一种可见光相机的空间卫星目标仿真方法，...

【专利技术属性】
技术研发人员：屈晓磊，鲁泓言，周家乐，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：