基于无监督深度学习的多光照角度航天器图像融合方法技术

本发明专利技术公开了一种基于无监督深度学习的多光照角度航天器图像融合方法，包括以下步骤：获取多光照角度下航天器图像构建数据集；将两张不同图像转换到YCbCr颜色空间，Cb和Cr通道进行加权融合；构建编码器

【技术实现步骤摘要】
基于无监督深度学习的多光照角度航天器图像融合方法


[0001]本专利技术属于图像融合领域，尤其涉及一种基于无监督深度学习的多光照角度航天器图像融合方法。

技术介绍

[0002]现代生活高度依赖于不断增长的卫星基础设施，它们为人类提供了多种服务，包括通信、交通和天气预报等。除了卫星基础设施，也有用于空间探索的大型航天器如国际空间站和中国空间站。监测和维护这些昂贵的空间设备是非常重要的，但由于太空环境的特殊性，一般使用传感器远程监测卫星的状态。
[0003]在航天器上搭载相机是一种常见的监测手段，通过应用计算机视觉技术对丰富的图像数据进行处理，能够得到许多有用的信息，一个典型的应用是使用目标检测和分割技术检测航天器的关键部位(把手，天线，对接孔位等)，这对航天器对接、维护等任务都至关重要。
[0004]但在太空环境中，太阳光直射在航天器上，而地面反射光影响微弱，相机获得的数据严重依赖于光照情况，通常存在大量的阴影遮挡和光照暗区。在光照角度发生变化时，阴影区域也会随之变化，所以即使在同一视角拍摄，获得的图像数据也存在很大差别，这严重限本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无监督深度学习的多光照角度航天器图像融合方法，其特征在于，包括如下步骤：S1、获取多光照角度下的航天器图像构建数据集；该数据集包括多组不同视角下航天器图像序列，每组图像序列为航天器在同一视角下不同光照角度的图像；S2、将同一视角下两张不同光照角度的图像从蓝绿红空间转换到优化彩色视频信号空间，将两张图像的蓝色色度分量通道和红色色度分量通道分别进行加权融合得到新的蓝色色度分量通道和红色色度分量通道；S3、构建基于编码器
‑
解码器架构的卷积神经网络，在自然图像数据集上进行训练，得到泛化性能良好的编码器和解码器，将两张图像的亮度分量通道作为编码器的输入，通过编码器提取特征并根据特征映射的活动水平计算融合权重，根据融合权重融合输入特征，融合输入特征后使用解码器重构为新的亮度分量通道；S4、将卷积神经网络生成的亮度分量通道与加权融合得到的蓝色色度分量、红色色度分量通道重组得到融合图像并转换回蓝绿红空间。2.如权利要求1所述的一种基于无监督深度学习的多光照角度航天器图像融合方法，其特征在于，所述获取多光照角度下的航天器图像构建数据集具体为，从网络搜集公开航天器三维模型，在光照渲染引擎设置平行光模拟太阳光，将背景设置为深黑无光背景，手动调整平行光角度，构建一个模拟太空环境的变化光照航天器仿真图像数据集，数据集包括多个图像序列，每个图像序列为光照渲染引擎生成的在相同视角下变化光照角度的航天器仿真图像。3.如权利要求1所述的一种基于无监督深度学习的多光照角度航天器图像融合方法，其特征在于，步骤S3中，训练卷积神经网络使用的损失函数包括均方误差损失、结构相似性损失和总变差损失，这三种损失函数计算原理如下：首先是均方误差损失用于评估两幅图像之间的重建效果，其表示为输入图像y
i
和输出图像y
o
之差平方的期望值，均方误差损失l
mse
计算公式如下：l
mse
＝||y
o
‑
y
i
||2卷积神经网络输入图像y
i
和输出图像y
o
的亮度差异l(y
i
,y
o
)，对比度差异c(y
i
,y
o
)和结构差异s(y
i
,y
o
)由以下公式计算：)由以下公式计算：)由以下公式计算：其中μ
yi
和σ
yi
为输入图像y
i
的均值和标准差；其中μ
yo
和σ
yo
为输出图像y
o
的均值和标准差，σ
yiyo

【专利技术属性】
技术研发人员：向澳，张育林，徐韵，范丽，何云瀚，邱炜，
申请(专利权)人：浙江大学，
类型：发明
国别省市：