一种面向旋转合成孔径计算成像的序列图像融合方法技术

本发明专利技术公开了一种面向旋转合成孔径计算成像的序列图像融合方法，所述方法立足于旋转合成孔径光学遥感系统成像机理，提出基于视觉

【技术实现步骤摘要】
一种面向旋转合成孔径计算成像的序列图像融合方法


[0001]本专利技术属于光学图像处理领域，涉及一种光学遥感图像融合方法，具体涉及一种面向旋转合成孔径新体制计算成像系统的多旋转相位序列图像融合的方法
。

技术介绍

[0002]无人机
、
飞艇
、
卫星等平台遥感图像具有广域覆盖
、
时间分辨率高以及任务规划灵活等优势，在当今信息时代的大背景下，正广泛地应用于气象预测
、
环境监测
、
农业调查
、
城市规划等领域，为各行各业提供精准的数据支持，已成为许多领域不可或缺的工具
。
其有助于不断提高民众的生活质量和科技服务的整体水平，对我国国民经济发展的意义不言而喻
。
[0003]遥感平台获取高空间分辨率
、
高成像质量图像主要依赖于大口径主镜
。
传统的以大口径单体主镜为核心的折射
/
反射式光学系统受到平台的负载能力，以及自身的系统复杂度
、
体积
、
重量和成本极大的限制，难以满足高可靠
、
轻量化
、
低成本的应用需求
。
旋转合成孔径计算成像技术，采用大长宽比的类矩形主镜，在成像过程中使主镜绕中心旋转，能够使系统在各方向上分时实现矩形长边等效口径成像，具有主镜轻量化
、
无需主镜拼接
、
不需要在轨进行面型实时保持等优势，大大降低了系统整体设计
、
制造
、
检测难度，是目前实现大口径
、
高分辨率相机最有前景的技术途径之一，已成为未来多平台高分辨率光学遥感相机重要发展方向
。
[0004]旋转合成孔径成像系统的时序成像过程中，主镜的旋转使图像的成像质量呈周期性变化，且主镜长边方向的成像质量高于短边方向；由于主镜的点扩散函数随着视场的空间分布变化，以及成像过程中耦合的卫星平台振动
、
主镜旋转误差与探测器采样
、
噪声等因素，即使是主镜相同旋转位置的两帧图像，其成像质量也不相同
。
这种复杂图像质量退化机理不能通过现有的成像质量恢复方式进行处理，必须面向该成像体制的物理机理，深入结合图像融合方法，恢复
、
提升系统成像质量，以使图像达到判读解译需求
。

技术实现思路

[0005]本专利技术的目的是提供一种面向旋转合成孔径计算成像的序列图像融合方法，该方法面向旋转合成孔径成像系统图像判读解译需求，将该系统的图像合成视为一种多帧图像融合问题，提出一种基于深度学习的端到端的图像融合网络，分别计算帧内自注意力和帧间互注意力以兼顾空间域和时间域信息的提取与融合，从而实现图像质量的提升
。
[0006]本专利技术的目的是通过以下技术方案实现的：
[0007]一种面向旋转合成孔径计算成像的序列图像融合方法，包括如下步骤：
[0008]步骤一
、
构建基于视觉
Transformer
的端到端图像融合网络
[0009]所述基于视觉
Transformer
的端到端图像融合网络包括时空信息提取模块
、
时空信息融合模块和两个卷积层，其中：
[0010]所述时空信息提取模块包括帧内自注意力
、
帧间互注意力和一个二维卷积层，该
模块中基于窗口的帧内自注意力计算提取帧内的空间维度的信息，以捕捉遥感图像空间维度的自相似性；时域帧间互注意力则起到代替显式的配准和运动补偿过程的作用，从而更精准地利用各帧图像之间的亚像素信息；二维卷积层用于信息融合，调整模块输出的通道数；
[0011]所述时空信息融合模块由偶数个视频滑动窗口
Transformer
模块和补丁扩展层组成，每两个视频滑动窗口
Transformer
模块的其中一个用于计算三维窗口多头自注意力，另一个用于计算三维移动窗口多头自注意力，补丁扩展层则用于对经过视频滑动窗口
Transformer
模块所得到的特征图进行上采样；
[0012]所述两个卷积层用于调整通道维度，以生成单帧融合图像；
[0013]步骤二：使用时空信息提取模块中基于窗口的帧内自注意力计算提取帧内的空间维度的信息，以捕捉遥感图像空间维度的自相似性，具体步骤如下：
[0014]步骤二一：对于尺寸为
T
×
H
×
W
×
C
的输入向量窗口自注意力首先将该输入特征划分为互不重叠的
M
×
M
个局部窗口，即对于每个窗口而言，输入特征为所有窗口的输入特征表示为其中：
∈
表示属于，表示向量空间，
T、H、W
和
C
分别表示帧序列长度
、
图像宽度
、
图像高度和特征通道数，为窗口个数，
i
表示窗口的索引；然后，为每个窗口计算标准的多头自注意力，则
query
，
key
和
value
矩阵
Q
w
、K
w
和
V
w
分别为：
[0015][0016][0017][0018]式中，
h
表示头的数量，
j
表示注意力头的索引；
[0019]步骤二二
、
在每个不重叠的局部窗口中进行注意力计算，得到如下特征：
[0020][0021]式中：
Attention(
·
)
表示注意力的计算，
softmax(
·
)
表示归一化指数函数，
[0022]步骤二三
、
将特征进行拼接，恢复输入特征的形状，具体拼接方法如下：在空间维度上对来自不同非重叠窗口的特征进行拼接，在信道维度上对来自不同头部的特征进行拼接；
[0023]步骤三：使用时域互注意力的计算提取时间维度的信息代替显式的配准操作，为未对齐的像素建立连接
,
以自适应地提取来自不同帧的信息，具体步骤如下：
[0024]步骤三一：对于每个窗口，分别表示序列中
t
时刻的输入向量和
query
矩阵，
1≤t≤T
，
T
表示主镜的旋转周期，在时域帧间互注意力的计算中，通过每帧的相同位置的窗口的输入特征计算得到
key
和
value
矩阵：
[0025][0026][0027]式中，
p
表示帧序列的索引；
[0028]步骤三二：进行互注本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向旋转合成孔径计算成像的序列图像融合方法，其特征在于所述方法包括如下步骤：步骤一
、
构建基于视觉
Transformer
的端到端图像融合网络所述基于视觉
Transformer
的端到端图像融合网络包括时空信息提取模块
、
时空信息融合模块和两个卷积层，其中：所述时空信息提取模块包括帧内自注意力
、
帧间互注意力和一个二维卷积层，该模块中基于窗口的帧内自注意力计算提取帧内的空间维度的信息，以捕捉遥感图像空间维度的自相似性；时域帧间互注意力代替显式的配准和运动补偿过程，从而更精准地利用各帧图像之间的亚像素信息；二维卷积层用于信息融合，调整模块输出的通道数；所述时空信息融合模块由偶数个视频滑动窗口
Transformer
模块和补丁扩展层组成，每两个视频滑动窗口
Transformer
模块的其中一个用于计算三维窗口多头自注意力，另一个用于计算三维移动窗口多头自注意力，补丁扩展层用于对经过视频滑动窗口
Transformer
模块所得到的特征图进行上采样；所述两个卷积层用于调整通道维度，以生成单帧融合图像；步骤二：使用时空信息提取模块中基于窗口的帧内自注意力计算提取帧内的空间维度的信息，以捕捉遥感图像空间维度的自相似性；步骤三：使用时域互注意力的计算提取时间维度的信息代替显式的配准操作，为未对齐的像素建立连接，以自适应地提取来自不同帧的信息；步骤四：使用视频滑动窗口
Transformer
模块对步骤二和步骤三中提取到的特征进行融合，在特征层面对图像进行隐式的运动估计和扭曲，避免信息丢失和伪影的产生
。2.
根据权利要求1所述的面向旋转合成孔径计算成像的序列图像融合方法，其特征在于所述步骤二的具体步骤如下：步骤二一：对于尺寸为
T
×
H
×
W
×
C
的输入向量窗口自注意力首先将该输入特征划分为互不重叠的
M
×
M
个局部窗口，即对于每个窗口而言，输入特征为所有窗口的输入特征表示为其中：
∈
表示属于，表示向量空间，...

【专利技术属性】
技术研发人员：智喜洋，孙钰，江世凯，胡建明，巩晋南，张伟，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：