基于多注意力的视频超分辨率重建网络构建方法及其应用技术

本发明专利技术公开了基于多注意力的视频超分辨率重建网络构建方法及其应用，属于视频超分辨率重建技术领域，包括：建立待训练的超分辨率重建网络，并利用低分辨率的视频帧序列及其对应的高分辨率视频帧序列构建的超分辨率数据集进行训练、验证和测试；网络包括：对齐模块，用于对视频帧序列进行光流估计；传播模块，用于使光流信息进行前、后向传播后与对应视频帧拼接，然后进行特征提取，得到待传播特征；聚合模块，用于基于空间注意力和时间注意力对待传播特征进行聚合；上采样重建模块，用于对聚合特征图上采样；以及超分辨图像生成模块，用于将各视频帧与上采样结果融合为超分辨率图像。本发明专利技术能够提高面向海面目标的视频超分辨率重建质量。重建质量。重建质量。

【技术实现步骤摘要】
基于多注意力的视频超分辨率重建网络构建方法及其应用


[0001]本专利技术属于视频超分辨率重建
，更具体地，涉及基于多注意力的视频超分辨率重建网络构建方法及其应用。

技术介绍

[0002]如今，海面目标图像/视频在海防边防、海运贸易中都被广泛应用，但是海面的粼光、波浪和较远的观测距离等因素导致海面目标成像受干扰严重，目标像尺寸小、清晰程度低，难以看清。海面目标“看不清”的问题成为了学者们的一个研究焦点，其中利用软件方式进行超分辨率重建、增强目标信息质量成为了一个解决上述问题的重要研究方向。
[0003]由于单一的低分辨率视频可以获得多个不同的重建解，如何在众多重建解中寻找一个对高分辨率视频逼近的超分辨率重建解成为了一个极具挑战性的问题。传统的视频超分辨率方法包括插值法、重建法和传统学习法，这些方法在处理运动估计时仍然无法得到高精度的结果，从而导致重建效果较差。
[0004]随着深度学习在各个计算机视觉领域的广泛应用，深度学习技术对超分辨率效果有了较为明显的改善，但是海面目标的超分辨率重建与其他领域的超分辨率重建具有较大的差异。这是因为，在图像超分辨率重建过程中，海面目标尺寸较小、携带信息量较少、特征存在丢失现象导致重建效果欠佳；在视频超分辨率重建过程中，海面背景中存在的粼光和起伏的海浪，造成序列图像的学习注意力会被海面背景的连续变化所牵引，影响了建模过程中对海面目标的关注度。目前的一些超分辨率重建技术没有关注海面目标的特殊性，在训练学习过程中，海面目标尺寸小的问题和海面背景影响往往都是对超分辨率重建处理的不利因素。因此，如何提出一种可有效提高目标空间分辨率、增强目标信息质量的超分辨率重建方法，使其可应用于海面目标的重建，是一个亟待解决的问题。

技术实现思路

[0005]针对现有技术的缺陷和改进需求，本专利技术提供了基于多注意力的视频超分辨率重建网络构建方法及其应用，其目的在于，抑制浪花纹理和海面粼光等对海面目标重建结果的不利影响，提高面向海面目标的视频超分辨率重建质量。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种基于多注意力的视频超分辨率重建网络构建方法，包括：
[0007]建立待训练的超分辨率重建网络，其包括：
[0008]对齐模块，用于对输入的视频帧序列进行光流估计，得到相邻视频帧间的光流图；
[0009]传播模块，用于使光流图中的光流信息在前向和后向两个方向上传播，得到各视频帧对应的前向对齐特征和后向对齐特征，并将各视频帧以及对应的前向对齐特征和后向对齐特征拼接后进行特征提取，得到各视频帧对应的待传播特征；
[0010]聚合模块，用于计算各视频帧对应的待传播特征的空间注意力，并融合到对应的待传播特征，得到第一注意力特征图；基于第一注意力特征图计算各待传播特征图与选定
的关键视频帧对应的待传播特征之间的相似性，得到各待传播特征图的时间权重图，与对应的待传播特征相乘，得到各视频帧对应的聚合特征图；
[0011]上采样重建模块，用于将各视频帧对应的聚合特征图上采样，得到各视频帧对应的超分辨率残差图；
[0012]以及超分辨图像生成模块，用于将各视频帧与其对应的超分辨率残差图融合，得到各视频帧对应的超分辨率图像；
[0013]利用低分辨率的视频帧序列及其对应的高分辨率视频帧序列构建超分辨率数据集，并划分为训练集、验证集和测试集；
[0014]分别利用训练集、验证集和测试集对待训练的超分辨率重建网络进行训练、验证和测试，得到训练好的超分辨率重建网络。
[0015]进一步地，聚合模块包括：
[0016]空间注意力分支，用于计算各视频帧对应的待传播特征的空间注意力，并融合到对应的待传播特征，得到第一注意力特征图；
[0017]时间注意力分支，用于将选定的关键视频帧对应的待传播特征进行卷积后，与各视频帧对应的第一注意力特征图进行点乘，然后按照通道维度将特征逐一相加，获得特征矩阵，并利用sigmoid激活函数进行加权，得到各视频帧对应的时间注权重图；
[0018]以及聚合分支，用于将各视频帧对应的待传播特征与对应的时间权重图相乘，得到融合了时空注意力的特征图，作为各视频帧对应的聚合特征。
[0019]进一步地，空间注意力分支包括依次连接的高效通道注意力模块和空间注意力模块。
[0020]进一步地，上采样重建模块包括一个或多个通道注意力模块。
[0021]进一步地，对待训练的超分辨率重建网络进行训练、验证和测试的过程中，损失函数为：
[0022]L＝L
pixel
+L
obj
[0023]其中，L为总体损失；L
pixel
为像素损失，用于表示重建得到的超分辨图像相对于高分辨率视频帧标签的损失；L
obj
为目标边缘感知损失，用于表示重建得到的超分辨图像相对于高分辨率视频帧标签在边缘处的损失。
[0024]进一步地，
[0025][0026]其中，I和分别表示重建得到的超分辨图像和高分辨视频帧标签，H、W和C分别表示超分辨图像的高度、宽度和维数；ε为预设值。
[0027]进一步地，
[0028][0029]其中，E(i,j)∈{0,1}，E(i,j)＝1表示(i,j)处的像素是图像边缘点，E(i,j)＝0表
示(i,j)处的像素不是图像边缘点。
[0030]按照本专利技术的又一个方面，提供了一种基于多注意力的视频超分辨率重建方法，包括：
[0031]将视频帧序列输入至训练好的超分辨率重建网络，从训练好的超分辨率重建网络的输出中提取各视频帧对应的超分辨率图像，得到超分辨率视频帧；
[0032]其中，训练好的超分辨率重建网络由本专利技术提供的上述基于多注意力的视频超分辨率重建网络构建方法构建所得。
[0033]按照本专利技术的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本专利技术提供的基于多注意力的视频超分辨率重建网络构建方法，和/或，本专利技术提供的基于多注意力的视频超分辨率重建方法。
[0034]总体而言，通过本专利技术所构思的以上技术方案，能够取得以下有益效果：
[0035](1)本专利技术所构建的超分辨率重建网络中，传播模块在对其模块估计得到的光流信息的基础上，使光流信息在前向和后向两个方向上传播，得到各视频帧对应的前向对齐特征和后向对齐特征，一方面，实现了光流信息的双向传播，增加了不同帧的信息利用率，另一方面，实现了特征层面的对齐操作，可避免直接进行图像对齐操作会受到模糊和光流计算不精准的影响，从而导致细节丢失和对齐质量下降的情况；聚合模块基于空间注意力机制和时间注意力机制对对齐后的特征进行聚合，能够充分利用相邻帧之间的信息，更为关注海面目标，抑制浪花纹理和海面粼光等对海面目标重建结果的不利影响，从而有效提高面向海面目标的视频超分辨率重建质量。
[0036]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多注意力的视频超分辨率重建网络构建方法，其特征在于，包括：建立待训练的超分辨率重建网络，其包括：对齐模块，用于对输入的视频帧序列进行光流估计，得到相邻视频帧间的光流图；传播模块，用于使光流图中的光流信息在前向和后向两个方向上传播，得到各视频帧对应的前向对齐特征和后向对齐特征，并将各视频帧以及对应的前向对齐特征和后向对齐特征拼接后进行特征提取，得到各视频帧对应的待传播特征；聚合模块，用于计算各视频帧对应的待传播特征的空间注意力和时间注意力，并融合到对应的待传播特征，得到各视频帧对应的聚合特征图；上采样重建模块，用于将各视频帧对应的聚合特征图上采样，得到各视频帧对应的超分辨率残差图；以及超分辨图像生成模块，用于将各视频帧与其对应的超分辨率残差图融合，得到各视频帧对应的超分辨率图像；利用低分辨率的视频帧序列及其对应的高分辨率视频帧序列构建超分辨率数据集，并划分为训练集、验证集和测试集；分别利用所述训练集、验证集和测试集对所述待训练的超分辨率重建网络进行训练、验证和测试，得到训练好的超分辨率重建网络。2.如权利要求1所述的基于多注意力的视频超分辨率重建网络构建方法，其特征在于，所述聚合模块包括：空间注意力分支，用于计算各视频帧对应的待传播特征的空间注意力，并融合到对应的待传播特征，得到第一注意力特征图；时间注意力分支，用于将选定的关键视频帧对应的待传播特征进行卷积后，与各视频帧对应的第一注意力特征图进行点乘，然后按照通道维度将特征逐一相加，获得特征矩阵，并利用sigmoid激活函数进行加权，得到各视频帧对应的时间注权重图；以及聚合分支，用于将各视频帧对应的待传播特征与对应的时间权重图相乘，得到融合了时空注意力的特征图，作为各视频帧对应的聚合特征。3.如权利要求2所述的基于多注意力的视频超分辨率重建网络构建方法，其特征在于，所述空间注意力分支包括依次连接的高效通道注意力模块和空间注意力模块。4.如权利要...

【专利技术属性】
技术研发人员：胡静，黄成阳，张睿，张怡强，钟卫卫，吕思琪，陈逸凡，石梓灿，朱晓晖，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：