【技术实现步骤摘要】
基于D3D卷积组内融合网络的视频超分辨率重建方法
[0001]本专利技术涉及计算机视觉和深度学习
，具体涉及一种基于D3D卷积组内融合网络的视频超分辨率重建方法。
技术介绍
：
[0002]超分辨率是指通过软件算法手段，从低分辨率图像中恢复出对应的高分辨率图像，具体可以细分为单图像超分辨率和视频超分辨率，随着移动互联网和通信技术的不断更新，视频超分辨率在遥感成像、全景视频、高清电视等领域有着广泛应用，同时，人们对更高清视频的追求让视频超分辨率得到了越来越多的关注。
[0003]视频超分辨率(Video Super—resolution,VSR)在某种程度上可以看作是单图像超分辨率的拓展，可以将视频划分为多个帧再利用单图像超分辨率原理对这些帧进行一对一的处理，从而得到高分辨率(High—resolution，HR)视频帧，但如果按照这样的方式进行超分辨重建，无法利用帧间运动信息，不能保留帧内时间相关性，从而导致视频帧出现伪影和干扰，重建效果不好。因此，近年来提出的基于深度学习的VSR重建方法的重点研究内容基本都为如...
【技术保护点】
【技术特征摘要】
1.一种基于D3D卷积组内融合网络的视频超分辨率重建方法，其特征在于，所述方法包括：获取待重建的低分辨率视频序列；将所述待重建的低分辨率视频序列输入测试训练好的视频超分辨率重建网络模型；根据所述视频超分辨率重建网络模型的输出，得到视频超分辨率重建结果，即高分辨率视频序列；其中所述视频超分辨率重建网络模型包括时间分组模块、C3D浅层特征提取模块、D3D卷积组内融合模块、组间注意力机制模块和重建模块；所述时间分组模块：用于对输入的低分辨率视频序列根据帧速率的不同进行分组得到N组视频子序列；所述C3D浅层特征提取模块：用于对时间分组模块分组后的视频子序列进行初步的特征提取和时间对齐得到视频特征F，并送入D3D卷积组内融合模块；所述D3D卷积组内融合模块，用于利用空间特征提取器对视频特征进行空间特征提取得到空间特征，然后利用5个卷积核为3
×3×
3的D3D卷积残差块对空间特征进行时空特征融合，得到融合特征，利用二维密集块将融合特征进行组内群体特征提取，生成组内群体特征所述组间注意力机制模块，用于对多个组内群体特征进行时间注意力融合，生成注意力特征图M
n
(x,y)
j
，并送入重建模块；所述重建模块，用于对原始待重建的低分辨率视频序列进行双三次插值上采样生成原始视频残差图将注意力特征图送入由六个级联的残差块和用于重建的亚像素卷积层，进行处理后生成相应的残差图R
t
；将残差图R
t
和原始视频残差图进行相加，生成最终的高分辨率视频序列2.根据权利要求1所述的基于D3D卷积组内融合网络的视频超分辨率重建方法，其特征在于，所述视频超分辨率重建网络模型的训练方法包括：获取低分辨率视频序列数据集；利用所述数据集对所述视频超分辨率重建网络模型进行训练、测试，得到测试训练好的视频超分辨率重建网络模型。3.根据权利要求2所述的基于D3D卷积组内融合网络的视频超分辨率重建方法，其特征在于，所述视频超分辨率重建网络模型训练过程中的损失函数L1(x)为：其中，x表示去权值和偏置参数的集合，i表示训练时的迭代次数，m表示训练视频帧的数量，模型输出的高分辨率视频序列、表示输入模型的低分辨率视频序列，F(.)表示生成高分辨率视频的预测值，||*||表示范数。4.根据权利要求2所述的基于D3D卷积组内融合网络的视频超分辨率重建方法，其特征在于，所述获取低分辨率视频序列数据集，包括：
数据集采用标准的数据集，或自己采集构建；如果采用标准的vid4和数据集进行训练和测试；数据集包含calendar、city、foliage、walk这四个场景视频帧序列，每个场景包含41、34、49、47帧视频图像，对高分辨率视频帧利用标准差σ＝1.6的高斯模糊进行四倍下采样，从而生成对应的低分辨率视频帧。5.根据权利要求1所述的基于D3D卷积组内融合网络的视频超分辨率重建方法，其特征在于，所述时间分组模块的处理过程，包括：将相邻的2N帧根据到参考帧的时间距离划分...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。