超分辨率视频的确定方法和电子设备技术

本公开提供了超分辨率视频的确定方法和电子设备，用以提高超分辨率视频图像的质量，包括：针对目标视频中的任意一个目标图像，对所述目标图像进行特征提取，得到第一浅层特征图，其中，目标图像是由多个连续的指定数量的视频帧图像组成，并，对所述第一浅层特征图进行特征提取，得到第二浅层特征图；对所述第二浅层特征图连续进行多次特征提取，得到多个第一深层特征图；将多个第一深层特征图进行拼接处理，得到第二深层特征图后，对第二深层特征图进行特征提取，得到第三深层特征图；将第一浅层特征图和第三深层特征图进行融合，得到目标深层特征图；对目标深层特征图进行重建，得到超分辨率图像；基于得到的各超分辨率图像，得到超分辨率视频。得到超分辨率视频。得到超分辨率视频。

【技术实现步骤摘要】
超分辨率视频的确定方法和电子设备


[0001]本申请涉及图像处理
，特别涉及一种超分辨率视频的确定方法和电子设备。

技术介绍

[0002]超分辨率是视频图像处理中的一个经典问题，其解决如下问题：如何从视频的低分辨率版本构造该视频的高分辨率版本。
[0003]现有技术中，通常是使用深度学习来对实现超分辨率视频的。但是，基于深度学习的视频超分辨率重建方法中所使用的神经网络大多是简单堆叠而成，法获取到丰富的细节信息，导致超分辨率后的视频的图像质量较差。

技术实现思路

[0004]本申请的目的是提供一种超分辨率视频的确定方法和电子设备，用于提高超分辨率后的视频的图像质量。
[0005]根据示例性的实施方式中的一个方面，提供一种超分辨率视频的确定方法，所述方法包括：
[0006]针对目标视频中的任意一个目标图像，对所述目标图像进行特征提取，得到第一浅层特征图，其中，所述目标图像是由所述目标视频中多个连续的指定数量的视频帧图像组成，并，
[0007]对所述第一浅层特征图进行特征提取，得到第二浅层特征图；
[0008]对所述第二浅层特征图连续进行多次特征提取，得到多个第一深层特征图；
[0009]将所述多个第一深层特征图进行拼接处理，得到第二深层特征图后，对所述第二深层特征图进行特征提取，得到第三深层特征图；
[0010]将所述第一浅层特征图和所述第三深层特征图进行融合，得到目标深层特征图；
[0011]对所述目标深层特征图进行重建，得到超分辨率图像；
[0012]基于得到的各超分辨率图像，得到超分辨率视频。
[0013]本实施例产生的有益效果：本实施例通过先对目标视频的各目标图像的浅层特征进行提取，然后对提取到的浅层特征进行连续多次的特征提取，以此得到不同维度的深层次特征图，并通过不同维度的深层次特征图来得到各目标图像的超分辨率图像，最后基于得到各超分辨率图像，得到超分辨率视频。由此，本实施例可以得到不同维度的深层次特征图，以此获取到目标图像的丰富的细节信息，提高了超分辨率后视频的图像质量。
[0014]在一些示例性的实施方式中，所述对所述第二浅层特征图连续进行多次特征提取，得到多个第一深层特征图，包括：
[0015]依序采用多个密集层次特征块对所述第二浅层特征图连续进行多次特征提取，得到多个第一深层特征图。
[0016]本实施例产生的有益效果：本实施例通过依序采用多个密集层次特征块对所述第
二浅层特征图连续进行多次特征提取，得到多个第一深层特征图，以此通过多个密集层次特征块的连续提取，得到不同维度的深层特征信息，进一步提高超分辨率后的图像质量。
[0017]在一些示例性的实施方式中，所述多个密集层次特征块中的前一个密集层次特征块的输出为后一个密集层次特征块的输入，或后一个密集层次特征块的输入为前面各密集层次特征块得到的各第一深层特征图进行拼接处理后得到的中间深层特征图。
[0018]本实施例产生的有益效果：本实施例中将前一密集层次特征块的输出来作为当前密集层次特征块的输入或者是将前面各密集层次特征块得到的各第一深层特征图进行拼接处理后得到的中间深层特征图作为当前密集层次特征块的输入，以此可以对目标图像进行连续多次的特征提取，使得确定出第一深层特征图具有更丰富的细节信息。
[0019]在一些示例性的实施方式中，所述密集层次特征块包括残差层、特征堆叠层和卷积层，其中，所述残差层是由多个残差块组成的；
[0020]所述依序采用多个密集层次特征块对所述第二浅层特征图进行多次特征提取，得到多个第一深层特征图，包括：
[0021]针对任意一个密集层次特征块，依序采用所述残差层中的多个残差块对所述目标特征图进行深层特征提取，得到多个第一中间深层特征图；其中，所述目标特征图为所述第二浅层特征图或上一个残差块输出的第一中间深层特征图；
[0022]利用所述特征堆叠层对所述多个第一中间深层特征图进行拼接处理，得到子深层特征图；
[0023]基于所述卷积层对所述子深层特征图进行特征提取，得到所述第一深层特征图。
[0024]本实施例产生的有益效果：每个密集层次特征块中依序采用所述残差层中的多个残差块对所述目标特征图进行深层特征提取，得到多个第一中间深层特征图，然后利用所述特征堆叠层对所述多个第一中间深层特征图进行拼接处理，得到子深层特征图；基于所述卷积层对所述子深层特征图进行特征提取，得到所述第一深层特征图。由此，每个密集层次特征块中的采用多个残差块对目标特征图进行多次特征提取，以此可以进一步提取出多维度的深层特征，进一步提高超分辨率图像的质量。
[0025]在一些示例性的实施方式中，所述对所述目标深层特征图进行重建，得到超分率图像，包括：
[0026]对所述目标深层特征图进行上采样处理，得到处理后的目标深层特征图，其中，所述处理后的目标深层特征图的大小与所述目标图像的大小相同；并，
[0027]对所述处理后的目标深层特征图进行特征提取，得到子目标深层特征图；
[0028]利用预设的子目标深层特征图与超分辨率图像的对应关系，得到与所述子目标深层特征图相对应的超分辨率图像。
[0029]本实施例产生的有益效果：通过对所述目标深层特征图进行上采样处理，得到处理后的目标深层特征图，然后对所述处理后的目标深层特征图进行特征提取，得到子目标深层特征图，最后利用预设的子目标深层特征图与超分辨率图像的对应关系，得到与所述子目标深层特征图相对应的超分辨率图像。由此，利用具有多维度深层特征的子目标深层特征图来得到超分辨率图像，以此提高超分辨率图像的质量。
[0030]在一些示例性的实施方式中，所述对多个目标图像进行特征提取，得到第一浅层特征图之前，所述方法还包括：
[0031]针对所述目标视频中的任意一帧图像，利用光流估计算法对上一帧图像中各目标像素块的位移进行预测，得到所述各目标像素块在所述图像中的目标位置；
[0032]基于所述各目标像素块在所述图像中的目标位置对所述图像中的各目标像素块的位置进行调整，得到所述视频帧图像。
[0033]本实施例产生的有益效果：通过对各图像进行位置补偿来得到各视频帧图像，以此减少各视频帧图像之间像素的大位移或者是运动模糊对超分辨率图像的影响。
[0034]根据示例性的实施方式中的另一方面，提供一种电子设备，所述电子设备包括存储器和处理器：
[0035]所述存储器，被配置为存储目标视频；
[0036]所述处理器，与所述存储器相连接，被配置为：
[0037]针对目标视频中的任意一个目标图像，对所述目标图像进行特征提取，得到第一浅层特征图，其中，所述目标图像是由所述目标视频中多个连续的指定数量的视频帧图像组成，并，
[0038]对所述第一浅层特征图进行特征提取，得到第二浅层特征图；
[0039]对所述第二浅层特征图连续进行多次特征提取，得到多个第一深层特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超分辨率视频的确定方法，其特征在于，所述方法包括：针对目标视频中的任意一个目标图像，对所述目标图像进行特征提取，得到第一浅层特征图，其中，所述目标图像是由所述目标视频中多个连续的指定数量的视频帧图像组成，并，对所述第一浅层特征图进行特征提取，得到第二浅层特征图；对所述第二浅层特征图连续进行多次特征提取，得到多个第一深层特征图；将所述多个第一深层特征图进行拼接处理，得到第二深层特征图后，对所述第二深层特征图进行特征提取，得到第三深层特征图；将所述第一浅层特征图和所述第三深层特征图进行融合，得到目标深层特征图；对所述目标深层特征图进行重建，得到超分辨率图像；基于得到的各超分辨率图像，得到超分辨率视频。2.根据权利要求1所述的方法，其特征在于，所述对所述第二浅层特征图连续进行多次特征提取，得到多个第一深层特征图，包括：依序采用多个密集层次特征块对所述第二浅层特征图连续进行多次特征提取，得到多个第一深层特征图。3.根据权利要求2所述的方法，其特征在于，所述多个密集层次特征块中的前一个密集层次特征块的输出为后一个密集层次特征块的输入，或后一个密集层次特征块的输入为前面各密集层次特征块得到的各第一深层特征图进行拼接处理后得到的中间深层特征图。4.根据权利要求2所述的方法，其特征在于，所述密集层次特征块包括残差层、特征堆叠层和卷积层，其中，所述残差层是由多个残差块组成的；所述依序采用多个密集层次特征块对所述第二浅层特征图进行多次特征提取，得到多个第一深层特征图，包括：针对任意一个密集层次特征块，依序采用所述残差层中的多个残差块对所述目标特征图进行深层特征提取，得到多个第一中间深层特征图；其中，所述目标特征图为所述第二浅层特征图或上一个残差块输出的第一中间深层特征图；利用所述特征堆叠层对所述多个第一中间深层特征图进行拼接处理，得到子深层特征图；基于所述卷积层对所述子深层特征图进行特征提取，得到所述第一深层特征图。5.根据权利要求1所述的方法，其特征在于，所述对所述目标深层特征图进行重建，得到超分率图像，包括：对所述目标深层特征图进行上采样处理，得到处理后的目标深层特征图，其中，所述处理后的目标深层特征图的大小与所述目标图像的大小相同；并，对所述处理后的目标...

【专利技术属性】
技术研发人员：孙萁浩，周圆，李硕士，张玉，陈维强，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：