一种基于3D卷积的视频超分辨率的方法技术

本发明专利技术提供了一种基于3D卷积的视频超分辨率的方法,以此解决在现有方法中，包括以下步骤：S1.视频帧分组：从视频文件中，读取视频帧，并将视频帧分组；S2.3D卷积计算：基于3D卷积神经网络，构建特征提取算法模型；S3.基于对抗生成网络(GAN)，构建超分辨率算法模型。本发明专利技术方法超分算法因无法进行长时间跨度视频帧的依赖关系特征提取而导致视频帧参考信息缺失的问题。失的问题。失的问题。

【技术实现步骤摘要】
一种基于3D卷积的视频超分辨率的方法


[0001]本专利技术涉及计算机视觉领域，特别地，涉及一种基于3D卷积的视频超分辨率的方法。

技术介绍

[0002]随着科学技术的发展，低分辨率的电子显示器，逐渐被2K/4K显示屏等超高清显示器所替代，消费者对超高清视频片源的需求也越来越高。但是，老旧影视因为早期拍摄设备落后等问题，导致没有超高清片源，严重影响观看体验。与此同时，基于深度神经网络的视频超分辨率算法，在将标清视频处理成超高清视频的技术应用上，得到广泛应用，取得了巨大进步。现有方法中，将视频解码后输入到神经网络，分辨率1920*1080的视频，100帧画面的时间跨度较长，解码后所需内存高达100*1920*1080*3*64≈4.6GB，现有的单层级的深度神经网络算法模型，难以处理如此大规模的数据，最终导致算法无法建立长时间跨度图像帧的相互依赖关系，进而导致视频帧参考信息的缺失。
[0003]解决上述问题的难度为：在现有技术中，一般将视频帧进行简单的卷积计算，或者用对抗生成网络结合光流算法，进行图像帧的依赖关系的特征提取，将提取到的特征作为当前视频帧的参考信息，但由于在超分应用中，视频帧数据量较大，导致难以建立长时间跨度的图像帧。
[0004]对视频的某一帧进行超分，输入的原始信息越多，意味着超分后的画面越接近真实情况；视频通用编码特性，视频前后十几帧，甚至几百帧，都与当前帧强相关；而视频解码后的数据量，是十分庞大的。解决上述问题的意义为：多层级3D卷积，可以将数据分批处理，并分批输入神经网络，特别是分批输入多个浅层神经网络，多层级3D卷积神经网络，在提取到信息特征的同时，可以将数据迅速缩减；对抗生成网络的计算量，由通道数量、宽度、深度共同决定，数据量减少之后，通道数量、宽度都会减小，此时深度不变，因此对抗生成网络的计算量，随着输入数据量的锐减而迅速下降，从而，解决当前单层级神经网络难以解决的输入数据量过大，导致计算量巨大而难以计算的问题。

技术实现思路

[0005]本专利技术提供了一种基于3D卷积的视频超分辨率的方法，以此解决在现有方法中超分算法因无法进行长时间跨度视频帧的依赖关系特征提取而导致视频帧参考信息缺失的问题。
[0006]本专利技术的技术方案如下：
[0007]本专利技术的基于3D卷积的视频超分辨率的方法，包括以下步骤：S1.视频帧分组：从视频文件中，读取视频帧，并将视频帧分组；S2.3D卷积计算：基于3D卷积神经网络，构建特征提取算法模型；S3.基于对抗生成网络(GAN)，构建超分辨率算法模型。
[0008]可选地，在上述基于3D卷积的视频超分辨率的方法中，在步骤S1中，使用通用编解码软件工具，读取视频文件，将视频帧解码成通用的数组矩阵，依次存放在内存中；选取视
频帧的某一帧，并将视频帧前后相邻的m帧视频，依次分成n组；将每一组的视频帧进行拼接，以此作为每个层级3D卷积的输入数据。
[0009]可选地，在上述基于3D卷积的视频超分辨率的方法中，在步骤S2中，构架一个多层级、多输入的3D卷积神经网络模型，首先输入一帧超分前的视频帧，经过卷积神经网络，得到一组特征图；每个层级输入一组视频帧和上一级的特征图，输出一组特征图；多层级输出后，得到3D卷积算法模型最终输出的一组特征图。
[0010]可选地，在上述基于3D卷积的视频超分辨率的方法中，在步骤S3中，基于对抗生成网络(GAN)，构建上采样算法模型，实现超分辨率生成算法，超分辨率生成算法输入3D卷积计算最终输出的一组特征图，输出当前超分后的视频帧。
[0011]可选地，在上述基于3D卷积的视频超分辨率的方法中，超分辨率算法模型包括：基于CNN卷积的超分前视频帧输入网络、基于3D卷积的特征提取网络和基于GAN对抗生成网络的超分辨率提升网络。
[0012]根据本专利技术的技术方案，产生的有益效果是:
[0013]本专利技术的基于3D卷积的视频超分辨率的方法，根据视频帧之间的相关性，利用3D卷积提取图像帧之间的依赖关系，并结合对抗生成网络(GAN)的生成能力，采用多层级图像帧分组输入，从而避免了旧有方法无法进行长时间跨度视频帧的依赖关系特征提取而导致视频帧参考信息缺失的问题，最终，实现长时间跨度视频帧的依赖关系特征提取的超分功能。
[0014]为了更好地理解和说明本专利技术的构思、工作原理和专利技术效果，下面结合附图，通过具体实施例，对本专利技术进行详细说明如下：
附图说明
[0015]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
[0016]图1是本专利技术的基于3D卷积的视频超分辨率的方法的流程图；
[0017]图2是本专利技术方法涉及的超分算法模型的示意图；
[0018]图3是本专利技术方法涉及的超分辨率算法模型的示意图。
具体实施方式
[0019]为使本专利技术的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本专利技术做进一步的详细说明。这些实例仅仅是说明性的，而并非对本专利技术的限制。
[0020]本专利技术的基于3D卷积的视频超分辨率的方法,本专利技术将视频帧进行分组作为输入数据，利用多层级3D卷积提取视频帧之间的相关性，并结合GAN对抗生成网络的生成能力，从而实现长时间跨度视频帧依赖关系特征提取的视频超分功能。具体地，采用多层级3D卷积的方式，将视频帧分组作为输入数据依次使用3D卷积进行特征提取(即，提取视频帧之间的相关性)，得到超分前的某帧视频图像与其他视频帧之间的关系。根据相邻越近，视频帧关系越密切的原则，多层级分组输入，可以减少不必要的视频帧之间的特征提取，以此减少计算量，最终使得可以输入长时间跨度的视频帧，并对进行视频帧进行依赖关系的特征提取。
[0021]本专利技术的工作原理是:利用3D卷积提取视频帧的相关性，对视频帧之间建立联系，进而实现长时间跨度视频帧的依赖关系特征提取的功能；利用对抗生成网络GAN的生成特性，将低分辨率特征图，生成为高分辨率图像。本专利技术方法的思路是，首先特征提取，然后使用这些特征作为对抗生成网络的输入数据，对抗生成网络可以设计成上采样或下采样，本专利技术要提升分辨率，而不是降低分辨率，所以将对抗生成网络设计为上采样，实现分辨率提升的功能。
[0022]如图1所示，本专利技术的基于3D卷积的视频超分辨率的方法，包含以下步骤：
[0023]S1.视频帧分组：从视频文件中，读取视频帧，并将视频帧分组。根据算法模型的数据结构要求，对数据流的数据结构进行预处理。
[0024]在该步骤中，使用通用编解码软件工具，读取视频文件，将视频帧解码成通用的数组矩阵，依次存放在内存中；选取视频帧的某一帧，并将该视频帧前后相邻的m帧视频，依次分成n组；将每一组的视频帧，使用通用的方式，进行拼接，以此作为每个层级3D卷积的输入数据。
[0025]S2.3D卷积计算：基于3D卷积神经网络，构建特征提取算法模型。
[0026]构架一个多层级、多输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D卷积的视频超分辨率的方法，其特征在于，包括以下步骤：S1.视频帧分组：从视频文件中，读取视频帧，并将所述视频帧分组；S2.3D卷积计算：基于3D卷积神经网络，构建特征提取算法模型；S3.基于对抗生成网络(GAN)，构建超分辨率算法模型。2.根据权利要求1所述的基于3D卷积的视频超分辨率的方法，其特征在于，在步骤S1中，使用通用编解码软件工具，读取所述视频文件，将所述视频帧解码成通用的数组矩阵，依次存放在内存中；选取视频帧的某一帧，并将所述视频帧前后相邻的m帧视频，依次分成n组；将每一组的视频帧进行拼接，以此作为每个层级3D卷积的输入数据。3.根据权利要求1所述的基于3D卷积的视频超分辨率的方法，其特征在于，在步骤S2中，构架一个多层级、...

【专利技术属性】
技术研发人员：魏文应，张伟民，安欣赏，肖铁军，张世雄，龙仕强，
申请(专利权)人：广东博华超高清创新中心有限公司，
类型：发明
国别省市：