一种视频超分辨率重建的方法和装置制造方法及图纸

本发明专利技术公开了一种视频超分辨率重建的方法和装置，属于图像处理技术领域。所述方法包括：基于卷积神经网络和加速器框架生成多个预设分辨率对应的引擎文件，其中，所述引擎文件用于对视频进行超分辨率重建；基于GPU设备创建多个工作线程，设置每个所述工作线程的私有数据；根据待重建视频的分辨率，确定目标引擎文件，并在选取的多个目标工作线程上加载所述目标引擎文件；通过所述多个目标工作线程对所述待重建视频的视频数据进行图像推理，生成超分辨率重建后的视频数据。采用本发明专利技术，可以不同分辨率视频的超分辨率重建，并且可以提高超分辨率重建的效率，减少设备资源消耗，满足视频的实时性播放需求。

A method and device of video super-resolution reconstruction

【技术实现步骤摘要】
一种视频超分辨率重建的方法和装置
本专利技术涉及图像处理
，特别涉及一种视频超分辨率重建的方法和装置。
技术介绍
超分辨率重建技术是一种将低分辨率图像通过一定的算法转换为具有更高像素密度、更多细节信息的高分辨率图像。而随着深度学习技术的不断发展，通过卷积神经网络对图像进行超分辨率重建已成为研究重点，其采用大量的高分辨率图像构造素材库，以训练生成超分辨率重建模型，再使用超分辨率重建模型对低分辨率图像执行超分辨率重建。具体过程中，可以先通过对高分辨率图像进行降质处理，生成低分辨率图像，并将高分辨率图像和低分辨率图像进行分块对应，从而以大量相互对应的图像块作为模型训练素材，之后可以采用模型训练素材通过卷积神经网络进行机器学习，训练生成超分辨率重建模型。进而在执行超分辨率重建时，可以以输入的低分辨率图像为依据，通过超分辨率重建模型构造高分辨率图像。在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下问题：超分辨率重建技术开始应用于视频领域，主要通过超分辨率重建模型将低分辨率视频帧重建为高分辨率视频帧，以增强视频画质本文档来自技高网...

【技术保护点】
1.一种视频超分辨率重建的方法，其特征在于，所述方法包括：/n基于卷积神经网络和加速器框架生成多个预设分辨率对应的引擎文件，其中，所述引擎文件用于对视频进行超分辨率重建；/n基于GPU设备创建多个工作线程，设置每个所述工作线程的私有数据；/n根据待重建视频的分辨率，确定目标引擎文件，并在选取的多个目标工作线程上加载所述目标引擎文件；/n通过所述多个目标工作线程对所述待重建视频的视频数据进行图像推理，生成超分辨率重建后的视频数据。/n

【技术特征摘要】
1.一种视频超分辨率重建的方法，其特征在于，所述方法包括：
基于卷积神经网络和加速器框架生成多个预设分辨率对应的引擎文件，其中，所述引擎文件用于对视频进行超分辨率重建；
基于GPU设备创建多个工作线程，设置每个所述工作线程的私有数据；
根据待重建视频的分辨率，确定目标引擎文件，并在选取的多个目标工作线程上加载所述目标引擎文件；
通过所述多个目标工作线程对所述待重建视频的视频数据进行图像推理，生成超分辨率重建后的视频数据。


2.根据权利要求1所述的方法，其特征在于，所述基于卷积神经网络和加速器框架生成多个预设分辨率对应的引擎文件，包括：
基于卷积神经网络训练生成多个预设分辨率对应的超分辨率重建模型；
对所述超分辨率重建模型进行格式转换，并将所有超分辨率重建模型输入至加速器框架，生成所述多个预设分辨率对应的重建引擎；
将所有重建引擎进行序列化处理，生成所述多个预设分辨率对应的引擎文件。


3.根据权利要求1所述的方法，其特征在于，所述根据待重建视频的分辨率，确定目标引擎文件，包括：
从生成的所有所述引擎文件中，选取对应的预设分辨率不小于待重建视频的分辨率，且与所述待重建视频的分辨率最接近的引擎文件作为目标引擎文件。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
如果生成的所有所述引擎文件对应的预设分辨率均小于待重建视频的分辨率，则选取最大预设分辨率对应的引擎文件作为目标引擎文件。


5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
如果生成的所有所述引擎文件对应的预设分辨率均小于待重建视频的分辨率，则对所述待重建视频的各帧图像进行分块；
针对各个图像块，分别从生成的所有所述引擎文件中，选取对应的预设分辨率不小于所述图像块的分辨率，且与所述图像块的分辨率最接近的引擎文件作为目标引擎文件。


6.根据权利要求1所述的方法，其特征在于，所述通过所述多个目标工作线程对所述待重建视频的视频数据进行图像推理，生成超分辨率重建后的视频数据，包括：
对所述待重建视频进行解码，并基于所述目标引擎文件对应的预设分辨率对解码得到的各帧视频数据进行分辨率调节；
通过所述多个目标工作线程中的引擎上下文，对调节后的所述各帧视频数据进行图像推理，并对推理结果进行分辨率恢复；
基于所述待重建视频的视频参数，对恢复后的所述推理结果进行编码，生成超分辨率重建后的视频数据。


7.根据权利要求6所述的方法，其特征在于，所述分辨率调节包括：
将所述待重建视频的各帧图像缩放至所述目标引擎文件对应的预设分辨率；
所述分辨率恢复包括：
基于所述待重建视频的分辨率和图像重建倍率，对所述推理结果进行缩放还原。


8.根据权利要求6所述的方法，其特征在于，所述分辨率调节包括：
如果所述待重建视频的分辨率小于所述目标引擎文件对应的预设分辨率，则对所述待重建视频的各帧图像进行边缘空白补充，以使各帧图像的分辨率与所述目标引擎文件对应的预设分辨率相同；
所述分辨率恢复包括：
基于所述待重建视频的分辨率和图像重建倍率，对所述推理结果进行边缘空白删...

【专利技术属性】
技术研发人员：陈祥祥，郑振贵，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海;31