一种基于历史特征融合的实时超分辨率重建方法及系统技术方案

本发明专利技术公开了一种基于历史特征融合的实时超分辨率重建方法及系统。该方法包括构建网络模型；构建网络模型包括：对当前帧进行线性特征提取，获得当前帧的线性特征图；对当前帧和历史帧进行非线性特征提取和特征融合，获得特征融合后的非线性特征图；其中，历史帧为当前帧的前N帧，N为自然数；对历史帧的非线性特征提取是基于对历史帧进行运动补偿之后的图像进行的；基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像。本发明专利技术解决了当前超分辨率技术存在的实时性差、细节时序断裂、伪色、通用性差等一系列问题，兼顾实时性和画质。兼顾实时性和画质。兼顾实时性和画质。

【技术实现步骤摘要】
一种基于历史特征融合的实时超分辨率重建方法及系统


[0001]本专利技术属于图像处理
，更具体地，涉及一种基于历史特征融合的实时超分辨率重建方法及系统。

技术介绍

[0002]超分辨率技术是将低分辨率画面变换为高分辨率画面的一种技术手段，目前逐渐应用在视频、游戏等场景。传统的超分辨率技术包括双线性、双三次插值法等，这些以插值法为代表的超分辨率方法虽然对算力的要求不高，但是其本质还是对局部进行色彩填充，效果不太理想。
[0003]自从SRCNN网络提出开始，神经网络被引入解决超分辨率问题。接着，针对图像的超分辨率神经网络以及针对视频的超分辨率神经网络被不断提出，并在某些指标上不断刷新记录，提高了超分辨率技术的成熟度和可用性。但目前要求实时的超分辨率网络还没有被深入发掘，存在的一些应用对电视画质进行增强，或者对游戏场景进行超分辨率获得性能提升，但这些应用或者是针对图像的超分辨率网络，在视频流场景下仅能进行逐帧超分辨率，容易带来画面细节的时序断裂、伪色等问题；或者是采用了大量的GPU渲染时的运动矢量作为输入，和GPU的耦合性强，并非传统意义上基于帧的超分辨率应用，其结构复杂且集成度、专用性高。

技术实现思路

[0004]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于历史特征融合的实时超分辨率重建方法及系统，以当前帧特征为基础、精确结合历史帧运动情况进行特征补偿，解决了当前超分辨率技术存在的实时性差、细节时序断裂、伪色、通用性差等一系列问题，兼顾实时性和画质。
[0005]为实现上述目的，按照本专利技术的一个方面，提供了一种超分辨率重建方法，包括构建网络模型；构建网络模型包括：对当前帧进行线性特征提取，获得当前帧的线性特征图；对当前帧和历史帧进行非线性特征提取和特征融合，获得特征融合后的非线性特征图；其中，历史帧为当前帧的前N帧，N为自然数；对历史帧的非线性特征提取是基于对历史帧进行运动补偿之后的图像进行的；基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像。
[0006]在一些实施方式中，对历史帧进行非线性特征提取包括：对历史帧中的每一帧，与当前帧进行拼接后，使用无激活函数的卷积核进行偏移场补偿，得到历史帧的帧运动补偿矩阵，再将历史帧的帧运动补偿矩阵与历史帧叠加，得到运动补偿之后的历史帧；对运动补偿之后的历史帧进行非线性特征提取，得到历史帧的运动补偿之后的N幅非线性特征图。
[0007]在一些实施方式中，特征融合包括：将历史帧的运动补偿之后的N幅非线性特征图和当前帧的非线性特征图拼接后，进行非线性特征提取，得到特征融合后的非线性特征图。
[0008]在一些实施方式中，基于特征融合后的非线性特征图和当前帧的线性特征图，得
到当前帧的超分辨率重构图像包括：将特征融合后的非线性特征图和当前帧的线性特征图叠加并进行像素重排，再使用无激活函数的卷积核对像素重排后的图像进行像素修正，得到当前帧的超分辨率重构图像。
[0009]在一些实施方式中，该方法还包括构建数据集；构建数据集包括：根据实时的运动数据，渲染在初始分辨率和目标分辨率下的输出录像，构建初始分辨率的数据集和目标分辨率的数据集，将初始分辨率的数据集和目标分辨率的数据集按照预定的比例划分为训练集和测试集。
[0010]在一些实施方式中，该方法还包括训练网络模型；训练网络模型包括：利用训练集中初始分辨率和目标分辨率的图像数据，根据预设的损失函数计算损失值，在损失值和/或训练集的准确率和/或测试集的准确率达到预设标准时，完成所述网络模型的训练。
[0011]根据本专利技术的另一方面，提供了一种超分辨率重建方法，对用上述方法训练好的网络模型进行量化后，部署到硬件平台上，以实现目标功能。
[0012]根据本专利技术的另一方面，提供了一种超分辨率重建系统，包括网络模型构建模块；网络模型构建模块包括：线性特征提取模块，用于对当前帧进行线性特征提取，获得当前帧的线性特征图；运动补偿模块，用于对历史帧进行运动补偿，得到运动补偿之后的历史帧；非线性特征提取模块，用于对当前帧进行非线性特征提取，得到前帧的非线性特征图，还用于对运动补偿之后的历史帧进行非线性特征提取，得到历史帧的运动补偿之后的非线性特征图；非线性特征融合模块，用于将运动补偿之后的非线性特征图与当前帧的非线性特征图拼接后，进行非线性特征融合，得到特征融合后的非线性特征图；图像处理模块，用于基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像。
[0013]按照本专利技术的又一方面，提供了一种电子设备，包括上述超分辨率重建系统。
[0014]按照本专利技术的又一方面，提供了一种电子设备，包括：处理器；与处理器通信连接的存储器；存储器存储有可被处理器执行的指令，指令被处理器执行，以使处理器能够执行上述方法。
[0015]按照本专利技术的又一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现上述方法。
[0016]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，具有以下有益效果：
[0017]1.算力要求低，相同硬件条件下超分辨率重建的帧率高。例如，将(540*960*3)像素的原始画面超分到(1080*1920*3)像素的画面所需要的算力仅为29.55GFLOPs，理论上每T算力可以渲染33.85帧。以2018CVPR的DUF视频超分辨网络为对比，本专利技术提出的实时超分辨率网络RTSR2(Real
‑
time Super Resolution II)仅需要DUF网络1/17的算力。
[0018]2.克服传统设计，可实时进行超分辨率重建。传统的VSR(Vedio Super Resolution，视频超分辨率)方法超分当前帧需要调用历史N帧和未来N帧，必然会对当前帧的超分辨率重建造成至少N帧的延迟。本专利技术提出的RTSR2网络仅利用当前帧和历史N帧渲染画面进行预测，在设计上避免了对未来帧的调用从而降低了延迟。此外，由于每帧超分辨率重建需要的算力低，因此当前帧在渲染初始分辨率后进行超分辨率重建的延迟小，充分保证了算法所应对的实时性需求。
[0019]3.画面质量高，细节表现出色。采用了历史帧的高频信息，RTSR2网络的细节填充
丰富，有效地抑制了伪影。
[0020]4.运动补偿精确，运动画面连贯。在模型中将每个历史帧和当前帧拼接后通过卷积计算帧运动补偿矩阵，每个历史帧都与当前帧进行比较，因此得到的运动补偿矩阵灵活精确，减少了画面的撕裂和帧间细节的跳动。
[0021]5.数据集准确。不同于传统采用高清录制视频降采样的方法构建数据集，本专利技术采用同步渲染的方法构建数据集，根据同样的游戏信息逐帧渲染得到时序同步的不同分辨率数据集，更贴合实际应用情况，提高模型训练的准确性，进而有效提高超分重建的准确性。
附图说明
[0022]图1是本专利技术实施例的基于多帧融合的实时超分辨率重建方法的流程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超分辨率重建方法，其特征在于，包括构建网络模型；所述构建网络模型包括：对当前帧进行线性特征提取，获得当前帧的线性特征图；对当前帧和历史帧进行非线性特征提取和特征融合，获得特征融合后的非线性特征图；其中，所述历史帧为所述当前帧的前N帧，N为自然数；对历史帧的非线性特征提取是基于对历史帧进行运动补偿之后的图像进行的；基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像。2.如权利要求1所述的超分辨率重建方法，其特征在于，所述对历史帧进行非线性特征提取包括：对历史帧中的每一帧，与当前帧进行拼接后，使用无激活函数的卷积核进行偏移场补偿，得到历史帧的帧运动补偿矩阵，再将历史帧的帧运动补偿矩阵与历史帧叠加，得到运动补偿之后的历史帧；对运动补偿之后的历史帧进行非线性特征提取，得到历史帧的运动补偿之后的N幅非线性特征图。3.如权利要求1所述的超分辨率重建方法，其特征在于，所述特征融合包括：将历史帧的运动补偿之后的N幅非线性特征图和当前帧的非线性特征图拼接后，进行非线性特征提取，得到特征融合后的非线性特征图。4.如权利要求1所述的超分辨率重建方法，其特征在于，所述基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像包括：将特征融合后的非线性特征图和当前帧的线性特征图叠加并进行像素重排，再使用无激活函数的卷积核对像素重排后的图像进行像素修正，得到当前帧的超分辨率重构图像。5.如权利要求1至4中任一项所述的超分辨率重建方法，其特征在于，还包括构建数据集；所述构建数据集包括：根据实时的运动数据，渲染在初始分辨率和目标分辨率下的输出录像，构建初始分辨率的数据集和目标分辨率的数据集，将初始分辨率的数据集和目标分辨率的数据集按照预...

【专利技术属性】
技术研发人员：敖海，朱文康，冯雨，徐亮，
申请(专利权)人：芯动科技珠海有限公司，
类型：发明
国别省市：