一种基于多帧融合的实时超分辨率重建方法及系统技术方案

本发明专利技术公开了一种基于多帧融合的实时超分辨率重建方法及系统。该方法包括：构建网络模型；构建网络模型包括：对当前帧进行线性特征提取，获得当前帧的线性特征图；对当前帧和历史帧进行非线性特征提取和特征融合，获得特征融合后的非线性特征图；历史帧为所述当前帧的前N帧，其中，N为自然数；基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的目标分辨率的图像。本发明专利技术有效解决了现有的超分辨率技术在实时性方面的缺陷，在保证实时性的前提下提高图像重建的质量和视觉效果。性的前提下提高图像重建的质量和视觉效果。性的前提下提高图像重建的质量和视觉效果。

【技术实现步骤摘要】
一种基于多帧融合的实时超分辨率重建方法及系统


[0001]本专利技术属于图像处理
，更具体地，涉及一种基于多帧融合的实时超分辨率重建方法及系统。

技术介绍

[0002]超分辨率技术是将低分辨率画面变换为高分辨率画面的一种技术手段，目前逐渐应用在视频、游戏等场景。传统的超分辨率技术包括双线性、双三次插值法等，这些以插值法为代表的超分辨率方法虽然对算力的要求不高，但是其本质还是对局部进行色彩填充，效果不太理想。
[0003]无论是针对图像还是视频的超分辨率技术，都无法有效地解决实时性的超分辨率任务(游戏、监控等场景)。针对图像的超分辨率技术因为只能逐帧超分，应用到实时场景会造成画面的不连续和抖动。针对视频优化的超分辨率技术因为通常需要使用视频流的前后帧信息，会造成至少N帧的延迟；此外因为针对视频优化的超分辨率网络通常结构复杂，计算量大，大尺度超分辨率过程对硬件要求很高，难以做到实时输出。

技术实现思路

[0004]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于多帧融合的实时超分辨率重建方法及系统，有效解决了现有的超分辨率技术在实时性方面的缺陷，在保证实时性的前提下提高图像重建的质量和视觉效果。
[0005]为实现上述目的，按照本专利技术的一个方面，提供了一种超分辨率重建方法，包括构建网络模型；构建网络模型包括：对当前帧进行线性特征提取，获得当前帧的线性特征图；对当前帧和历史帧进行非线性特征提取和特征融合，获得特征融合后的非线性特征图；所述历史帧为所述当前帧的前N帧，其中，N为自然数；基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像。
[0006]在一些实施方式中，对当前帧进行线性特征提取包括：使用无激活函数的卷积核对当前帧进行线性特征提取；所述对当前帧和历史帧进行非线性特征提取包括：使用非线性函数激活的卷积核对当前帧进行非线性特征提取；使用非线性函数激活的卷积核对所述历史帧进行非线性特征的提取。
[0007]在一些实施方式中，特征融合包括：使用非线性函数激活的卷积核补偿每一所述历史帧与当前帧的帧间运动，确定补偿后的非线性特征图；将补偿后的非线性特征图与当前帧的非线性特征图拼接后，使用非线性函数激活的卷积核进行非线性特征融合。
[0008]在一些实施方式中，基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像包括：将特征融合后的非线性特征图和当前帧的线性特征图叠加并进行像素重排，再使用无激活函数的卷积核对像素重排后的图像进行像素修正，得到当前帧的超分辨率重构图像。
[0009]在一些实施方式中，该方法还包括构建数据集；构建数据集包括：根据实时的运动
数据，渲染在初始分辨率和目标分辨率下的输出录像，构建初始分辨率的数据集和目标分辨率的数据集，将初始分辨率的数据集和目标分辨率的数据集按照预定的比例划分为训练集和测试集。
[0010]在一些实施方式中，该方法还包括训练网络模型；训练网络模型包括：利用训练集中初始分辨率和目标分辨率的图像数据，根据预设的损失函数计算损失值，在损失值和/或训练集的准确率和/或测试集的准确率达到预设标准时，完成网络模型的训练；其中，训练集的准确率为训练集中利用网络模型实现从初始分辨率到目标分辨率重构的像素点数占训练集的像素点总数的比例，测试集的准确率为测试集中利用网络模型实现从初始分辨率到目标分辨率重构的像素点数占测试集的像素点总数的比例。
[0011]在一些实施方式中，采用Huber损失函数计算损失值如下：
[0012][0013]其中，y为训练集或测试集中目标分辨率的图像数据，x为训练集或测试集中初始分辨率的图像数据，f(x)为x通过网络模型计算出的超分辨率重构图像结果，δ是自定义的全局参数。
[0014]根据本专利技术的另一方面，提供了一种超分辨率重建方法，对用上述方法训练好的网络模型进行量化后，部署到硬件平台上，以实现目标功能。
[0015]根据本专利技术的另一方面，提供了一种超分辨率重建系统，包括网络模型构建模块；网络模型构建模块包括：线性特征提取模块，用于对当前帧进行线性特征提取，获得当前帧的线性特征图；非线性特征提取模块，用于对当前帧和历史帧进行非线性特征提取和特征融合，获得特征融合后的非线性特征图；所述历史帧为所述当前帧的前N帧，其中，N为自然数；图像处理模块，用于基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像。
[0016]在一些实施方式中，线性特征提取模块用于使用无激活函数的卷积核对当前帧进行线性特征提取；非线性特征提取模块用于使用非线性函数激活的卷积核对当前帧进行非线性特征提取，还用于使用非线性函数激活的卷积核对当前帧的前N帧分别进行非线性特征的提取。
[0017]在一些实施方式中，图像处理模块包括运动补偿模块，运动补偿模块用于使用非线性函数激活的卷积核补偿当前帧的前N帧中的每一帧与当前帧的帧间运动，获得补偿后的N幅非线性特征图。
[0018]在一些实施方式中，图像处理模块还包括非线性特征融合模块，非线性特征融合模块用于将补偿后的N幅非线性特征图与当前帧的非线性特征图拼接后，使用非线性函数激活的卷积核进行非线性特征融合。
[0019]在一些实施方式中，图像处理模块还包括像素重排模块，像素重排模块用于将特征融合后的非线性特征图和当前帧的线性特征图叠加并进行像素重排。
[0020]在一些实施方式中，图像处理模块还包括像素修正模块，像素修正模块用于使用无激活函数的卷积对像素重排后的图像进行像素修正，得到当前帧的超分辨率重构图像。
[0021]在一些实施方式中，该系统还包括数据集构建模块，用于根据实时的运动数据，渲染在初始分辨率和目标分辨率下的输出录像，构建初始分辨率的数据集和目标分辨率的数
据集，将初始分辨率的数据集和目标分辨率的数据集按照预定的比例划分为训练集和测试集。
[0022]在一些实施方式中，该系统还包括网络模型训练模块，用于利用训练集中初始分辨率和目标分辨率的图像数据，根据预设的损失函数计算损失值，在所述损失值和/或所述训练集的准确率和/或所述测试集的准确率达到预设标准时，完成所述网络模型的训练。
[0023]在一些实施方式中，采用Huber损失函数计算损失值如下：
[0024][0025]其中，y为训练集或测试集中目标分辨率的图像数据，x为训练集或测试集中初始分辨率的图像数据，f(x)为x通过网络模型计算出的超分辨率重构图像结果，δ是自定义的全局参数。
[0026]按照本专利技术的又一方面，提供了一种电子设备，包括上述超分辨率重建系统。
[0027]按照本专利技术的又一方面，提供了一种电子设备，包括：处理器；与处理器通信连接的存储器；存储器存储有可被处理器执行的指令，指令被处理器执行，以使处理器能够执行上述方法。
[0028]按照本专利技术的又一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超分辨率重建方法，其特征在于，包括构建网络模型；所述构建网络模型包括：对当前帧进行线性特征提取，获得当前帧的线性特征图；对当前帧和历史帧进行非线性特征提取和特征融合，获得特征融合后的非线性特征图；所述历史帧为所述当前帧的前N帧，其中，N为自然数；基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像。2.如权利要求1所述的超分辨率重建方法，其特征在于，所述对当前帧进行线性特征提取包括：使用无激活函数的卷积核对当前帧进行线性特征提取；所述对当前帧和历史帧进行非线性特征提取包括：使用非线性函数激活的卷积核对当前帧进行非线性特征提取；使用非线性函数激活的卷积核对所述历史帧进行非线性特征的提取。3.如权利要求1所述的超分辨率重建方法，其特征在于，所述特征融合包括：使用非线性函数激活的卷积核补偿每一所述历史帧与当前帧的帧间运动，确定补偿后的非线性特征图；将补偿后的非线性特征图与当前帧的非线性特征图拼接后，使用非线性函数激活的卷积核进行非线性特征融合。4.如权利要求1所述的超分辨率重建方法，其特征在于，所述基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像包括：将特征融合后的非线性特征图和当前帧的线性特征图叠加并进行像素重排，再使用无激活函数的卷积核对像素重排后的图像进行像素修正，得到当前帧的超分辨率重构图像。5.如权利要求1至4中任一项所述的超分辨率重建方法，其特征在于，还包括构建数据集；所述构建数据集包括：根据实时的运动数据，渲染在初始分辨率和目标分辨率下的输出录像，构建初始...

【专利技术属性】
技术研发人员：敖海，朱文康，冯雨，徐亮，
申请(专利权)人：芯动科技珠海有限公司，
类型：发明
国别省市：