基于卷积神经网络利用额外渲染信息的实时超分辨率方法技术

本发明专利技术涉及基于卷积神经网络利用额外渲染信息的实时超分辨率方法，包括获取当前帧低分辨率数据的特征图信息和高分辨率额外信息的特征图信息；将当前帧低分辨率数据的特征图信息进行缓存；获取历史特征权重重分配输入数据；根据当前帧低分辨率数据的特征图信息、高分辨率额外信息的特征图信息和历史特征权重重分配输入数据，获取高分辨率图像信息。本发明专利技术的有益效果是：本发明专利技术在低分辨率数据的特征图信息的基础上，通过增加廉价又富含各种细节信息的高分辨率额外信息G

A real-time super-resolution method using additional rendering information based on convolutional neural network

【技术实现步骤摘要】
基于卷积神经网络利用额外渲染信息的实时超分辨率方法


[0001]本专利技术涉及图形应用
，更确切地说，它涉及基于卷积神经网络利用额外渲染信息的实时超分辨率方法。

技术介绍

[0002]随着实时图形应用软硬件的发展，对GPU综合运算能力的要求呈指数级增长，已经远远超出GPU硬件设备的发展速度能够满足的程度。硬件上近年来兴起的VR头戴式设备如Valve Index需要实时应用以90
‑
144FPS的频率每帧渲染2880
×
1600个像素，同时也出现了更多的4K\8K显示器，如4K游戏显示器则需要以144FPS的频率每帧渲染3840
×
2160个像素。对比过去几年仅需以30
‑
60FPS的频率每帧渲染1920
×
1080个像素，仅输出设备对GPU综合运算能力的要求在短短几年内就提升了数十倍。软件上市场对于更真实的图形效果的需求从未停止，近年来也有很多应用开始在实时图形应用领域中使用光线追踪技术来进一步提高光照效果的真实性，而这些都会给GPU硬件带来难以估量的额外压力。另一方面，GPU的综合运算能力大约每两年翻一倍，完全无法满足市场需求的爆发式增长。于是能够让图形应用在一个低分辨率下渲染的结果，再将其恢复成高分辨率结果的算法就逐渐成为现代实时图形应用的必然选择。
[0003]在实时图形应用中，渲染的分辨率大小是一个采样率问题，在原分辨率下直接进行渲染会出现采样不足导致的走样问题。根据奈奎斯特采样定律，想要恢复出原始信号，采样频率必须大于理想低通截止频率的两倍。对于富含大量细节信息的现代实时图形应用场景来说，每个像素一个样本的采样率远不足以恢复这些高频信息。而如果以更低分辨率渲染就意味着每个像素使用少于一个样本，这将使得走样问题更加严重。为了解决采样率不足导致的走样问题，其中有一个思路是利用实时应用的时序信息，将历史帧的采样结果重投影至当前帧位置上，将其与当前帧采样结果以一定方式进行混合，以弥补当前帧的采样率不足，最终得到当前帧输出结果。但由于实时图形应用的场景通常每时每刻都同时发生着场景内容和视角的变化，直接使用历史帧样本会导致最终结果出现“鬼影”或“闪烁”等错误结果。而使用一些启发式方法虽然能解决这个问题，但又会带来细节丢失的问题，导致最终的输出结果质量下降。结合近年来快速发展的人工智能技术，通过神经网络更好地利用时序信息就成为一个有巨大潜力的选项。现有的神经网络的重心都放在最终结果的质量上，但对于实时应用来说运算时间是影响其实时性的关键因素，因此如何平衡运算时间与结果质量就显得尤为重要。
[0004]专利202111513198.X“一种基于历史特征融合的实时超分辨率重建方法及系统”中，专利技术了一种基于历史特征融合的实时超分辨率重建方法，通过对当前帧和历史帧进行非线性特征提取和特征融合,获得特征融合后的非线性特征图，并基于特征融合后的非线性特征图和当前帧的线性特征图,得到当前帧的超分辨率重构图像。该方法与传统方法一样，仅使用当前帧和历史帧的帧信息，在面对4倍超分辨率这样极度困难的问题时，会由于低分辨率样本采样率过低而难以很好地完成超分辨率工作。

技术实现思路

[0005]本专利技术的目的是克服现有技术中的不足，提供了基于卷积神经网络利用额外渲染信息的实时超分辨率方法。
[0006]第一方面，提供了基于卷积神经网络利用额外渲染信息的实时超分辨率方法，包括以下步骤：
[0007]S1、获取当前帧低分辨率数据的特征图信息和高分辨率额外信息的特征图信息；
[0008]S2、将所述当前帧低分辨率数据的特征图信息进行缓存；
[0009]S3、获取历史帧低分辨率数据的特征图信息与历史帧的权重，并根据所述历史帧低分辨率数据的特征图信息与历史帧的权重获取历史特征权重重分配输入数据；所述历史帧为所述当前帧的前N帧，N为自然数；
[0010]S4、根据所述当前帧低分辨率数据的特征图信息、所述高分辨率额外信息的特征图信息和所述历史特征权重重分配输入数据，获取高分辨率图像信息。
[0011]作为优选，S1中，通过三层卷积神经网络获取当前帧低分辨率数据的特征图信息和高分辨率额外信息的特征图信息；每层卷积神经网络中间都使用修正线性单元激活函数(Rectified Linear Unit，ReLU)。
[0012]作为优选，S3中，通过三层卷积神经网络获取历史帧低分辨率数据的特征图信息；每层卷积神经网络中间都使用ReLU。
[0013]作为优选，S3中，所述历史帧低分辨率数据的特征图信息与历史帧的权重的相乘结果为历史特征权重重分配输入数据。
[0014]作为优选，S4中，通过图像分割网络U
‑
Net获取高分辨率图像信息，所述U
‑
Net由三级两跳连接组成，每层卷积网络中间都使用ReLU，每级下采样时使用最大值池化，上采样使用双线性插值上采样。
[0015]作为优选，在S1之前，获取给定的输入数据，将所述输入数据进行低分辨率渲染，关闭多重采样抗锯齿，并为纹理采样的纹理映射偏差依据以下公式添加额外的偏移以获取训练数据：
[0016]b
′
＝b+log2(R
r
/R
n
)
[0017]b
′
为实际纹理采样时使用的纹理映射偏差，b为采样分辨率下计算得到的纹理映射偏差，R
r
为采样分辨率，R
n
为目标分辨率；并将所述训练数据切成多个有重合区域的切片，得到当前帧低分辨率数据。
[0018]第二方面，提供了基于卷积神经网络利用额外渲染信息的实时超分辨率系统，用于执行第一方面任一所述的基于卷积神经网络利用额外渲染信息的实时超分辨率方法，包括：信息抽取模块、历史特征权重重分配模块、图像重建模块和特征图缓存模块；
[0019]信息抽取模块用于获取当前帧低分辨率数据的特征图信息和高分辨率额外信息的特征图信息；
[0020]特征图缓存模块用于将所述当前帧低分辨率数据的特征图信息进行缓存；
[0021]历史特征权重重分配模块用于获取历史帧低分辨率数据的特征图信息与历史帧的权重，并根据所述历史帧低分辨率数据的特征图信息与历史帧的权重获取历史特征权重重分配输入数据；所述历史帧为所述当前帧的前N帧，N为自然数；
[0022]图像重建模块用于根据所述当前帧低分辨率数据的特征图信息、所述高分辨率额
外信息的特征图信息和所述历史特征权重重分配输入数据，获取高分辨率图像信息。
[0023]第三方面，提供了一种计算机存储介质，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行第一方面任一所述的基于卷积神经网络利用额外渲染信息的实时超分辨率方法。
[0024]第四方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一所述的基于卷积神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于卷积神经网络利用额外渲染信息的实时超分辨率方法，其特征在于，包括：S1、获取当前帧低分辨率数据的特征图信息和高分辨率额外信息的特征图信息；S2、将所述当前帧低分辨率数据的特征图信息进行缓存；S3、获取历史帧低分辨率数据的特征图信息与历史帧的权重，并根据所述历史帧低分辨率数据的特征图信息与历史帧的权重获取历史特征权重重分配输入数据；所述历史帧为所述当前帧的前N帧，N为自然数；S4、根据所述当前帧低分辨率数据的特征图信息、所述高分辨率额外信息的特征图信息和所述历史特征权重重分配输入数据，获取高分辨率图像信息。2.根据权利要求1所述的基于卷积神经网络利用额外渲染信息的实时超分辨率方法，其特征在于，S1中，通过三层卷积神经网络获取当前帧低分辨率数据的特征图信息和高分辨率额外信息的特征图信息；每层卷积神经网络中间都使用修正线性单元激活函数ReLU。3.根据权利要求1所述的基于卷积神经网络利用额外渲染信息的实时超分辨率方法，其特征在于，S3中，通过三层卷积神经网络获取历史帧低分辨率数据的特征图信息；每层卷积神经网络中间都使用ReLU。4.根据权利要求1所述的基于卷积神经网络利用额外渲染信息的实时超分辨率方法，其特征在于，S3中，所述历史帧低分辨率数据的特征图信息与历史帧的权重的相乘结果为历史特征权重重分配输入数据。5.根据权利要求1所述的基于卷积神经网络利用额外渲染信息的实时超分辨率方法，其特征在于，S4中，通过图像分割网络U
‑
Net获取高分辨率图像信息，所述U
‑
Net由三级两跳连接组成，每层卷积网络中间都使用ReLU，每级下采样时使用最大值池化，上采样使用双线性插值上采样。6.根据权利要求1所述的基于卷积神经网络利用额外渲染信息的实时超分辨率方法，其特征在于，在S1之前，获取给定的输入数据，将所述输入数据进行低分...

【专利技术属性】
技术研发人员：陈观林，钟智华，王锐，
申请(专利权)人：浙大城市学院，
类型：发明
国别省市：