一种基于改进的SRGAN生成器网络的空洞填充方法技术

本发明专利技术公开了一种基于改进的SRGAN生成器网络的空洞填充方法，应用于三维重构领域，包括以下步骤：Step 1：对虚拟视点图进行预处理，得到空洞填补前的图像和空洞掩膜，构建数据集；Step 2：设计一种残差密集网络+渐进式上采样代替原SRGAN网络生成器中的残差网络；Step 3：设计基于多个损失函数线性组合的损失函数；Step 4：搭建基于残差密集网络+渐进式上采样的元素图像阵列生成网络；Step 5：通过Step 1中构建的数据集对Step 4中搭建的生成网络进行训练；Step 6：通过Step 5中的训练好的网络模型对空洞图像处理生成视点填补空洞，本发明专利技术能够提取图像多尺度特征,包括全局和局部特征并加以融合，针对空洞图像生成视点，更好的填补空洞,有助于提高图像绘制的质量。补空洞,有助于提高图像绘制的质量。补空洞,有助于提高图像绘制的质量。

【技术实现步骤摘要】
一种基于改进的SRGAN生成器网络的空洞填充方法


[0001]本专利技术属于三维图像处理领域，具体来讲，是涉及一种基于改进的SRGAN生成器网络的空洞填充方法。

技术介绍

[0002]目前，集成成像三维显示技术是裸眼三维显示技术中的重要一种。其主要根据光路可逆原理，分为记录和重现两个阶段。在重构过程中又分为计算重构和光学重构两部分，集成成像的计算重构原理是用计算机来模拟透镜阵列，通过相关算法，计算重构出三维场景信息。集成成像计算重构使三维场景得到提升这得益于数字图像处理技术和计算机技术的发展，因此，三维重构研究就变得很重要。
[0003]图像超分辨率重建技术利用一些算法来丰富低分辨率图像细节，可以有效地提高计算集成成像中生成的元素图像阵列的分辨率，使图像变得更加清晰，包含细节内容更加多。主流的图像超分辨率算法包括，基于插值的算法、基于重建的算法和基于学习的算法。深度学习在近些年显示出快速发展的趋势，被广泛地应用于图像的超分辨率重建领域。而基于生成对抗网络(Generative Adversarial Network,GAN) 的超分辨率通过生成器和判别器的博弈可以生成更加真实的图像且在视觉上效果更佳。

技术实现思路

[0004]本专利技术主要是针对SRGAN网络模型在视图空洞填充上的空缺以及填补出的视图分辨率不高边缘不平滑等问题，以及为了满足提高绘制图像视觉感知质量需求，提出了一种基于改进的SRGAN生成器网络的空洞填充方法。
[0005]为了实现上述目的，本专利技术的技术方案如下：<br/>[0006]一种基于改进的SRGAN生成器网络的空洞填充方法，包括以下步骤：
[0007]步骤一：虚拟视点图预处理，得到空洞填补前的图像和空洞掩膜，构建数据集；
[0008]步骤二：设计一种残差密集网络+渐进式上采样代替原SRGAN网络生成器中的残差网络；
[0009]步骤三：设计基于多个损失函数线性组合的损失函数；
[0010]步骤四：搭建基于残差密集网络+渐进式上采样的元素图像阵列生成网络；
[0011]步骤五：通过Step 1中构建的数据集对Step 4中搭建的生成网络进行训练；
[0012]步骤六：通过Step 5中的训练好的网络模型对空洞图像处理生成视点填补空洞。所述步骤一中的具体过程如下：
[0013]优选的，所述步骤一中对虚拟视点图进行预处理的具体过程如下：对图像分辨率统一处理为256*256，进行灰度化处理以及高斯滤波，对提取的边缘图进行*1和*3膨胀处理得到不同尺寸的掩膜数据集。
[0014]优选的，所述步骤二中设计的残差密集网络包括卷积
‑
激活部分和14个密集残差块组成，卷积用来提取图像特征，密集残差块用来提取全局和局部特征并融合构成连续记
忆；渐进式上采样部分由卷积和子亚像素卷积构成，通过子亚像素卷积层后将图像放大。
[0015]优选的，所述步骤四中设计的基于残差密集网络+渐进式上采样的元素图像阵列生成网络包括（本网络舍弃了原SRGAN网络中的判别器）：所述残差密集网络包括，一个卷积
‑
激活组合、14个卷积
‑
批归一化
‑
激活组合和一个卷积
‑
批归一化的组合，其中每个组合中的卷积核大小均为7*7，步长均为1，卷积核数量均为64，第一个卷积
‑
激活组合用于图像特征浅层提取，卷积
‑
批归一化
‑
激活组合将图像局部特征和全局特征提取并融合并通过前一个组合中提取到的特征链接当前块中的所有层；所述渐进式上采样部分包括，渐进式上采样、多重卷积和激活函数，其中共经历7层卷积，卷积核大小7*7，步长为1，卷积和数量分别为256，64，64，256，64，32，3。在渐进式上采样部分分别经过两次亚像素卷积两次放大并输出超分辨率图像特征生成临近视点，最后经由tanh激活函数输出超分辨率图像。
[0016]优选的，所述步骤五具体为：
[0017]（1）初始化生成器Gnet以及优化器；
[0018]（2）输入边缘掩膜，利用生成器网络在构建数据集上进行训练；
[0019]（3）计算生成器Gnet的损失并将生成器损失向输入传播，并计算生成器梯度值；
[0020]（4）更新生成器Gnet的参数，所述参数为权重和偏置。
[0021]优选的，所述（4）后还包需要进行所述测试集对基于残差密集网络+渐进式上采样的元
[0022]素图像阵列生成网络进行测试。
[0023]优选的，所述（3）中的生成器Gnet损失函数为：
[0024]式中，表示感知损失函数，表示内容损失函数，表示对抗失
[0025]函数，和分别表示生成器损失中的内容损失函数和对抗损失函数的权重系数；的计算方法如下：
[0026][0027]式中，为低分辨率图像，为训练集中低分辨率图像对应的高分辨率图像，表示卷积网路提取的高级特征；
[0028]的计算方法如下：
[0029][0030]生成网络的 的计算方式如下：
[0031][0032]式中，表示输入的比输入的更真实的概率。
[0033]优选的，所述（1）中的优化器为AdaBelief优化算法，初始学习率lr默认为，动
[0034]态参量。
[0035]经由上述技术方案可知，与现有技术相比，本专利技术公开一种基于改进的SRGAN生成器网络的空洞填充超分辨率方法，具有有益效果为：本专利技术针对SRGAN模型的残差模块替换为了密集残差模块并结合了渐进式上采样模块，提高了网络的性能，实现了虚拟视点生成与深度学习的结合应用，改进型SRGAN模型生成的虚拟视点对空洞填补后的图像的分辨率比传统的空洞填充技术更高；去除生成器网络中的批归一化层，且删除了判别网络，降低了计算复杂度，减少计算复杂成都可以大大缩减网络的训练和测试时间，提高效率；专利技术设计了多个损失函数线性组合的损失函数可以更好处理异常值，提升性能，使生成的虚拟视点填充后图像更自然更平滑，解决了原损失函数缺少高频细节导致的生成图像不自然等问题；提高空洞填充后图像的分辨率可以拓展应用领域范围，在一些需要更高分辨率的领域得以应用。
附图说明
[0036]图 1 为本专利技术的方法流程图。
[0037]图 2 为本专利技术的渐进式上采样块。
[0038]图 3 为本专利技术的残差密集块。
[0039]图 4 为本专利技术所改进的生成器网络结构图。
具体实施方式
[0040]对于本领域的技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下 面结合附图和实施例对本专利技术的技术方案做进一步的说明。
[0041]本专利技术提供了一种基于改进的SRGAN生成器网络的空洞填充方法，该专利技术方法可以实现对虚拟视点绘制产生的空洞填补，提高虚拟视点绘制的质量。
[0042]图 1 为本专利技术的方法流程图，具体的实现步骤为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进的SRGAN生成器网络的空洞填充方法，其特征在于，包括以下步骤：Step 1：对虚拟视点图进行预处理，得到空洞填补前的图像和空洞掩膜，构建数据集；Step 2：设计一种残差密集网络+渐进式上采样代替原SRGAN网络生成器中的残差网络；Step 3：设计基于多个损失函数线性组合的损失函数；Step 4：搭建基于残差密集网络+渐进式上采样的元素图像阵列生成网络；Step 5：通过Step 1中构建的数据集对Step 4中搭建的生成网络进行训练；Step 6：通过Step 5中的训练好的网络模型对空洞图像处理生成视点填补空洞。2.根据权利要求 1 所述的一种基于改进的SRGAN生成器网络的空洞填充方法，其特征在于，所述Step 1中对虚拟视点图进行预处理的具体过程如下：对图像分辨率统一处理为256*256，进行灰度化处理以及高斯滤波，对提取的边缘图进行*1和*3膨胀处理得到不同尺寸的掩膜数据集。3.根据权利要求 1 所述的一种基于改进的SRGAN生成器网络的空洞填充方法，其特征在于，所述Step 2 中设计的残差密集网络包括卷积
‑
激活部分和14个密集残差块组成，卷积用来提取图像特征，密集残差块用来提取全局和局部特征并融合构成连续记忆；渐进式上采样部分由卷积和子亚像素卷积构成，通过子亚像素卷积层后将图像放大。4.根据权利要求 1 所述的一种基于改进的SRGAN生成器网络的空洞填充方法，其特征在于，所述Step 4 中设计的基于残差密集网络+渐进式上采样的元素图像阵列生成网络包括（本网络舍弃了原SRGAN网络中的判别器）：所述残差密集网络包括，一个卷积
‑
激活组合、14个卷积
‑
批归一化
‑
激活组合和一个卷积
‑
批归一化的组合，其中每个组合中的卷积核大小均为7*7，步长均为1，卷积核数量均为64，第一个卷积
‑
激活组合用于图...

【专利技术属性】
技术研发人员：武伟，韩明昊，钟诚，王鹏，郭钰虎，
申请(专利权)人：长春工业大学，
类型：发明
国别省市：