基于特征图最近邻替换的卷积神经网络的图像填充系统技术方案

基于特征图最近邻替换的卷积神经网络的图像填充系统，属于图像填充技术领域，解决了现有图像填充方法无法快速地获得整体语义一致且具有良好清晰度的填充图像的问题。所述系统：生成网络对待填充图像先编码后解码，得到已填充图像。生成网络的解码器包括N个反卷积层，对于第一反卷积层～第N‑1反卷积层中的任意M个反卷积层，生成网络基于每个反卷积层的输出结果和该反卷积层对应的卷积层的输出结果，并采用特征图最近邻替换的方式得到附加特征图，并将每个反卷积层的输出结果、该反卷积层对应的卷积层的输出结果和附加特征图共同作为下一反卷积层的输入对象。判别网络用于判断已填充图像是否为待填充图像对应的真实图像。 1

Image filling system of convolutional neural networks based on nearest neighbor replacement of feature maps

The image filling system of the convolution neural network based on the nearest neighbor replacement of the feature graph belongs to the field of image filling technology, which solves the problem that the existing image filling method can not quickly obtain the whole semantic consistent and good definition of the filled image. The system generates a network to first fill the image and then decode it to get the filled image. The decoder of the generated network includes N anti coiling layers, for the first anti coiling layer to any M reverse coiling layer in the N 1 reverse coiling layer, the output results based on each anti coiling layer and the coiling layer corresponding to the reverse coiling layer are generated, and an additional feature graph is obtained by using the nearest neighbor replacement of the feature graph, The output results of each anti coiling layer, the output results of the coiling layer corresponding to the reverse coiling layer and the additional feature graph are used as the input objects of the next anti coiling layer. The discriminant network is used to determine whether the filled image is a real image corresponding to the image to be filled. One

【技术实现步骤摘要】
基于特征图最近邻替换的卷积神经网络的图像填充系统
本专利技术涉及一种图像填充系统，属于图像填充

技术介绍
图像填充是计算机视觉和图像处理领域中的一项基本问题，其主要用于对受到损坏的图像进行修复重建或者去除图像中的多余物体。现有的图像填充方法主要包括基于扩散的图像填充方法、基于样本的图像填充方法和基于深度学习的图像填充方法。基于扩散的图像填充方法的基本思想为：以像素点为单位，将待填充区域边缘的图像信息扩散到待填充区域内部。当待填充区域面积较小且结构简单、纹理单一时，该图像填充方法能够较好地完成图像填充任务。然而，当待填充区域面积较大时，采用该图像填充方法获得的填充图像的清晰度较差。基于样本的图像填充方法的基本思想为：以图像块为单位，由图像已知区域向待填充区域逐渐填充。每次填充图像块时，用图像已知区域中与待填充区域边缘图像块最相似的图像块来填充待填充区域。与基于扩散的图像填充方法相比，采用基于样本的图像填充方法获得的填充图像的纹理更好，清晰度更高。然而，由于基于样本的图像填充方法是采用图像已知区域中的相似图像块来逐步替换待填充区域中的未知图像块，因此，采用该图像填充方法无法获得整体语义一致的填充图像。基于深度学习的图像填充方法主要是指将深度神经网络应用到图像填充领域中。目前，有学者提出采用编码器-解码器网络来对中间区域缺失的图像进行图像填充。然而，这种图像填充方法只适用于128*128的RGB图像。采用该图像填充方法获得的填充图像虽然能够满足整体语义一致的要求，但是，其填充图像的清晰度较差。针对这一问题，有学者尝试采用多尺度迭代更新的方式进行大图的清晰填充。然而，虽然这种图像填充方法所获得的填充图像具有整体语义一致性和良好的清晰度，但是，其速度极慢。在TitanX显卡运行环境下，对一张256*256的RGB图像进行填充，需要耗时数十秒至几分钟。
技术实现思路
本专利技术为解决现有的图像填充方法无法快速地获得整体语义一致且具有良好清晰度的填充图像的问题，提出了一种基于特征图最近邻替换的卷积神经网络的图像填充系统。本专利技术所述的基于特征图最近邻替换的卷积神经网络的图像填充系统包括生成网络和判别网络；生成网络包括编码器和解码器，编码器包括N个卷积层，解码器包括N个反卷积层，N≥2；生成网络通过对待填充图像先编码后解码的方式，得到已填充图像；对于第一反卷积层～第N-1反卷积层中的任意M个反卷积层，生成网络基于每个反卷积层的输出结果和该反卷积层对应的卷积层的输出结果，并采用特征图最近邻替换的方式得到附加特征图，并将每个反卷积层的输出结果、该反卷积层对应的卷积层的输出结果和得到的附加特征图共同作为下一反卷积层的输入对象；1≤M≤N-1；判别网络用于判断已填充图像是否为待填充图像对应的真实图像，进而对生成网络的权重学习进行约束。作为优选的是，编码器包括卷积层E1～卷积层E8，解码器包括反卷积层D1～反卷积层D8；待填充图像为卷积层E1的输入对象；对于卷积层E1～卷积层E8，前者的输出结果在依次经批规范化和LeakyReLU函数激活后，作为后者的输入对象；卷积层E8的输出结果在依次经批规范化和LeakyReLU函数激活后，作为反卷积层D1的输入对象；反卷积层D1的输出结果在经ReLU函数激活后作为反卷积层D2的第一输入对象；对于反卷积层D2～反卷积层D8，前者的输出结果在依次经ReLU函数激活和批规范化后，作为后者的第一输入对象；反卷积层D2～反卷积层D8的第二输入对象依次为卷积层E7～卷积层E1的依次经批规范化和LeakyReLU函数激活后的输出结果；经Tanh函数激活后的反卷积层D8的输出结果为已填充图像；卷积层E1用于对输入对象进行64个4*4、步长为2的卷积操作；卷积层E2用于对输入对象进行128个4*4、步长为2的卷积操作；卷积层E3用于对输入对象进行256个4*4、步长为2的卷积操作；卷积层E4～卷积层E8均用于对输入对象进行512个4*4、步长为2的卷积操作；反卷积层D1～反卷积层D4均用于对输入对象进行512个4*4、步长为2的反卷积操作；反卷积层D5用于对输入对象进行256个4*4、步长为2的反卷积操作；反卷积层D6用于对输入对象进行128个4*4、步长为2的反卷积操作；反卷积层D7用于对输入对象进行64个4*4、步长为2的反卷积操作；反卷积层D8用于对输入对象进行3个4*4、步长为2的反卷积操作；生成网络基于反卷积层D5的输出结果和卷积层E3的输出结果，并采用特征图最近邻替换的方式得到附加特征图，并将该附加特征图作为反卷积层D6的第三输入对象。作为优选的是，生成网络基于反卷积层D5的输出结果和卷积层E3的输出结果，并采用特征图最近邻替换的方式得到附加特征图的具体过程为：选取一个特征值均为0的待赋值特征图，该特征图与反卷积层D5的输出特征图和卷积层E3的输出特征图具有相等的通道数和相同的空间大小；计算得到反卷积层D5的输出特征图的掩膜区域和卷积层E3的输出特征图的非掩膜区域，并同时将所述掩膜区域和所述非掩膜区域切割为多个特征块；多个特征块均为长方体，其尺寸为C*h*w，其中，C、h和w分别为反卷积层D5的输出特征图的通道数、长方体的长度和长方体的宽度；对于所述掩膜区域中的每个特征块p1，选取所述非掩膜区域的多个特征块中与特征块p1距离最近的特征块p2；选取待赋值特征图中的待赋值区域，该待赋值区域与特征块p1在反卷积层D5的输出特征图中的位置一致；将特征块p2的特征值赋予所述待赋值区域。作为优选的是，特征块p2与特征块p1的余弦距离最近。作为优选的是，输出特征图的掩膜区域和非掩膜区域的计算方式为：给定一幅掩码图像来替代待填充图像，掩码图像与待填充图像的尺寸相同，通道数为1，特征值为0或1；0表示该特征点在待填充图像上的相应位置为非待填充点；1表示该特征点在待填充图像上的相应位置为待填充点；通过卷积网络来计算掩码图像的特征图的掩膜区域和非掩膜区域，该卷积网络包括第一卷积层～第三卷积层；掩码图像为第一卷积层的输入对象；对于第一卷积层～第三卷积层，前者的输出结果为后者的输入对象；第一卷积层～第三卷积层均用于对输入对象进行1个4*4、步长为2的卷积操作；第三卷积层的输出结果为掩码图像的特征图，其尺寸为32*32，通道为1；对于掩码图像的特征图，当其一个特征值大于设定的阈值时，判定该特征点为掩膜点，否则，判定该特征点为非掩膜点；掩码图像的特征图的掩膜区域为掩膜点的集合，掩码图像的特征图的非掩膜区域为非掩膜点的集合；输出特征图的掩膜区域与掩码图像的特征图的掩膜区域相等，输出特征图的非掩膜区域与掩码图像的特征图的非掩膜区域相等。作为优选的是，生成网络采用引导损失约束的方式进行训练，引导损失约束的具体方式为在生成网络训练的过程中，在任意卷积层或反卷积层中对真实图像和输入图像进行特征相似约束；输入图像为经掩膜操作的真实图像。作为优选的是，生成网络进行训练的具体方式为：将目标图像Igt输入至生成网络，计算第l层的特征图的掩膜区域，并得到(Φl(Igt))y信息；将待填充图像I输入至生成网络，计算第L-l层的特征图的掩膜区域，并得到(ΦL-l(I))y信息；此时定义引导损失约束Lg：式中，Ω是掩模区域，L为生成网络的本文档来自技高网...

【技术保护点】
1.基于特征图最近邻替换的卷积神经网络的图像填充系统，其特征在于，所述图像填

【技术特征摘要】
1.基于特征图最近邻替换的卷积神经网络的图像填充系统，其特征在于，所述图像填充系统包括生成网络和判别网络；生成网络包括编码器和解码器，编码器包括N个卷积层，解码器包括N个反卷积层，N≥2；生成网络通过对待填充图像先编码后解码的方式，得到已填充图像；对于第一反卷积层～第N-1反卷积层中的任意M个反卷积层，生成网络基于每个反卷积层的输出结果和该反卷积层对应的卷积层的输出结果，并采用特征图最近邻替换的方式得到附加特征图，并将每个反卷积层的输出结果、该反卷积层对应的卷积层的输出结果和得到的附加特征图共同作为下一反卷积层的输入对象；判别网络用于判断已填充图像是否为待填充图像对应的真实图像，进而对生成网络的权重学习进行约束。2.如权利要求1所述的基于特征图最近邻替换的卷积神经网络的图像填充系统，其特征在于，编码器包括卷积层E1～卷积层E8，解码器包括反卷积层D1～反卷积层D8；待填充图像为卷积层E1的输入对象；对于卷积层E1～卷积层E8，前者的输出结果在依次经批规范化和LeakyReLU函数激活后，作为后者的输入对象；卷积层E8的输出结果在依次经批规范化和LeakyReLU函数激活后，作为反卷积层D1的输入对象；反卷积层D1的输出结果在经ReLU函数激活后作为反卷积层D2的第一输入对象；对于反卷积层D2～反卷积层D8，前者的输出结果在依次经ReLU函数激活和批规范化后，作为后者的第一输入对象；反卷积层D2～反卷积层D8的第二输入对象依次为卷积层E7～卷积层E1的依次经批规范化和LeakyReLU函数激活后的输出结果；经Tanh函数激活后的反卷积层D8的输出结果为已填充图像；卷积层E1用于对输入对象进行64个4*4、步长为2的卷积操作；卷积层E2用于对输入对象进行128个4*4、步长为2的卷积操作；卷积层E3用于对输入对象进行256个4*4、步长为2的卷积操作；卷积层E4～卷积层E8均用于对输入对象进行512个4*4、步长为2的卷积操作；反卷积层D1～反卷积层D4均用于对输入对象进行512个4*4、步长为2的反卷积操作；反卷积层D5用于对输入对象进行256个4*4、步长为2的反卷积操作；反卷积层D6用于对输入对象进行128个4*4、步长为2的反卷积操作；反卷积层D7用于对输入对象进行64个4*4、步长为2的反卷积操作；反卷积层D8用于对输入对象进行3个4*4、步长为2的反卷积操作；生成网络基于反卷积层D5的输出结果和卷积层E3的输出结果，并采用特征图最近邻替换的方式得到附加特征图，并将该附加特征图作为反卷积层D6的第三输入对象。3.如权利要求2所述的基于特征图最近邻替换的卷积神经网络的图像填充系统，其特征在于，生成网络基于反卷积层D5的输出结果和卷积层E3的输出结果，并采用特征图最近邻替换的方式得到附加特征图的具体过程为：选取一个特征值均为0的待赋值特征图，该特征图与反卷积层D5的输出特征图和卷积层E3的输出特征图具有相等的通道数和相同的空间大小；计算得到反卷积层D5的输出特征图的掩膜区域和卷积层E3的输出特征图的非掩膜区域，并同时将所述掩膜区域和所述非掩膜区域切割为多个特征块；多个特征块均为长方体，其尺寸为C*h*w，其中，C、h和w分别为反卷积层D5的输出特征图的通道数、长方体的长度和长方体的宽度；对于所述掩膜区域中的每个特征块p1，选取所述非掩膜区域的多个特征块中与特征块p1距离最近的特征块p2；选取待赋值特征图中的待赋值区域，该待赋值区域与特征块p1在反卷积层D5的输出特征图中的位置一致；将特征块p2的特征值赋予所述待赋值区域。4.如权利要求3所述的基于特征图最近邻替换的卷积神经网络的图像...

【专利技术属性】
技术研发人员：左旺孟，颜肇义，李晓明，山世光，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23