基于隐空间搜索的手绘草图引导的图像编辑方法技术

本发明专利技术提供一种基于隐空间搜索的手绘草图引导的图像编辑方法，用于对待编辑图像进行编辑，其特征在于，包括：步骤S1，得到训练用图像；步骤S2，提取训练用图像的边缘图并训练神经网络；步骤S3，提取待编辑图像的边缘图，并根据掩膜将该边缘图与手绘草图结合；步骤S4，使用神经网络计算初始隐空间向量；步骤S5，根据初始隐空间向量生成生成图像；步骤S6，提取生成图像的边缘图并计算其与手绘草图在掩膜区域的特征图距离，同时计算其与待编辑图像在非掩膜区域的欧几里得距离以及感知距离；步骤S7，使用梯度下降算法使三种距离持续减小；步骤S8，将最终生成的生成图像的掩膜区域与待编辑图像的非掩膜区域融合得到最终编辑结果。

【技术实现步骤摘要】
基于隐空间搜索的手绘草图引导的图像编辑方法
本专利技术属于计算机图像领域，具体涉及一种基于隐空间搜索的手绘草图引导的图像编辑方法。
技术介绍
手绘草图引导的图像编辑技术旨在使用用户输入的手绘草图修改所提供原图的掩膜部分。现有技术普遍使用训练一个生成对抗网络的方法来进行手绘草图引导的图像编辑，然而这种全新训练神经网络的方法既无法忠实且稳定地按照用于引导的手绘草图生成，也无法保证生成图像的质量。无监督的图像生成技术可以生成出质量相当不错的图像，优于原有的图像编辑方法的生成质量。而当前已经有了一些通过优化隐空间的方法来控制所生成内容的方法，例如Image2StyleGAN++，可以通过优化隐空间向量执行图像的inpainting任务，也可以使用带颜色的笔画对图像进行有限编辑；PULSE则可以通过隐空间搜索的方法为低分辨率图像找到其对应高分辨率输出。上述隐空间向量优化的系列方法虽然可以做到较高的生成质量，然而，这类方法尚不能针对手绘草图的引导进行编辑。
技术实现思路
为解决上述问题，提供一种结合可微分的边缘提取器，通本文档来自技高网...

【技术保护点】
1.一种基于隐空间搜索的手绘草图引导的图像编辑方法，用于根据被输入的待编辑图像、需编辑区域的掩膜以及用于引导编辑的手绘草图对所述待编辑图像进行编辑，其特征在于，包括：/n步骤S1，从一个正态分布随机采样多个n维的随机向量，并将所述随机向量输入到预先训练好的生成对抗网络的生成器中，从而得到多个至少由所述生成器生成的训练用图像以及对应输入的所述随机向量构成的对；/n步骤S2，使用预定的可微分边缘提取算法提取所述训练用图像的边缘图作为训练用边缘图，并将所述训练用边缘图输入给一个神经网络，让该神经网络回归与被输入的所述训练用边缘图相对应的隐空间向量从而完成所述神经网络的训练；/n步骤S3，使用所述可微...

【技术特征摘要】
1.一种基于隐空间搜索的手绘草图引导的图像编辑方法，用于根据被输入的待编辑图像、需编辑区域的掩膜以及用于引导编辑的手绘草图对所述待编辑图像进行编辑，其特征在于，包括：
步骤S1，从一个正态分布随机采样多个n维的随机向量，并将所述随机向量输入到预先训练好的生成对抗网络的生成器中，从而得到多个至少由所述生成器生成的训练用图像以及对应输入的所述随机向量构成的对；
步骤S2，使用预定的可微分边缘提取算法提取所述训练用图像的边缘图作为训练用边缘图，并将所述训练用边缘图输入给一个神经网络，让该神经网络回归与被输入的所述训练用边缘图相对应的隐空间向量从而完成所述神经网络的训练；
步骤S3，使用所述可微分边缘提取算法提取所述待编辑图像的边缘图作为第一边缘图，并根据所述掩膜将所述第一边缘图与所述手绘草图结合得到一个新的边缘图作为第二边缘图；
步骤S4，使用训练完成的所述神经网络计算所述第二边缘图对应的隐空间向量作为初始隐空间向量，该初始隐空间向量为隐空间搜索的起点；
步骤S5，通过所述生成器根据所述初始隐空间向量生成一个生成图像；
步骤S6，使用所述可微分边缘提取算法提取所述生成图像的边缘图作为第三边缘图，并计算该第三边缘图与所述手绘草图在掩膜区域的特征图距离，同时计算所述生成图像与所述待编辑图像在所述掩膜以外的非掩膜区域的欧几里得距离以及感知距离；
步骤S7，将所述特征图距离、所述欧几里得距离以及所述感知距离通过反向传播传递到所述初始隐空间向量上，并对该初始隐空间向量使用梯度下降算法使所述特征图距离、所述欧几里得距离以及所述感知距离减小；
步骤S8，重复所述步骤S5至所述步骤S7直至所述特征图距离、所述欧几里得距离以及所述感知距离小于预定阈值，并最终生成的所...

【专利技术属性】
技术研发人员：付彦伟，汪成荣，曹辰捷，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31