【技术实现步骤摘要】
一种基于多尺度语义匹配的图像风格迁移方法
本专利技术属于图像处理
，具体涉及一种基于多尺度语义匹配的图像风格迁移方法，主要完成从照片到特定艺术风格图像的生成，可用于数字娱乐等领域。
技术介绍
绘画是视觉艺术中的一种重要形式，数千年来吸引了许多人并产生了大量杰出作品。图像风格迁移是指将风格图像(例如艺术家的艺术绘画)的风格迁移至内容图像(例如相机拍摄的照片)。但让艺术家以特定的风格手动绘制图像会花费大量的时间，实现该过程的自动化在数字娱乐等方面具有广泛的应用价值。因此，图像风格迁移算法的研究具有重要的意义。早期研究，例如NPR(Non-PhotorealisticRendering，非真实感渲染)，纹理合成和图像类比受低级统计的限制并且常常无法捕获语义结构。Gatys等人在文献“Gatys,LeonA.,AlexanderS.Ecker,andMatthiasBethge,“Imagestyletransferusingconvolutionalneuralnetworks,”inComputerVisionan...
【技术保护点】
1.一种基于多尺度语义匹配的图像风格迁移方法，其特征在于，包括：/nS1：获取内容图像训练集和风格图像训练集，形成多组内容-风格图像对；/nS2：通过深度卷积网络分别对所述内容-风格图像对中的内容图像和风格图像提取多尺度深度特征；/nS3：对所述内容图像的多尺度深度特征和所述风格图像的多尺度深度特征进行多尺度语义匹配，获得重建后的深度特征；/nS4：将所述重建后的深度特征通过解码器合成风格迁移后的重建图像；/nS5：利用所述风格迁移后的重建图像计算损失函数，并迭代更新解码器的参数直至所述解码器收敛；/nS6：将待处理的内容图像和风格图像依次经过多尺度深度特征提取、多尺度语义...
【技术特征摘要】
1.一种基于多尺度语义匹配的图像风格迁移方法，其特征在于，包括：
S1：获取内容图像训练集和风格图像训练集，形成多组内容-风格图像对；
S2：通过深度卷积网络分别对所述内容-风格图像对中的内容图像和风格图像提取多尺度深度特征；
S3：对所述内容图像的多尺度深度特征和所述风格图像的多尺度深度特征进行多尺度语义匹配，获得重建后的深度特征；
S4：将所述重建后的深度特征通过解码器合成风格迁移后的重建图像；
S5：利用所述风格迁移后的重建图像计算损失函数，并迭代更新解码器的参数直至所述解码器收敛；
S6：将待处理的内容图像和风格图像依次经过多尺度深度特征提取、多尺度语义匹配以及收敛更新后的解码器合成，以获得所述原始内容图像风格迁移后的图像。
2.根据权利要求1所述的基于多尺度语义匹配的图像风格迁移方法，其特征在于，所述S2包括：
S21：将所述内容-风格图像对中的内容图像输入所述深度卷积网络中，进行正向传播，获得所述内容图像的多尺度深度特征其中，c表示内容图像，l表示所述深度卷积网络的层数；
S22：将所述内容-风格图像对中的风格图像输入所述深度卷积网络中，进行正向传播，获得所述风格图像的多尺度深度特征其中，s表示风格图像。
3.根据权利要求2所述的基于多尺度语义匹配的图像风格迁移方法，其特征在于，所述深度卷积网络为物体识别数据库ImageNet上预训练的VGG-19网络。
4.根据权利要求2所述的基于多尺度语义匹配的图像风格迁移方法，其特征在于，所述S3包括：
S31：将所述多尺度深度特征和分别划分为特征块，并计算的每一个特征块相对于的每一个特征块的相关系数；
S32：利用语义分割模型分别提取所述内容图像的语义标签和所述风格图像的语义标签
S33：将所述语义标签和分别划分为语义块，并计算的每一个语义块相对于的每一个语义块的相关系数；
S34：利用特征块的相关系数和语义块的相关系数获得重建后的深度特征
5.根据权利要求4所述的基于多尺度语义匹配的图像风格迁移方法，其特征在于，所述S31包括：
S311：将所述内容图像的多尺度深度特征划分为不同的特征块Ψi(Fcl)，其中，i表示特征块Ψi(Fcl)的序号，特征块Ψi(Fcl)的大尺度为cl×kl×kl，cl,kl分别表示第l层特征块的通道数和块大小；
S312：将所述风格图像的多尺度深度特征划分为不同的特征块Ψj(Fsl)，其中，j表示特征块Ψj...
【专利技术属性】
技术研发人员：朱明瑞，王楠楠，程坤，梁昌城，李洁，高新波，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。