本发明专利技术公开了一种基于引导匹配损失的深度纹理合成方法及相关设备，所述方法包括：获取目标纹理，对所述目标纹理进行像素级别初始化，获得具备源纹理颜色分布的初始化目标纹理；基于深度语义特征提取器提取源纹理和初始化目标纹理的多尺度语义特征，获取源深度特征图块集合和目标深度特征图块集合；获取目标深度特征图块集合和源深度特征图块集合的匹配误差，根据反向传播优化图像的方式合成目标纹理图像。本发明专利技术利用深度特征提取器，通过简单的损失反向传播优化方式，实现了任意分辨率、高真实感、灵活及实时的纹理合成。灵活及实时的纹理合成。灵活及实时的纹理合成。
【技术实现步骤摘要】
一种基于引导匹配损失的深度纹理合成方法及相关设备
[0001]本专利技术涉及计算机图形学
，尤其涉及一种基于引导匹配损失的深度纹理合成方法、终端及计算机可读存储介质。
技术介绍
[0002]在真实场景中，自然物体表面存在着复杂的图案及肌理，这些图案及肌理存在一定重复性模式，被统称为纹理。纹理图像是影像与三维场景的重要组成部分，被广泛于图像编辑合成、图像修补、模型贴图等计算机图像处理、图形学应用中，服务于虚拟城市、影视动画、游戏制作领域。随着计算机算力的高速增长，各领域对合成影像及三维场景真实性提出了更高的要求，因此，高质量纹理图像的获取环节必不可缺。纹理图像的获取通常采用手绘及摄影的方式，然而，其获取结果受到采集设备的分辨率限制，难以应用于更大规模的三维场景表面贴图上；此外，影视艺术等领域常常存在基于源素材图片，通过素材图片的某种属性（纹理变化、局部朝向等）进行引导编辑合成的需求，然而现有引导合成方法要么效率低下，要么合成结果不符合预期。
[0003]纹理合成算法可大致分为传统纹理合成算法及深度纹理合成算法。
[0004]在传统纹理合成算法中，例如将合成纹理所有图块与源纹理图块的匹配误差的总和定义为纹理能量函数，方法通过迭代进行最近邻图块匹配及图块融合，逐渐降低纹理能量函数，进而获得局部上与源纹理相似的合成结果。例如根据图像局部匹配的连续性，将邻域匹配传播及随机搜索的机制引入图块匹配过程中，大大地提升了搜索最近邻的效率。例如针对纹理合成结果结构不完整、多样性不足问题，额外引入自动提取的结构特征以保证合成结果结构；引入重复率图，约束合成结果尽可能包含源图所有图块，该方法可实现高质量的纹理扩展合成。例如针对非均匀纹理，设计了一种纹理自动化分析及可控合成方法，提出利用单值渐变图对目标纹理局部模式进行控制，借助无向方向图对纹理局部朝向进行控制，从而实现高精度的非均匀纹理可控合成。
[0005]上述传统纹理合成方法采用迭代优化的方式进行合成，其合成速度较为缓慢，难以实现实时编辑合成。此外，传统方法使用颜色、边缘等低语义级别特征信息，合成结果可能存在结构连贯性不足等瑕疵。
[0006]深度纹理合成算法主要包括基于优化纹理特征及基于前馈网络的方法。例如在基于优化纹理特征的方法中，提出将图像的深度特征图的统计信息格拉姆矩阵作为深度纹理特征，对图像的全局性纹理属性进行建模，该方法缺少局部纹理的控制能力，无法进行精细化控制合成。例如出基于马尔科夫随场的纹理损失（CNNMRF），该损失使用深度特征图块作为局部特征，通过最小化目标深度特征图块与最近邻源图块的差异，进行深度纹理优化。然而，该方法合成结果局部存在一定模糊，且纹理重复感较为严重。例如提出基于瓦瑟斯坦距离的纹理损失（Sliced Wasserstein），该损失通过最小化源和目标纹理局部特征分布的切片瓦瑟斯坦距离，从而使得二者分布一致，进而合成目标纹理。基于前馈网络的可控合成方
法大多基于大数据集训练，如果直接用于训练单一纹理引导图到纹理图像的映射，网络将倾向于过拟合训练引导图，难以处理与训练引导图差异较大的目标引导图。
[0007]深度纹理合成方法由于各方法限制，难以实现高质量的、可拓展性强的纹理扩展及可控合成任务。
[0008]因此，现有技术还有待于改进和发展。
技术实现思路
[0009]本专利技术的主要目的在于提供一种基于引导匹配损失的深度纹理合成方法、终端及计算机可读存储介质，旨在解决现有技术中纹理合成速度较为缓慢，难以实现实时编辑合成，难以实现高质量的、可拓展性强的纹理扩展及可控合成任务的问题。
[0010]为实现上述目的，本专利技术提供一种基于引导匹配损失的深度纹理合成方法，所述基于引导匹配损失的深度纹理合成方法包括如下步骤：获取目标纹理，对所述目标纹理进行像素级别初始化，获得具备源纹理颜色分布的初始化目标纹理；基于深度语义特征提取器提取源纹理和初始化目标纹理的多尺度语义特征，获取源深度特征图块集合和目标深度特征图块集合；获取目标深度特征图块集合和源深度特征图块集合的匹配误差，根据反向传播优化图像的方式合成目标纹理图像。
[0011]所述的基于引导匹配损失的深度纹理合成方法，其中，所述获取目标纹理，对所述目标纹理进行像素级别初始化，获得具备源纹理颜色分布的初始化目标纹理，具体包括：获取目标纹理的目标像素，在初始化目标像素时，根据对应目标引导值，从源引导图中找到具有相同引导值的源坐标位置，从源坐标位置中随机选择一个获取对应颜色作为当前像素颜色；将目标纹理所有位置进行填充，获得局部颜色分布符合目标引导的初始化目标纹理。
[0012]所述的基于引导匹配损失的深度纹理合成方法，其中，所述深度语义特征提取器为VGG19网络；所述基于深度语义特征提取器提取源纹理和初始化目标纹理的多尺度语义特征，获取源深度特征图块集合和目标深度特征图块集合，具体包括：将源纹理和初始化目标纹理分别输入VGG19网络中，提取VGG19网络的conv2_1、 conv3_1和 conv4_1中间层特征图，获得多尺度源纹理深度特征图和目标纹理深度特征图：；其中，表示源纹理在特征提取层提取的深度特征图，表示目标纹理在特征提取层提取的深度特征图；提取各层特征图块，获得源深度特征图块集合及目标深度特征图块集合：；
其中，代表图块化处理函数，代表图块的大小，s代表图块提取的步长，表示使用图块大小为、步长为s对源纹理深度特征图进行图块提取，表示使用图块大小为、步长为s对目标纹理深度特征图进行图块提取。
[0013]所述的基于引导匹配损失的深度纹理合成方法，其中，所述获取目标深度特征图块集合和源深度特征图块集合的匹配误差，具体包括：构建重复率图对各个源深度特征图块的出现次数进行记录，所述重复率图是一个记录每个源深度特征图块被目标深度特征图块匹配次数的图；获得所有目标深度特征图块的最近邻源图块；基于最近邻关系，统计所有源深度特征图块被指向的次数，获得源深度特征图块的重复率图；在获得重复率图后，重新计算所有目标深度特征图块与源深度特征图块的距离，计算过程中额外考虑源深度特征图块的重复出现次数，获得新的距离及最近邻关系；根据所有目标深度特征图块的损失总和计算总引导匹配损失。
[0014]所述的基于引导匹配损失的深度纹理合成方法，其中，所述基于最近邻关系，统计所有源深度特征图块被指向的次数，获得源深度特征图块的重复率图，具体包括：对于任意一个目标深度特征图块，计算该目标深度特征图块与所有源深度特征图块的特征距离，获得最近邻源图块的源索引位置：；对源深度特征图块被作为最近邻指向的次数进行统计：；其中，表示重复率图的j位置，用于对源深度特征图块被指向的次数进行统计；对所有为源位置j进行相同操作，获得重复率图。
[0015]所述的基于引导匹配损失的深度纹理合成方法，其中，所述重新计算所有目标深度特征图块与源深度特征图块的距离，具体包括：在获得重复率图后，为特征距离引入重复出现惩罚项，获得最终引导距离：；其中，表示重复出现的最佳次数，表示目标深度本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于引导匹配损失的深度纹理合成方法，其特征在于，所述基于引导匹配损失的深度纹理合成方法包括：获取目标纹理，对所述目标纹理进行像素级别初始化，获得具备源纹理颜色分布的初始化目标纹理；基于深度语义特征提取器提取源纹理和初始化目标纹理的多尺度语义特征，获取源深度特征图块集合和目标深度特征图块集合；获取目标深度特征图块集合和源深度特征图块集合的匹配误差，根据反向传播优化图像的方式合成目标纹理图像。2.根据权利要求1所述的基于引导匹配损失的深度纹理合成方法，其特征在于，所述获取目标纹理，对所述目标纹理进行像素级别初始化，获得具备源纹理颜色分布的初始化目标纹理，具体包括：获取目标纹理的目标像素，在初始化目标像素时，根据对应目标引导值，从源引导图中找到具有相同引导值的源坐标位置，从源坐标位置中随机选择一个获取对应颜色作为当前像素颜色；将目标纹理所有位置进行填充，获得局部颜色分布符合目标引导的初始化目标纹理。3.根据权利要求2所述的基于引导匹配损失的深度纹理合成方法，其特征在于，所述深度语义特征提取器为VGG19网络；所述基于深度语义特征提取器提取源纹理和初始化目标纹理的多尺度语义特征，获取源深度特征图块集合和目标深度特征图块集合，具体包括：将源纹理和初始化目标纹理分别输入VGG19网络中，提取VGG19网络的conv2_1、 conv3_1和 conv4_1中间层特征图，获得多尺度源纹理深度特征图和目标纹理深度特征图：；其中，表示源纹理在特征提取层提取的深度特征图，表示目标纹理在特征提取层提取的深度特征图；提取各层特征图块，获得源深度特征图块集合及目标深度特征图块集合：；其中， 代表图块化处理函数，代表图块的大小，s代表图块提取的步长，表示使用图块大小为、步长为s对源纹理深度特征图进行图块提取，表示使用图块大小为、步长为s对目标纹理深度特征图进行图块提取。4.根据权利要求3所述的基于引导匹配损失的深度纹理合成方法，其特征在于，所述获取目标深度特征图块集合和源深度特征图块集合的匹配误差，具体包括：构建重复率图对各个源深度特征图块的出现次数进行记录，所述重复率图是一个记录每个源深度特征图块被目标深度特征图块匹配次数的图；获得所有目标深度特征图块的最近邻源图块；
基于最近邻关系，统计所有源深度特征图块被指向的次数，获得源深度特征图块的重复率图；在获得重复率图后，重新计算所有目标深度特征图块与源深度特征图块的距离，计算过程中额外考虑源深度特征图块的重复出现次数，获得新的距离及最近邻关系；根据所有目标深度特征图块的损失总和计算总引导匹配损失。5.根据权利要求4所述的基于引导匹配损失的深度纹理合成方法，其特征在于，所述基于最近邻关系，统计所有源深度特征图块被指向的次数，获得源深度特征图块的重复率图，具体包括：对于任意一个目标深度特征图块，计算该目标深度特征图块与所有源深...
【专利技术属性】
技术研发人员：周漾，陈凯健，黄惠，
申请(专利权)人：深圳大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。