基于深度特征生成的图像编辑方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种基于深度特征生成的图像编辑方法、装置及电子设备，该方法包括：响应于用户在待编辑图像上确定的操作点和目标点，获取操作点对应的patch邻域特征和目标点对应的patch邻域特征；将操作点对应的patch邻域特征和目标点对应的patch邻域特征分别聚合成与第一w向量维度相等的操作点特征向量和目标点特征向量；基于操作点特征向量和目标点特征向量，利用Transformer模型得到第二w向量；将第二w向量与第一w向量进行拼接处理后得到第三w向量，然后将第三w向量输入预训练的StyleGAN生成器，得到编辑后的图像。从而实现了更高效、更准确、更具有语义性的基于“点拖拽”的交互式图像编辑。

【技术实现步骤摘要】

本专利技术涉及图像编辑，尤其涉及一种基于深度特征生成的图像编辑方法、装置及电子设备。

技术介绍

1、图像编辑技术是使用计算机对图像信息进行细节修改、编辑处理的技术，大多数的图像编辑技术又是以图像生成技术为基础的，图像生成技术是使用计算机程序生成图像的技术，这种技术可以用于生成各种类型的图像，包括数字艺术、动画、游戏场景、产品设计等。

2、目前，大多数图像编辑技术要么没办法做到精确控制，例如利用stylegan的中间隐向量直接插值处理，只能改变某些特征的风格特征属性，并无法完全解耦控制，并且控制也并不准确可靠。要么就是draggan这种，基于stylegan生成器的中间特征判别能力强大，在语义性和空间性两个维度高度与生成图像相关联，通过监督生成器中间特征的targetpoint(目标点)邻域跟handle point(操作点)邻域的损失优化w向量，最终优化的w向量通过stylegan生成器得到拖拽编辑后的图像。虽然draggan得到了精确的像素点级别的拖拽编辑效果，但是优化算法在实际应用场景中的时间消耗长，并且基于局部优化的算法最终的结果并不一定本文档来自技高网...

【技术保护点】

1.一种基于深度特征生成的图像编辑方法，其特征在于，包括：

2.根据权利要求1所述的基于深度特征生成的图像编辑方法，其特征在于，所述基于所述操作点特征向量和所述目标点特征向量，利用Transformer模型得到第二w向量，包括：

3.根据权利要求1所述的基于深度特征生成的图像编辑方法，其特征在于，所述卷积神经网络为三层卷积层后接一层最大池化层的网络结构。

4.根据权利要求1所述的基于深度特征生成的图像编辑方法，其特征在于，所述将所述第二w向量与所述第一w向量进行拼接处理后得到第三w向量，包括：

5.根据权利要求1至4任一项所述的基于深度特征...

【技术特征摘要】

1.一种基于深度特征生成的图像编辑方法，其特征在于，包括：

2.根据权利要求1所述的基于深度特征生成的图像编辑方法，其特征在于，所述基于所述操作点特征向量和所述目标点特征向量，利用transformer模型得到第二w向量，包括：

3.根据权利要求1所述的基于深度特征生成的图像编辑方法，其特征在于，所述卷积神经网络为三层卷积层后接一层最大池化层的网络结构。

4.根据权利要求1所述的基于深度特征生成的图像编辑方法，其特征在于，所述将所述第二w向量与所述第一w向量进行拼接处理后得到第三w向量，包括：

5.根据权利要求1至4任一项所述的基于深度特征生成的图像编辑方法，其特征在于，所述transformer模型的训练过程包...

【专利技术属性】
技术研发人员：王金桥，蔡鹏祥，刘智威，
申请(专利权)人：中科视语句容科技有限公司，
类型：发明
国别省市：