一种视觉产品外观的AI生成方法技术

本发明专利技术公开了一种视觉产品外观的AI生成方法，为工业产品外观设计师提供辅助参考和灵感；当输入一个原产品，一个目标物体以及一张艺术风格图片，本方法将原产品的纹理外观形变成目标物体的形状，进而构成新产品，同时将艺术风格迁移到新产品，最终形成一个美妙的视觉产品外观；本方法命名为工业风格迁移，它由大尺度几何形变模块和兴趣保持纹理迁移模块这两部分组成；其中，大尺度几何形变模块目的在于以无监督的方式学习原产品和目标物体形状掩码之间的转换，实现大尺度几何形变；兴趣保持纹理迁移模块则在传统的纹理风格迁移上引入了兴趣正则化项，使得在纹理迁移后能够尽可能的保留原产品中重要的内容细节。能的保留原产品中重要的内容细节。能的保留原产品中重要的内容细节。

【技术实现步骤摘要】
一种视觉产品外观的AI生成方法


[0001]本专利技术涉及工业产品视觉设计领域，具体涉及一种视觉产品外观的AI生成方法。

技术介绍

[0002]因为消费者对新产品的选择严重依赖于其在市场上的视觉外观，视觉产品设计(VPD)已被公认为工业产品设计领域的核心角色。VPD通常是通过遵循不同的外观属性(如审美、功能和象征)来设计一个新的产品。例如，设计师通常参考汽车和飞机，以其飞行和驾驶的功能和吸引人的审美，制造出美妙的飞行汽车外观。然而，以人工的方式很难快速创造出高质量的产品外观，其又严重依赖于设计师的创意能力。目前大多数方法都依赖于神经风格迁移NST。NST旨在将一个或两个参考图像的艺术和几何风格迁移到内容图像中。艺术风格的转换帮助产品获得审美价值，几何形状的转换可以获得功能和象征价值。
[0003]在纹理风格迁移方面，Gatys等人首先提出利用VGG网络的特征图作为内容表示，特征图的Gram矩阵作为风格表示，并通过迭代优化的方式生成风格化的结果。随后，为了提高之前方法的效率，很多工作通过一个前馈网络来得到风格化结果，然而这些方法一个模型只能迁移一个风格。为了进一步提高泛化性，任意风格迁移算法被提出，包括Adain，LinWCT，Avatar
‑
Net等。上述方法在纹理风格迁移上有很大进步，但是它们都难以保留内容图中的细节信息。一些方法针对此问题作了些改进，如ArtFlow通过可逆神经流来保留内容图像的更多细节。尽管如此，这些方法的视觉质量仍有待提高。基于此，我们提出了一种通过SuperPoint网络计算兴趣正则化的方法，该方法以内容图和风格化结果图为输入，输出相应的兴趣点和描述符，通过约束它们间的差异，使内容细节保留的更多。
[0004]在几何形变方面，传统的方法对人工提取的兴趣点进行检测和匹配，比如SIFT，形状上下文匹配或者HOG。这些方法虽然能很好地实现实例级匹配，但对外观变化和噪声干扰很敏感。后来，卷积神经网络因其提取强大、鲁棒的特征的能力在几何匹配中得到了广泛的应用。目前最好的方法框架由特征提取、匹配层和回归网络三部分组成，随后的工作在此基础上进行各种改进(如GTST)。所有上述方法都作用在两张RGB图像上，并试图估计一个形变场直接匹配他们。虽然它们在语义相似的图像之间表现良好，但它们无法处理具有大规模几何差异的不同类别的物体。主要原因在于，在缺少语义对应的情况下，计算两个RGB图像之间的相关性是不合理的，定义几何匹配度量也非常困难。Sunnie S.Y.Kim等人提出的DST通过匹配NBB关键点并估计薄板样条插值(TPS)转换来实现形变，它也被限制在同类间的形变，因为NBB只能提取相似对象之间的关键点。

技术实现思路

[0005]本专利技术的目的在于提出一种视觉产品外观的AI生成方法，通过利用LGW模块以无监督的方式学习原产品和目标物体形状掩码之间的转换，并在传统的纹理风格迁移上引入了基于SuperPoint的兴趣点正则化项，解决神经风格迁移方法只能实现小尺度形变以及内容细节丢失的问题。
[0006]实现本专利技术目的的技术解决方案：一种视觉产品外观的AI生成方法，包括如下步骤：
[0007]步骤1、给定原产品S和目标物体T，利用目标分割网络PointRend分别提取它们的掩码M
s
，M
t
，用来作为形状表示；
[0008]步骤2、利用卷积编码网络分别提取掩码M
s
，M
t
的特征F
s
，F
t
；
[0009]步骤3、为掩码特征F
s
，F
t
添加位置编码信息P，得到
[0010]步骤4、利用内积计算间多尺度的全局相关性矩阵，并根据循环神经网络GRU来迭代生成形变场
[0011]步骤5、利用估计的形变场来形变原产品掩码M
s
，计算形变后的掩码ω
r
(M
S
)和目标掩码M
t
间差的L1范数作为形状损失L
shape
，同时将带掩码的平滑正则项作为平滑损失L
smooth
，进行LGW网络参数优化；
[0012]步骤6、利用训练好的LGW网络估计形变场ω，来形变原产品S得到形变图N，和艺术风格图片A一起输入到传统的纹理风格迁移网络中，得到最终风格化的结果O；
[0013]步骤7、利用VGG网络计算内容和风格损失L
NST
，利用SuperPoint网络计算兴趣正则化损失L
IR
，进行IR网络参数优化。
[0014]进一步的，步骤1中利用PointRend目标分割网络分别分割出原产品S和目标物体T的实体部分，并据此生成二进制离散掩码图M
s
，M
t
，作为物体精准的形状表示，确保不包含多余的颜色相关的外观信息。
[0015]进一步的，步骤2所述的卷积编码网络能够使所提取的特征维持在输入图像八分之一尺寸大小。
[0016]进一步的，步骤3中为步骤2输出的掩码特征，运用公式(1)计算其对应的位置编码信息P，并累加到步骤2输出的掩码特征上，得到
[0017]进一步的，步骤4中计算间多尺度的全局相关性矩阵，用来进行形状间的特征匹配，并利用循环神经网络GRU来迭代生成多个形变场不同形变场对原产品的形变程度不同。
[0018]进一步的，步骤5中使用几何形状损失L
shape
和平滑正则L
smooth
两种损失函数进行LGW网络参数优化；利用估计的形变场形变原产品掩码M
s
，几何形状损失用来计算形变后的掩码ω
r
(M
s
)和目标掩码M
t
间差的L1范数，以此来比较形状差异；利用平滑掩码为形变场划分出压缩区域和扩展区域，对这些区域进行平滑约束，从而进一步约束采样方向。
[0019]进一步的，步骤7中利用VGG计算风格化输出O与形变图N间的内容损失L
c
，以及O与风格图片A间的纹理损失L
s
；利用SuperPoint网络计算O与N间的兴趣正则化损失L
IR
，综合上述三个损失对ICTT网络参数进行优化。
[0020]一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的视觉产品外观的AI生成方法。
[0021]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的视觉产品外观的AI生成方法。
[0022]本专利技术与现有技术相比，其显著优点在于：(1)本专利技术通过利用LGW模块以无监督
的方式学习原产品和目标物体形状掩码之间的转换，在几何损失和基于掩码的平滑正则的约束下，解决了传统方法中只能实现同类间小尺度形变的问题；(2)本专利技术在传统的纹理风格迁本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉产品外观的AI生成方法，其特征在于，包括如下步骤：步骤1、给定原产品S和目标物体T，利用目标分割网络PointRend分别提取它们的掩码M
s
,M
t
，用来作为形状表示；步骤2、利用卷积编码网络分别提取掩码M
s
,M
t
的特征F
s
,F
t
；步骤3、为掩码特征F
s
,F
t
添加位置编码信息P，得到步骤4、利用内积计算间多尺度的全局相关性矩阵，并根据循环神经网络GRU来迭代生成形变场步骤5、利用估计的形变场来形变原产品掩码M
S
，计算形变后的掩码ω
r
(M
s
)和目标掩码M
t
间差的L1范数作为形状损失L
shape
，同时将带掩码的平滑正则项作为平滑损失L
smooth
，进行LGW网络参数优化；步骤6、利用训练好的LGW网络估计形变场ω，形变原产品S得到形变图N，和艺术风格图片A一起输入到传统的纹理风格迁移网络中，得到最终风格化的结果O；步骤7、利用VGG网络计算内容和风格损失L
NST
，利用SuperPoint网络计算兴趣正则化损失L
IR
，进行IR网络参数优化。2.根据权利要求1所述的视觉产品外观的AI生成方法，其特征在于，步骤1中利用PointRend目标分割网络分别分割出原产品S和目标物体T的实体部分，并据此生成二进制离散掩码图M
s
,M
t
，作为物体精准的形状表示，确保不包含多余的颜色相关的外观信息。3.根据权利要求1所述的视觉产品外观的AI生成方法，其特征在于，步骤2所述的卷积编码网络使所提取的特征...

【专利技术属性】
技术研发人员：李俊，杨金潮，郭肥，陈硕，杨健，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：