【技术实现步骤摘要】
本专利技术涉及图像处理和虚拟试衣的，具体涉及一种利用知识融合的服饰试衣服务计算方法与系统。
技术介绍
1、随着互联网技术的发展与普及，越来越多的人选择通过网上购物来购买服装，而在这样的购物过程中，虚拟试衣技术成为了一项方便且实用的技术。相较于实体店购物，网上购物具有更多的商品种类、方便等优点，但是该方式也存在着缺陷，让消费者难以获得更符合个人需要的购物体验，其中一个最突出的问题是无法提供与个人实际身形相符合的效果图。虚拟试衣技术的出现则是解决了这一问题，使得消费者可以通过虚拟试衣技术在网上体验穿衣效果，从而更加直观地选择符合自己需求的服装，提高消费者体验。
2、虚拟试衣旨在将店内服装穿到参考人体对应部位并且实现高质量的效果。近年来，虚拟试衣在电子商务和图像编辑等领域越来越收到关注。现有的方法可以粗略地分为基于三维和基于二维两类方法。基于三维的方法通过复杂的渲染实现了对材料和服装变形的优秀控制，但这些方法严重依赖于复杂的数据表示，并消耗大量的计算资源。相比之下，基于二维的方法由于数据更加轻量级，更加适用于真实世界的场景，并且这类方法已经在生成逼真试衣效果方便去的了巨大的进展。然而大部分现有的方法在处理复杂姿势和服装变形较大时仍然存在着较大的未对齐和伪影问题。
3、目前的现有技术之一是zhao f等《a monocular-to-3d virtual try-onnetwork》所提出的一种基于人工智能的三维模型虚拟试衣方法，主要通过三维建模和复杂渲染技术实现。该技术方案主要包括了三维建模技术、三维渲染技术、
4、目前的现有技术之二是he s等《style-based global appearance flow forvirtual try-on》所提出的一种基于深度学习技术实现的二维虚拟试衣技术。首先对输入的图片进行预处理，通过人体解析获取姿态图、人体关键点图等基础信息。接着将这些数据和目标服装图片输入至神经网络中进行训练，现有方法基本上首先特征金字塔网络提取特征，然后通过外观流或薄板样条变换，将得到的服装变形特征再次输入至负责合成的神经网络中进行训练得到最终的试衣结果。该方法的缺点是：1)服装变形预测时使用的全局指导参数不能够有效的代表全局特征，导致最终的试衣结果整体效果不好；2)对服装的变形缺乏约束，导致当参考服装和目标服装空间差距较大时，最汇总的试衣结果更加趋向于参考服装形状。
技术实现思路
1、本专利技术的目的是克服现有方法的不足，提出了一种知识融合的服饰试衣服务计算方法与系统。本专利技术解决的主要问题在于：1)如何克服现有三维虚拟试衣技术主要在三维扫描和建模的基础上进行虚拟试装，造成的安装硬件成本高，3d建模计算量大，效率较低，不适合商业中大规模普及等问题；2)如何解决现有二维虚拟试衣技术对目标服装的变形的全局效果较差且缺乏局部约束，容易造成错位、伪影等问题。
2、为了解决上述问题，本专利技术提出了一种知识融合的服饰试衣服务计算方法，所述方法包括：
3、从服装数据集筛选并输入参考人物图片和目标服装图片，并处理成统一尺寸，然后输入所述参考人物图片和目标服装图片至两个结构完全相同的特征金字塔网络中进行特征提取，输出参考人物特征和目标服装特征；
4、输入所述参考人物特征和目标服装特征至双流瓶颈变形器中进行特征融合，得到隐空间向量；
5、将所述参考人物特征和目标服装特征和所述隐空间向量输入至服装变形模块，按照级联的方式对来自所述特征金字塔网络的每一层特征进行处理，每一层级的处理都会得到一个中间流，通过复用上一层级的中间流，得到最终的外观流；
6、将所述参考人物特征和目标服装特征，以及所述最终的外观流输入至合成网络中，得到合成的试衣结果。
7、优选地，所述从服装数据集筛选并输入参考人物图片和目标服装图片，并处理成统一尺寸，然后输入所述参考人物图片和目标服装图片至两个结构完全相同的特征金字塔网络中进行特征提取，输出参考人物特征和目标服装特征，具体为：
8、所述服装数据集来源于服装购物网站，输入部分包括所述参考人物图片和目标服装图片，其中所述参考人物图片指包含需要换装的人的图片，不仅包括其原图，还包括从人体解析器得到的人体姿势和关键点图；所述目标服装图片指需要替换的服装图片，该服装图片需要尽可能保留服装的纹理、形状；
9、将参考人物和目标服装对应的特征标记为和设置所述特征金字塔网络层数为n＝5，采用来自该特征金字塔网络最后一层的特征p5和c5，作为所述双流瓶颈变形器的输入特征。
10、优选地，所述输入所述参考人物特征和目标服装特征至双流瓶颈变形器中进行特征融合，得到隐空间向量，具体为：
11、基于umt(unified multi-modal transformers，统一多模式transformers模型)的设计，引入一个可学习参数其中，nb是一个小于特征维度h的数值，随后对每个流的特征进行压缩，具体如下：
12、
13、其中，w{q,k,v,z}分别表示query、key、value和输出矩阵的线性变换权重，zi表示瓶颈tokens的输入，z′i表示压缩特征；
14、将所述压缩特征z′i作为输入，通过特征扩展公式获取融合后的特征，所述特征扩展公式具体如下：
15、
16、其中，x′i表示第i个切片的双流交叉增强特征，即和均通过所述特征扩展公式获得；
17、将所述第i个切片的双流交叉增强特征x′i输入至卷积神经网络中进行最后阶段的特征融合，最终输出融合后的隐空间向量l，具体如下：
18、
19、优选地，所述将所述参考人物特征和目标服装特征和所述隐空间向量输入至服装变形模块，按照级联的方式对来自所述特征金字塔网络的每一层特征进行处理，每一层级的处理都会得到一个中间流，通过复用上一层级的中间流，得到最终的外观流，具体为：
20、输入本层级的目标服装特征ci、上一层级的外观流fi-1和上一层级的自注意力图atti-1，将ci和fi-1进行上采样，得到ci和fi-1的上采样结果；
21、将所述ci和fi-1的上采样结果再与上一级获取的自注意力图atti-1做点积，获取一个新的外观流；
22、将所述新的外观流和融合后的隐空间向量l输入至调制卷积神经网络中进行卷积操作，得到所述中间流，具体如公式所示：
23、
24、其中，fmi是经过隐空间向量指导的中间流，convm表示卷积操作，表示上采样操作；
25、输入所述中间流和所述参考服装特征pi至卷积神经网络中，逐层输出后一个层级得到的本文档来自技高网...
【技术保护点】
1.一种知识融合的服饰试衣服务计算方法，其特征在于，所述方法包括：
2.如权利要求1所述的一种知识融合的服饰试衣服务计算方法，其特征在于，所述从服装数据集筛选并输入参考人物图片和目标服装图片，并处理成统一尺寸，然后输入所述参考人物图片和目标服装图片至两个结构完全相同的特征金字塔网络中进行特征提取，输出参考人物特征和目标服装特征，具体为：
3.如权利要求2所述的一种知识融合的服饰试衣服务计算方法，其特征在于，所述输入所述参考人物特征和目标服装特征至双流瓶颈变形器中进行特征融合，得到隐空间向量，具体为：
4.如权利要求1所述的一种知识融合的服饰试衣服务计算方法，其特征在于，所述将所述参考人物特征和目标服装特征和所述隐空间向量输入至服装变形模块，按照级联的方式对来自所述特征金字塔网络的每一层特征进行处理，每一层级的处理都会得到一个中间流，通过复用上一层级的中间流，得到最终的外观流，具体为：
5.如权利要求4所述的一种知识融合的服饰试衣服务计算方法，其特征在于，所述自注意力图atti，具体为：
6.如权利要求1所述的一种知识融合
7.一种知识融合的服装试衣服务计算系统，其特征在于，所述系统包括：
8.如权利要求7所述的一种知识融合的服装试衣服务计算系统，其特征在于，所述从服装数据集筛选并输入参考人物图片和目标服装图片，并处理成统一尺寸，然后输入所述参考人物图片和目标服装图片至两个结构完全相同的特征金字塔网络中进行特征提取，输出参考人物特征和目标服装特征，具体为：
9.如权利要求8所述的一种知识融合的服饰试衣服务计算系统，其特征在于，所述输入所述参考人物特征和目标服装特征至双流瓶颈变形器中进行特征融合，得到隐空间向量，具体为：
10.如权利要求7所述的一种知识融合的服饰试衣服务计算系统，其特征在于，所述将所述参考人物特征和目标服装特征和所述隐空间向量输入至服装变形模块，按照级联的方式对来自所述特征金字塔网络的每一层特征进行处理，每一层级的处理都会得到一个中间流，通过复用上一层级的中间流，得到最终的外观流，具体为：
11.如权利要求10所述的一种知识融合的服饰试衣服务计算系统，其特征在于，所述自注意力图atti，具体为：
12.如权利要求7所述的一种知识融合的服饰试衣服务计算系统，其特征在于，所述将所述参考人物特征和目标服装特征，以及所述最终的外观流输入至合成网络中，得到合成的试衣结果，具体为：
...【技术特征摘要】
1.一种知识融合的服饰试衣服务计算方法，其特征在于，所述方法包括：
2.如权利要求1所述的一种知识融合的服饰试衣服务计算方法，其特征在于，所述从服装数据集筛选并输入参考人物图片和目标服装图片，并处理成统一尺寸，然后输入所述参考人物图片和目标服装图片至两个结构完全相同的特征金字塔网络中进行特征提取，输出参考人物特征和目标服装特征，具体为：
3.如权利要求2所述的一种知识融合的服饰试衣服务计算方法，其特征在于，所述输入所述参考人物特征和目标服装特征至双流瓶颈变形器中进行特征融合，得到隐空间向量，具体为：
4.如权利要求1所述的一种知识融合的服饰试衣服务计算方法，其特征在于，所述将所述参考人物特征和目标服装特征和所述隐空间向量输入至服装变形模块，按照级联的方式对来自所述特征金字塔网络的每一层特征进行处理，每一层级的处理都会得到一个中间流，通过复用上一层级的中间流，得到最终的外观流，具体为：
5.如权利要求4所述的一种知识融合的服饰试衣服务计算方法，其特征在于，所述自注意力图atti，具体为：
6.如权利要求1所述的一种知识融合的服饰试衣服务计算方法，其特征在于，所述将所述参考人物特征和目标服装特征，以及所述最终的外观流输入至合成网络中，得到合成的试衣结果，具体为：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。