基于图像的虚拟试穿系统和方法技术方案

提供一种基于图像的虚拟试穿系统和方法，所述系统包括：图像分解单元，用于将试穿者图像分解为不同的部位；匹配单元，用于针对由图像分解单元分解出的试穿者的各个部位，在衣物图库中存储的穿着所述试穿衣物的至少一个模特图像中搜索与所述各个部位匹配的模特对应部位；以及合成单元，用于将由匹配单元搜索到的模特对应部位与试穿者图像进行合成。根据本发明专利技术的虚拟试穿系统和方法可支持试穿者的多种体姿，实现照片级别的真实性并能够取得丰富的试穿效果。

【技术实现步骤摘要】
基于图像的虚拟试穿系统和方法
本专利技术涉及虚拟试穿技术，尤其涉及一种以试穿者的图像为基础来达到试穿效果的虚拟试穿系统和方法。
技术介绍
随着计算机图形学等信息处理技术的发展，已经研发出能够实现虚拟试穿的诸多方案。通过虚拟试穿系统，用户不必真实地穿上衣服，而仅需要将自己的影像提供给虚拟试穿系统就能够看到虚拟试穿的效果。这种虚拟试穿系统的应用十分广泛，比如，设计师可利用虚拟试穿系统来辅助服装设计，而随着网络技术的发展，对于普通顾客而言，这种虚拟试穿系统还特别适用于网络购物、虚拟社区等在线交互系统。现有的虚拟试穿系统主要分为两类，其中，第一类为基于模型(modelbased)的虚拟试穿系统，第二类为基于图像(imagebased)的虚拟试穿系统。图1是现有技术中基于模型的虚拟试穿系统的试穿效果示意图。现有的基于模型的虚拟试穿系统通常采用三维模型(因为二维模型实用价值非常小)，具体说来，可根据人体三维模型和衣物三维模型，计算出穿衣后上述两个模型的相对位置关系和变形，并依据衣物的材质信息进行渲染，即实现虚拟试穿效果。例如，公开号为CN101398942A的中国专利《三维试衣仿真系统》中公开了一种对虚拟人模和衣物模型进行模拟着装的技术，其中，三维衣物数据从二维衣物数据转换而来，在进行着装模拟时，采用了基于层次剖分技术并融合了AABB包围盒检测算法。然而，由于人体和衣物的三维模型均难以获取，不仅需要昂贵的设备，采集过程也不简便，因此，基于模型的三维试穿仿真系统难以应用于普通用户。此外，由于在渲染时仅处理几何方面的问题，导致渲染结果的真实感较差，达不到照片级别的真实性，很容易看出是计算机合成的结果。另一方面，在基于图像的虚拟试穿系统中，所使用的是人体和衣服的二维图像。具体说来，所述虚拟试穿系统可基于人体二维图像中的某些特征(如关节点位置、人体轮廓等)，结合试穿者的身材数据(如，身高、体重、三围等)，通过与试穿者进行频繁交互来实现将衣服拟合到人体上的效果。基于图像的虚拟试穿系统中的数据采集部分相对而言易于实现(仅需要输入普通的二维图像)，并能够实现照片级别的真实性。但是现有的基于图像的虚拟试穿系统普遍存在以下缺陷：1、仅支持简单的体姿，图2示出现有技术中基于图像的虚拟试穿系统支持的典型体姿，从图2可以看出，目前的基于图像的虚拟试穿系统由于局限于单一的站姿而无法获得足够丰富的试穿效果。2、对试穿者的拍摄有严格限制，如第US6307568B1号美国专利《VirtualdressingovertheInternet》中明确限制试穿者拍摄时需要穿紧身衣服。3、需要知晓试穿者的身材数据，既不利于保护隐私，也不便于用户使用。4、需要试穿者不断与试穿系统进行交互，操作复杂且速度较慢，如第US5680528号美国专利《Digitaldressingroom》中就要求试穿者进行多次手动交互。综上所述，在现有的虚拟试穿系统中，仍存在诸多应用限制，对试穿者的要求也较高，操作起来不够便利。用户难以通过现有的虚拟试穿系统进行便利的试穿，也无法获得真实度高且内容丰富的试穿效果图。
技术实现思路
本专利技术的目的在于提供能够基于图像实现良好试穿效果的虚拟试穿系统和方法，通过所述虚拟试穿系统和方法，能够自动生成生动的虚拟试穿效果，而不需要对试穿者或输入图像进行诸多约束。根据本专利技术的一方面，提供一种基于图像的虚拟试穿系统，所述系统包括：图像分解单元，用于将试穿者图像分解为不同的部位；匹配单元，用于针对由图像分解单元分解出的试穿者的各个部位，在衣物图库中存储的穿着所述试穿衣物的至少一个模特图像中搜索与所述各个部位匹配的模特对应部位；以及合成单元，用于将由匹配单元搜索到的模特对应部位与试穿者图像进行合成。图像分解单元可在试穿者图像中与试穿衣物对应的区域中，沿着用于确定试穿者各个部位的关节点来分解出所述各个部位。图像分解单元可包括：特征提取模块，用于检测所述各个部位的关节点的三维或二维坐标；分割模块，用于沿着检测到的关节点的三维或二维坐标进行分割处理，以获取所述各个部位。分割模块可在各个部位之间留出预定重叠部分以用于合成处理。当存在穿着所述试穿衣物的多个模特的模特图像时，匹配单元可优先搜索与试穿者体型接近的模特的模特图像。匹配单元可包括：部位匹配模块，用于针对试穿者的每个部位，搜索与其匹配的一个或多个候选模特对应部位；全局匹配模块，用于基于部位匹配模块搜索出的全部候选模特对应部位，确定与试穿者各个部位组成的整体相匹配的模特对应部位的组合。部位匹配模块可将试穿者的各个部位的端点处的关节点连线的空间朝向与模特的相应部位的端点处的关节点连线的空间朝向进行匹配，将匹配差异较小的一个或多个模特对应部位选为候选模特对应部位。全局匹配模块可确定试穿者的各个部位组成的整体与候选模特对应部位的哪种组合之间的总匹配差异最小，并将最小总匹配差异对应的那组候选模特对应部位确定为最终的模特对应部位。当部位匹配模块选择候选模特对应部位时，可将候选模特对应部位限制为不被其它部位遮挡。图像分解单元还可获取试穿者各个部位之间的遮挡关系，并且，全局匹配模块可将相邻的非遮挡关系的试穿者部位组装为一个新的匹配对象，然后针对所述新的匹配对象在候选模特对应部位的模特图像中搜索匹配的模特对应部位组合。当全局匹配模块确定组装的所述新的匹配对象的匹配差异时，可对其中的每个部位的匹配差异进行求和，再从求和的值减去与所述新的匹配对象中的部位个数成预定比例的数值。当试穿者图像是时间上连续的运动图像时，匹配单元可依据前后图像帧之间的连续性来搜索匹配的模特对应部位。合成单元可包括：变形模块，用于依据试穿者图像的图像特征，对由匹配单元搜索到的模特对应部位进行变形；拼接模块，用于将变形模块输出的变形结果与试穿者图像中除所述与试穿衣物对应的区域之外的图像区域进行拼接或融合，以产生试穿效果图。所述试穿者图像的图像特征包括可所述关节点和/或试穿者自身的躯体轮廓信息。变形模块可依据试穿者和模特的关节点和躯体轮廓信息的对应关系，将模特对应部位变形到试穿者图像的空间。拼接模块可利用由分割模块在各个部位之间留出的预定重叠部分来进行拼接或融合处理。拼接模块可基于皮肤一致性约束或姿势约束来执行拼接或融合处理。所述虚拟试穿系统还可包括：插值单元，用于当试穿者图像是时间上连续的运动图像时，通过对相邻图像帧的试穿效果图进行插值来获得当前图像帧的试穿效果图。当试穿者图像是不同视角下的多幅图像时，合成单元可基于所述多幅图像对应的试穿效果图来生成三维试穿效果图。根据本专利技术的另一方面，提供一种基于图像的虚拟试穿方法，所述方法包括：将试穿者图像分解为不同的部位；针对分解出的试穿者的各个部位，在衣物图库中存储的穿着所述试穿衣物的至少一个模特图像中搜索与所述各个部位匹配的模特对应部位；以及将搜索到的模特对应部位与试穿者图像进行合成。根据本专利技术示例性实施例的虚拟试穿系统和方法对试穿者的输入图像没有限制，试穿者可采用随意的穿着和姿势，输入图像也可以是易于采集的普通二维图像。在根据本专利技术示例性实施例的虚拟试衣系统和方法中，可自动合成试穿效果图，不需要进行任何用户交互操作，也不需要获取试穿者的真实身材数据，所实现的试穿效果图可达到照片级别的真实性。此外，根据本发本文档来自技高网...

【技术保护点】
一种基于图像的虚拟试穿系统，所述系统包括：图像分解单元，用于将试穿者图像分解为不同的部位；匹配单元，用于针对由图像分解单元分解出的试穿者的各个部位，在衣物图库中存储的穿着所述试穿衣物的至少一个模特图像中搜索与所述各个部位匹配的模特对应部位；以及合成单元，用于将由匹配单元搜索到的模特对应部位与试穿者图像进行合成。

【技术特征摘要】
1.一种基于图像的虚拟试穿系统，所述系统包括：图像分解单元，用于将试穿者图像分解为不同的部位；匹配单元，用于针对由图像分解单元分解出的试穿者的各个部位，在衣物图库中存储的穿着试穿衣物的至少一个模特图像中搜索与所述各个部位匹配的模特对应部位；以及合成单元，用于将由匹配单元搜索到的模特对应部位与试穿者图像进行合成，其中，图像分解单元在试穿者图像中与试穿衣物对应的区域中，沿着用于确定试穿者的所述各个部位的关节点来分解出所述各个部位。2.如权利要求1所述的系统，其中，图像分解单元包括：特征提取模块，用于检测所述各个部位的关节点的三维或二维坐标；分割模块，用于沿着检测到的关节点的三维或二维坐标进行分割处理，以获取所述各个部位。3.如权利要求1所述的系统，其中，当存在穿着所述试穿衣物的多个模特的模特图像时，匹配单元优先搜索与试穿者体型接近的模特的模特图像。4.如权利要求2所述的系统，其中，匹配单元包括：部位匹配模块，用于针对试穿者的所述各个部位，搜索与其匹配的一个或多个候选模特对应部位；全局匹配模块，用于基于部位匹配模块搜索出的全部候选模特对应部位，确定与试穿者的所述各个部位组成的整体相匹配的模特对应部位的组合。5.如权利要求4所述的系统，其中，部位匹配模块将试穿者的所述各个部位的端点处的关节点连线的空间朝向与模特的相应部位的端点处的关节点连线的空间朝向进行匹配，将匹配差异较小的一个或多个模特对应部位选为候选模特对应部位；全局匹配模块确定试穿者的所述各个部位组成的整体与候选模特对应部位的哪种组合之间的总匹配差异最小，并将最小总匹配差异对应的那组候选模特对应部位确定为最终的模特对应部位。6.如权利要求5所述的系统，其中，当部位匹配模块选择候选模特对应部位时，将候选模特对应部位限制为不被其它部位遮挡。7.如权利要求6所述的系统，其中，图像分解单元还获取试穿者的所述各个部位之间的遮挡关系，并且，全局匹配模块将相邻的非遮挡关系的试穿者的部位组装为一个新的匹配...

【专利技术属性】
技术研发人员：张辉，冯雪涛，沈晓璐，林华书，金庸善，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：