虚拟穿衣的图像处理方法及虚拟试衣方法技术

一种虚拟穿衣的图像处理方法及虚拟试衣方法，其中图像处理方法包括：获取服装图片，对服装图片进行解析，获得服装的纹理以及版型；结合人体姿态，对服装进行3D渲染，使得服装的扭曲程度和褶皱等细节，和对应的人体姿态保持一致，获得渲染后的虚拟服装；获取2D虚拟角色；将所述2D虚拟角色扩散填充渲染后的虚拟服装，形成3D着装图像。本申请通过分离虚拟角色和服装的建模，能够克服现有技术的不足，以较低的算力成本，实现更真实高效的虚拟试衣体验。实现更真实高效的虚拟试衣体验。实现更真实高效的虚拟试衣体验。

【技术实现步骤摘要】
虚拟穿衣的图像处理方法及虚拟试衣方法


[0001]本申请涉及数据处理领域，更具体地说，涉及虚拟穿衣的图像处理方法以及虚拟试衣方法。

技术介绍

[0002]随着移动终端的发展和人们生活水平的不断提高，越来越多的人能够方便的通过网上购物，实现日常的衣食住行需求，但网购的物品是否合适则往往要等拿到实物才能判断，尤其是在线买衣服。线下购物时，为了挑选合身的衣服，用户需要自己到服装店，试穿不同尺寸的衣服以找到最适合自己的，整个过程耗时耗力。网上购物尽管能减少用户在不同服装店之间的往返，但仍然无法解决试穿的问题，比如买的衣服不合身等，此外商家货品尺寸和实物也会存在差异，这就使得网购衣服经常会出现因不满意而退换货等问题。
[0003]正是为了解决这样的问题，虚拟穿衣技术应运而生。通过虚拟穿衣，顾客可以轻松快速的得到不同尺寸的衣服在自己做不同动作时的试穿效果，大大简化了挑选衣服的过程，提升了购物体验。此外，虚拟穿衣技术还广泛应用于电子游戏、虚拟世界等领域。
[0004]现有虚拟穿衣技术通过将各种衣服服饰拍照产生图像后，对图像进行变换处理，再贴合到模特身上，以实现试穿衣服的仿真效果。为了能够尽可能的真实再现布料贴合人体的情况，人们尝试了多种方法。
[0005]比如，中国专利申请CN114863073提出了一种2D虚拟上装方法。然而，采用2D虚拟上装方案，需要将衣服一件件放在人偶角色身上进行拍摄，然后将拍摄照片发送至虚拟上装模型上进行模特生成，成本高且耗时长。如果仅拍摄衣服平铺图片进行建模，则虚拟模特上装效果更差。
[0006]再比如，中国专利申请CN202010874008提出一种方法，通过先构建人物的3D模型，再将3D虚拟服装虚拟穿着在这个3D重建人物身上。然而，这种3D虚拟上装方案，需要同时对衣服和模特进行3D建模，不仅成本高，且3D建模渲染效果无法和2D照片效果比拟。

技术实现思路

[0007]为了解决上述问题，本申请提出了一种虚拟穿衣的图像处理方法，基于服装图片生成虚拟服装的3D模型，然后将其投射到2D图片中，利用2D虚拟角色对虚拟服装进行填充，利用扩散网络生成2D虚拟角色的上装效果，从而能够克服现有技术的不足，实现更真实、高效的虚拟试衣体验。
[0008]根据本申请的一方面，提供了一种虚拟穿衣的图像处理方法包括：获取服装图片，对服装图片进行解析，获得服装的纹理以及版型；结合人体姿态，对服装进行3D渲染，使得服装的扭曲程度和褶皱等细节，和对应的人体姿态保持一致，获得渲染后的虚拟服装；获取2D虚拟角色；将所述2D虚拟角色扩散填充渲染后的虚拟服装，形成3D着装图像。
[0009]根据本申请的一方面，提供了一种虚拟试衣方法，包括：接收用户的指令，获取用户指定的姿态和体型，以及获取用户指定的服装；根据用户的姿态和体型，获取对应的2D虚
拟角色；根据用户指定的服装，结合用户的姿态和体型，获得指定服装的3D渲染结果，形成3D虚拟服装；利用所述2D虚拟角色对渲染后的虚拟服装进行扩散填充，形成3D着装图像。
[0010]相较于现有技术，本申请将虚拟角色和服装分开建模，采用少量平铺服装照片构建出虚拟服装的3D模型，再采用2D虚拟角色模型对服装进行填充从而能够以较低的计算成本，极其快速地响应服装的调整需求，大幅提升服装设计、展示、销售以及虚拟世界等
中虚拟人物换装或试衣环节的反馈效率。
附图说明
[0011]通过结合附图对本申请示例性实施例进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，在本申请示例性实施例中，相同的参考标号通常代表相同部件。
[0012]图1示出了本申请虚拟穿衣的图像处理方法的一种实施方式的流程示意图。
[0013]图2a和图2b示出了本申请虚拟穿衣的图像处理方法的一种实施方式中服装图片和版型的示意图；
[0014]图3示出了本申请虚拟穿衣的图像处理方法的一种实施方式中3D虚拟服装的示意图；
[0015]图4a和图4b示出了本申请虚拟穿衣的图像处理方法的虚拟角色示意图；
[0016]图5示出了本申请虚拟穿衣的图像处理方法的3D着装图像的示意图。
[0017]图6示出了本申请虚拟试衣方法的一种实施方式的流程示意图。
[0018]相较于现有技术，本申请将虚拟角色和服装分开建模，采用少量平铺服装照片构建出虚拟服装的3D模型，再采用2D虚拟角色模型对服装进行填充，从而能够以较低的计算成本，极其快速地响应服装的调整需求，大幅提升服装设计、展示、销售以及虚拟世界等
中虚拟人物换装或试衣环节的反馈效率。
具体实施方式
[0019]下面将参照附图更详细地描述本申请。虽然附图中显示了本申请的优选实施例，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。为了便于理解本申请，将非本申请的必要部件也示意的图中一并讲解，但非必要部分不对本申请做限定。
[0020]根据本申请的一些方面，参考图1，提供了一种虚拟穿衣的图像处理方法，包括：
[0021]步骤S1，获取服装图片，对服装图片进行解析，获得服装的纹理以及版型。
[0022]在某些实施方式中，服装图片可为服装穿在模特身上的图片，也可为单独服装的图片。例如，当不具备模特人偶时，可采用服装平铺的正和/或反面图片。又例如，当服装上具有较复杂的花纹时，服装图片可进一步为包含花纹的四方连续贴图。
[0023]在某些实施方式中，可通过扫描获取上述服装图片，也可以相机拍摄的形式获取对应的服装照片。
[0024]其中，对服装图片进行解析具体可包括：通过分割图片，获得对应的服装版型。
[0025]具体来说，可将图片中的服装分割成对应的部分，例如将服装拆分为领口、前襟、
后襟等，通过将各个部分与版型库中的元素进行匹配，获得对应的服装版型。
[0026]在一种实施方式中，可采用分割神经网络对服装进行分割，形成服装版型。参考图2a和图2b，图2a为获取到的服装图片，图2b为所形成的服装版型的一部分。具体来说，可先调整服装图片的分辨率，使其能够被分割神经网络识别，例如将其调整为512*512；然后，将图片送至分割神经网络，例如可采用网络模型对服装进行网格化处理，形成不同部分的分割结果，例如前片、后片、领口、袖头等；接着，通过映射神经网络映射到现有版型库中的对应服装版型，参考图2b。具体来说，该映射神经网络可按照各个部分的分割结果，针对服装上的每个像素，找到在标准版型上的位置，实现对应关系。
[0027]此外，在某些实施方式中，也可通过人工对服装图片进行分割后，采用神经网络将其对应至相关服装版型。例如，当平铺的服装照片存在较难分割的情况时，可采用人工对其进行分割。
[0028]其中，对服装图片进行解析还可包括：识别服装的纹理，根据纹理获取服装的实际材质。具体来说，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟穿衣的图像处理方法，其特征在于，包括：获取服装图片，对服装图片进行解析，获得服装的纹理以及版型；结合人体姿态，对服装进行3D渲染，使得服装的形变和对应的人体姿态保持一致，获得渲染后的虚拟服装；获得2D虚拟角色；将所述2D虚拟角色扩散填充渲染后的虚拟服装，形成3D着装图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述对服装进行渲染进一步包括：对应各种人体姿态，对服装进行渲染，使得服装根据人体姿态的变化产生不同的变化量，保存对应的变化量，形成该人体姿态对应的虚拟服装。3.根据权利要求1所述的图像处理方法，其特征在于，所述对服装进行渲染进一步包括：根据服装的材质或人体体型，对服装进行3D渲染，获得渲染后的虚拟服装。4.根据权利要求1所述的图像处理方法，其特征在于，所述对服装图片进行解析获得服装版型包括：调整服装图片的分辨率；通过分割神经网络对服装进行网格化处理，形成不同部分的分割结果；通过映射神经网络映射至对应的服装版型。5.根据权利要求4所述的图像处理方法，其特征在于，所述通过映射神经网络映射至对应的服装版型包括：按照各个部分的分割结果，针对服装上的每个像素，找到在标准版型上的位置，实现对应关系。6.根据权利要求1所述的图像处理方法，其特征在于，进一步包括：预先训练生成虚拟角色的模型库，所述模型库包含不同性别、肤色、肤质、体型的虚拟角色。7...

【专利技术属性】
技术研发人员：朱江，刘宏军，
申请(专利权)人：常熟井赢科技有限公司，
类型：发明
国别省市：