用于使用产品描述自动生成三维虚拟服装模型的系统和方法技术方案

一种用于生成服装的三维(3D)模型的方法和系统。该方法包括：提供服装的图像；基于图像来生成3D服装表示；将3D服装表示配准到3D模型以获得初步3D服装模型；将3D模型上穿着的初步3D服装模型投影到2D投影图像；以及将2D投影图像与服装的图像进行比较，以精细化初步3D服装模型以获得服装的最终3D模型。

【技术实现步骤摘要】
【国外来华专利技术】用于使用产品描述自动生成三维虚拟服装模型的系统和方法相关申请的交叉引用本申请要求于2018年11月14日提交的美国临时专利申请序列号62/767,214和62/767,220以及于2019年10月25日提交的美国专利申请序列号16/664,689的优先权和利益，以上申请通过引用整体并入本文。在本公开的描述中引述并讨论了可能包括专利、专利申请和各种出版物的一些参考文献。这些参考文献的引述和/或讨论仅被提供用于阐明本公开的描述，而不是承认任何参考文献是本文描述的公开内容的“现有技术”。本说明书中引述和讨论的所有参考文献通过引用整体并入本文，并且其程度如同每个参考文献通过引用被单独地并入。
本公开总体涉及生成三维(3D)虚拟服装模型，更具体地涉及用于使用产品的文本描述和图像表示两者自动生成3D虚拟服装模型的系统及方法。
技术介绍
本文提供的
技术介绍
用于总体呈现本公开的背景的目的。既不明确地承认也不暗示地承认当前列名的专利技术人的在
技术介绍
部分中描述的范围内的工作、以及在提交时可能不是作为现有技术的描述的各方面为与本专利技术相对本文档来自技高网...

【技术保护点】
1.一种用于生成三维3D服装模型的方法，所述方法包括：/n通过计算设备提供服装的描述和至少一个图像；/n通过所述计算设备根据所述描述来识别所述服装的类型和属性；/n通过所述计算设备对所述至少一个图像进行分类，以获得所述至少一个图像的的类别，作为包括所述服装的服装图像或包括第一模型上穿着的所述服装的模型图像；/n通过所述计算设备基于所述服装的类型和所述图像的类别来分割所述至少一个图像，以获得所述服装的掩模；/n通过所述计算设备使用所述掩模来确定所述至少一个图像中的所述服装的界标，并且将所述至少一个图像中的所述服装解析成多个部分；/n通过所述计算设备将所述界标拟合到与所述服装的类型相对应的3D服装...

【技术特征摘要】
【国外来华专利技术】20181114 US 62/767,214;20181114 US 62/767,220;20191.一种用于生成三维3D服装模型的方法，所述方法包括：
通过计算设备提供服装的描述和至少一个图像；
通过所述计算设备根据所述描述来识别所述服装的类型和属性；
通过所述计算设备对所述至少一个图像进行分类，以获得所述至少一个图像的的类别，作为包括所述服装的服装图像或包括第一模型上穿着的所述服装的模型图像；
通过所述计算设备基于所述服装的类型和所述图像的类别来分割所述至少一个图像，以获得所述服装的掩模；
通过所述计算设备使用所述掩模来确定所述至少一个图像中的所述服装的界标，并且将所述至少一个图像中的所述服装解析成多个部分；
通过所述计算设备将所述界标拟合到与所述服装的类型相对应的3D服装模板以获得3D服装表示；
通过所述计算设备将所述3D服装表示配准到第二模型，以获得所述第二模型上穿着的初步3D服装模型，其中所述第二模型是3D人体模型；
通过所述计算设备将所述第二模型上穿着的所述初步3D服装模型投影到至少一个2D投影图像；以及
通过所述计算设备将所述至少一个2D投影图像与所述至少一个图像中的对应的一个图像进行比较，以精细化所述初步3D服装模型以获得所述3D服装模型。


2.根据权利要求1所述的方法，其中，所述服装的类型是包括毛衣、衬衫、裙子、T恤和裤子的服装的种类，并且所述服装的属性包括服装的颜色、材料、领口和性别。


3.根据权利要求2所述的方法，其中，通过从产品数据库检索所述类型和属性或通过从所述服装的购物网页提取所述类型和属性来执行识别所述服装的类型和属性的步骤。


4.根据权利要求1所述的方法，其中，通过神经网络来执行对所述至少一个图像进行分类的步骤，所述神经网络包括用于从所述至少一个图像提取语义特征的级联卷积块，并且所述卷积块中的每一个包括2D卷积层、最大池化层和批标准化层。


5.根据权利要求1所述的方法，其中，分割所述至少一个图像的步骤包括：当所述至少一个图像被分类为所述服装图像时，使用图形切割来分割所述至少一个图像。


6.根据权利要求1所述的方法，其中，分割所述至少一个图像的步骤包括：当所述至少一个图像被分类为所述模型图像时，使用更快的区域卷积神经网络FasterR-CNN来定位包围所述至少一个图像的服装区域的边界框，并且使用全卷积神经网络FCN来分割所述至少一个图像。


7.根据权利要求1所述的方法，其中，使用神经网络来执行确定界标的步骤。


8.根据权利要求1所述的方法，其中，确定所述界标并解析所述服装的步骤包括：针对所述掩模使2D服装模板变形，其中所述2D服装模板是基于所述服装的类型检索到的，并且包括界标点和所述2D服装模板的解析。


9.根据权利要求1所述的方法，还包括：
在将所述至少一个图像分类为模型图像之后，估计所述模型图像中的所述第一模型的姿态；以及
在投影步骤之前，以所估计的所述模型图像中的所述第一模型的姿态设置所述第二模型...

【专利技术属性】
技术研发人员：周辉，徐毅，杨尚林，
申请(专利权)人：北京京东尚科信息技术有限公司，京东美国科技公司，
类型：发明
国别省市：北京;11