基于人工智能的虚拟试穿方法、装置、计算机设备及介质制造方法及图纸

本发明专利技术公开了一种基于人工智能的虚拟试穿方法、装置、计算机设备及介质。该方法包括将待试穿的衣服图片输入已训练的卷积神经网络模型，得到变形为指定动作的衣服图片；将用户的图片输入已训练的生成对抗网络模型，得到变形为所述指定动作的用户图片；将所述变形为指定动作的衣服图片与所述变形为所述指定动作的用户图片进行融合，得到试穿效果图像。该方法通过结合卷积神经网络模型以及生成对抗网络模型，一方面提高试穿效果图像的生成速度，降低生成成本；另一方面，该方法无需用户做固定动作，通过生成对抗网络模型获取的用户图片即能够生成指定动作的图片，降低操作难度，提高用户体验感，具有广泛的应用前景。

【技术实现步骤摘要】
基于人工智能的虚拟试穿方法、装置、计算机设备及介质
本专利技术涉及人工智能
，尤其涉及一种基于人工智能的虚拟试穿方法、装置、计算机设备及介质。
技术介绍
虚拟试穿技术通过使用计算机图形学或计算机视觉的技术，将选定衣服图片和人体图像结合在一起，生成对应于用户需求的试穿图像。现有的虚拟试穿技术，一种是利用体感技术结合计算机图形学的方法建立人体三维模型，再将示例衣服渲染在三维模型上，实现2D衣服图像贴合于用户人体，例如虚拟试衣设备K-MIRROR。但该技术往往需要大量的人工标注或昂贵的设备进行信息的获取及复杂的计算，在实际应用中难以推广。另一种是以每日新款app为代表的虚拟试衣拍照系统，用户通过系统内置的真实服装的素材库以及自身提供的头像，通过系统合成，能够使用户完成试衣体验，然而该技术生成的图片仅仅是对用户的头像进行改变与合成，由于用户的个体化差异，其在实际应用中同样难以推广。
技术实现思路
为了解决上述问题至少之一，本专利技术采取以下技术方案：本专利技术第一个实施例提供一种基于人工智能的虚拟试穿方法，包括：将待试穿的衣服图片输入已训练的卷积神经网络模型，得到变形为指定动作的衣服图片；将用户的图片输入已训练的生成对抗网络模型，得到变形为所述指定动作的用户图片；将所述变形为指定动作的衣服图片与所述变形为所述指定动作的用户图片进行融合，得到试穿效果图像。进一步的，在得到制定动作的衣服图片和指定动作的用户图片之前，还包括：识别待试穿的衣服的类别，从指定动作库中选择对应的指定动作。进一步的，所述识别待试穿的衣服的类别之前，还包括：接收拍摄的待试穿衣服的图片；利用图像识别方法对所述试穿衣服的图片进行分类，得到所述衣服的类别；或者检测用户浏览互联网网站中所选择的衣服所述的类别，得到所述衣服的类别。进一步的，所述将待试穿的衣服图片输入已训练的卷积神经网络模型，得到变形为指定动作的衣服图片，包括：将所述待试穿的衣服图片输入第一分支卷积神经网络和第二分支卷积神经网络；将所述第一分支卷积神经网络的输出和第二分支卷积神经网络的输出进行堆叠并经过解码，得到所述变形为指定动作的衣服图片。进一步的，所述第一分支卷积神经网络由N个神经网络子模块串联构成，其中第一至第N-1神经网络子模块由卷积层、激活函数层和批标准化层串联构成，第N神经网络子模块由卷积层和激活函数层串联构成；所述第二分支卷积神经网络由M个神经网络子模块串联构成，其中第一至第M-1神经网络子模块由卷积层、激活函数层和批标准化层串联构成，第M神经网络子模块由卷积层和激活函数层串联构成；其中第一神经网络子模块的卷积层和第二神经网络子模块的卷积层分别接收所述待试穿的衣服图片，所述第N神经网络子模块的激活函数层的输出和所述第M神经网络子模块的激活函数层的输出进行所述堆叠。进一步的，所述将用户的图片输入已训练的生成对抗网络模型，得到变形为所述指定动作的用户图片包括：将所述用户的图片输入第一对抗神经网络，其中所述第一对抗神经网络包括Unet网络构成的生成器和patchdiscriminator网络构成的判别器；所述生成器将用户的图片中的用户分割出来，并输出所述变形为所述指定动作的Unet网络图片；所述判别器根据所述用户的图片对所述Unet网络图片进行判断，以输出变形为所述指定动作的用户图片。进一步的，还包括将由所述第一对抗神经网络输出的变形为所述指定动作的用户图片输入第二对抗神经网络，其中所述第二对抗神经网络包括第一Resnet结构的网络构成的生成器和第二Resnet结构的网络构成的判别器。进一步的，所述方法还包括：分别对所述卷积神经网络模型和生成对抗网络模型进行训练，其中，所述对所述卷积神经网络模型进行训练进一步包括：利用已标注的多种变形动作和多种类别的衣服图片作为卷积训练图像集对所述卷积神经网络模型进行训练；利用未标注的多种变形动作和多种类别的衣服图片作为卷积测试图像集对训练后的卷积神经网络模型进行测试；所述对所述生成对抗网络模型进行训练进一步包括：利用已标注的多种动作的用户图片作为生成对抗网络训练图像集对所述生成对抗网络模型进行训练；利用未标注的多种动作的用户图片作为生成对抗网络测试图像集对训练后的生成对抗网络模型进行测试。本专利技术第二个实施例提供一种基于人工智能的虚拟试穿装置，包括：衣服图片变形模块，用于将待试穿的衣服图片输入已训练的卷积神经网络模型，得到变形为指定动作的衣服图片；用户图片变形模块，用于将用户的图片输入已训练的生成对抗网络模型，得到变形为所述指定动作的用户图片；融合模块，用于将所述变形为指定动作的衣服图片与所述变形为所述指定动作的用户图片进行融合，得到试穿效果图像。进一步的，所述虚拟试穿装置还包括指定动作选择模块，用于识别的待试穿的衣服的类别，从指定动作库中选择对应的指定动作。进一步的，摄像模块，用于拍摄待试穿衣服的图片；图像识别模块，用于利用图像识别方法对拍摄的待试穿衣服的图片进行分类，得到所述衣服的类别；或者检测模块，用于检测用户浏览互联网网站中所选择的衣服所述的类别，得到所述衣服的类别。进一步的，衣服图片变形模块包括：第一分支卷积神经网络模块、第二分支卷积神经网络模块和解码模块，其中第一分支卷积神经网络模块和第二分支卷积神经网络模块接收待试穿的衣服图片并将各自的输出进行堆叠发送到所述解码模块，所述解码模块进行解码后得到所述变形为指定动作的衣服图片。进一步的，所述第一分支卷积神经网络模块由N个神经网络子模块串联构成，其中第一至第N-1神经网络子模块由卷积层、激活函数层和批标准化层串联构成，第N神经网络子模块由卷积层和激活函数层串联构成；所述第二分支卷积神经网络模块由M个神经网络子模块串联构成，其中第一至第M-1神经网络子模块由卷积层、激活函数层和批标准化层串联构成，第M神经网络子模块由卷积层和激活函数层串联构成；其中第一神经网络子模块的卷积层和第二神经网络子模块的卷积层分别接收所述待试穿的衣服图片，所述第N神经网络子模块的激活函数层的输出和所述第M神经网络子模块的激活函数层的输出进行所述堆叠。进一步的，用户图片变形模块包括：第一对抗神经网络模块，其中所述第一对抗神经网络模块包括Unet网络构成的生成器和patchdiscriminator网络构成的判别器，其中所述用户的图片输入第一对抗神经网络模块。进一步的，所述用户图片变形模块还包括：第二对抗神经网络模块，其中所述第二对抗神经网络模块包括第一Resnet结构的网络构成的生成器和第二Resnet结构的网络构成的判别器，其中所述第二对抗神经网络模块接收第一对抗神经网络模块输出的图片，输出变形为所述指定动作的用户图片。本专利技术第三个实施例提本文档来自技高网...

【技术保护点】
1.一种基于人工智能的虚拟试穿方法，其特征在于，包括：/n将待试穿的衣服图片输入已训练的卷积神经网络模型，得到变形为指定动作的衣服图片；/n将用户的图片输入已训练的生成对抗网络模型，得到变形为所述指定动作的用户图片；/n将所述变形为指定动作的衣服图片与所述变形为所述指定动作的用户图片进行融合，得到试穿效果图像。/n

【技术特征摘要】
1.一种基于人工智能的虚拟试穿方法，其特征在于，包括：
将待试穿的衣服图片输入已训练的卷积神经网络模型，得到变形为指定动作的衣服图片；
将用户的图片输入已训练的生成对抗网络模型，得到变形为所述指定动作的用户图片；
将所述变形为指定动作的衣服图片与所述变形为所述指定动作的用户图片进行融合，得到试穿效果图像。


2.根据权利要求1所述的方法，其特征在于，在得到制定动作的衣服图片和指定动作的用户图片之前，还包括：
识别待试穿的衣服的类别，从指定动作库中选择对应的指定动作。


3.根据权利要求2所述的方法，其特征在于，所述识别待试穿的衣服的类别之前，还包括：
接收拍摄的待试穿衣服的图片；
利用图像识别方法对所述待试穿衣服的图片进行分类，得到所述衣服的类别；
或者
检测用户浏览互联网网站中所选择的衣服所述的类别，得到所述衣服的类别。


4.根据权利要求1-3中任一项所述的方法，其特征在于，所述将待试穿的衣服图片输入已训练的卷积神经网络模型，得到变形为指定动作的衣服图片，包括：
将所述待试穿的衣服图片输入第一分支卷积神经网络和第二分支卷积神经网络；
将所述第一分支卷积神经网络的输出和第二分支卷积神经网络的输出进行堆叠并经过解码，得到所述变形为指定动作的衣服图片。


5.根据权利要求4所述的方法，其特征在于，
所述第一分支卷积神经网络由N个神经网络子模块串联构成，其中第一至第N-1神经网络子模块由卷积层、激活函数层和批标准化层串联构成，第N神经网络子模块由卷积层和激活函数层串联构成；
所述第二分支卷积神经网络由M个神经网络子模块串联构成，其中第一至第M-1神经网络子模块由卷积层、激活函数层和批标准化层串联构成，第M神经网络子模块由卷积层和激活函数层串联构成；
其中第一神经网络子模块的卷积层和第二神经网络子模块的卷积层分别接收所述待试穿的衣服图片，所述第N神经网络子模块的激活函数层的输出和所述第M神经网络子模块的激活函数层的输出进行所述堆叠。


6.根据权利要求1所述的方法，其特征在于，所述将用户的图片输入已训练的生成对抗网络模型，得到变形为所述指定动作的用户图片包括：
将所述用户的图片输入第一对抗神经网络，其中所述第一对抗神经网络包括Unet网络构成的生成器和patchdiscriminator网络构成的判别器；
所述生成器将用户的图片中的用户分割出来，并输出所述变形为所述指定动作的Unet网络图片；
所述判别器根据所述用户的图片对所述Unet网络图片进行判断，以输出变形为所述指定动作的用户图片。


7.根据权利要求6所述的方法，其特征在于，还包括
将由所述第一对抗神经网络输出的变形为所述指定动作的用户图片输入第二对抗神经网络，其中所述第二对抗神经网络包括第一Resnet结构的网络构成的生成器和第二Resnet结构的网络构成的判别器。


8.根据权利要求1-7中任一项所述的方法，还包括：分别对所述卷积神经网络模型和生成对抗网络模型进行训练，其中，
所述对所述卷积神经网络模型进行训练进一步包括：
利用已标注的多种变形动作和多种类别的衣服图片作为卷积训练图像集对所述卷积神经网络模型进行训练；
利用未标注的多种变形动作和多种类别的衣服图片作为卷积测试图像集对训练后的卷积神经网络模型进行测试；
...

【专利技术属性】
技术研发人员：陈海波，罗志鹏，徐振宇，
申请(专利权)人：深延科技北京有限公司，
类型：发明
国别省市：北京;11