一种动态展示的实时三维虚拟试衣系统及方法技术方案

本发明专利技术公开一种动态展示的实时三维虚拟试衣系统及方法，包括信息采集单元、数据存储单元、数字人构建单元、虚拟试衣单元、推送单元；信息采集单元用于对用户人体数据、用户人脸图像、人机交互指令的信息采集；数据存储单元用于人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库、三维场景数据库的构建和存储；数字人构建单元用于根据所述信息采集单元得到的信息对所述数据存储单元中的人体模型进行重构；虚拟试衣单元用于对所述服装样本进行缝合、布料模拟，完成试衣展示；推送单元用于对所述数字人在三维场景中的展示动画进行实时渲染完成三维虚拟试衣过程，并上传云端或者客户端进行保存。本发明专利技术可以满足用户个性化需求。户个性化需求。户个性化需求。

【技术实现步骤摘要】
一种动态展示的实时三维虚拟试衣系统及方法


[0001]本专利技术涉及到计算机图像处理
和机器学习
，特别涉及到一种动态展示的实时三维虚拟试衣系统及方法。

技术介绍

[0002]随着我国全面进入小康社会,城镇居民生活水平普遍提高，网络购物因此在全球范围内得以迅速发展。在网络平台上可购买的众多商品类别中，服装是人们购买频率较高的品类之一。然而线上购物的快速发展也给消费者带来了很多方面的顾虑，网购服装尺寸不合身、外观与图片不符等造成的退换货问题经常困扰着消费者与商家，虚拟试衣技术因此应运而生。消费者可依据服装尺寸、合身程度、款式或颜色在虚拟试衣产品上试穿服装，体验服装的穿着效果，从而减少消费者网络在线购买服装的顾虑，降低服装购买的退货率。
[0003]目前基于深人工智能的虚拟试衣仍然以二维服装照片为主，虽然有些网站已开始利用虚拟视觉软件向广大消费者提供三维虚拟试穿服务，但现有的三维试衣系统缺乏真实试穿效果，并且有些虚拟试衣系统中获取的三维人体模型只是局部逼近人体，没有考虑购买者的脸型，头发等信息，缺乏准确的人体三维模型。在这种情况本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态展示的实时三维虚拟试衣系统，其特征在于，包括：信息采集单元、数据存储单元、数字人构建单元、虚拟试衣单元、推送单元；所述信息采集单元用于对用户人体数据、用户人脸图像、人机交互指令的信息采集；所述数据存储单元用于人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库、三维场景数据库的构建和存储；所述数字人构建单元用于根据所述信息采集单元得到的信息对所述数据存储单元中的人体模型进行重构，得到用户自定义的私人虚拟数字人；所述虚拟试衣单元用于对服装样本进行缝合、布料模拟，并根据数字人骨骼动画和三维场景的选择完成试衣展示；所述推送单元用于对数字人在三维场景中的展示动画进行实时渲染完成三维虚拟试衣过程，并上传云端或者手机客户端进行保存。2.如权利要求1所述的一种动态展示的实时三维虚拟试衣系统，其特征在于：所述数字人构建单元的具体处理过程如下：1）通过用户输入身体部分尺寸数据值，包括性别、身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围，先通过用户输入的性别信息确定男或女数字人模型，用分别表示数字人模型的身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围数据大小，用分别表示第b个数字人模型的身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围数据大小，b表示人体模型数据库中的数字人模型的编号；系统自动计算输入尺寸与人体模型库中数字人模型对应部位的尺寸偏差大小关系，计算公式如下所示：p
b
表示用户输入身体尺寸数据与数字人模型尺寸数据的偏差，w
a
表示身体部分尺寸数据在模型中的影响权重值，系统选择最小p
b
对应的编号b的数字人模型作为用户的专属数字人；2）通过对用户人脸拍照得到的用户人脸图像上传分析，系统基于机器学习网络框架将该人脸图像替换步骤1）中的数字人体模型的脸部信息实现数字人脸部重建；3）用户输入人机交互指令，在发型肤色贴图库中，挑选自定义的发型和肤色并进行替换选择，得到用户自定义的私人虚拟数字人。3.如权利要求2所述的一种动态展示的实时三维虚拟试衣系统，其特征在于：所述机器学习网络框架部分由4部分组成：人脸关键点检测模块、人脸生成模块、人脸判别模块、人脸重构模块：人脸关键点检测模块用于对人脸的68个关键点进行提取，这些关键点包含眉毛、眼睛、鼻子、嘴巴周围的51个关键点以及17个面部轮廓关键点；该模块先读取用户的输入图像并进行预处理转换为灰阶图像，然后使用对该灰阶图像进行特征点识别来检测人脸中的特征点；人脸生成模块用于新的人脸生成，该人脸生成模块的输入有2部分，分别为带有随机噪声的人脸图像和人脸关键点检测模块检测到的关键点信息，通过深度卷积网络A1中的a个
卷积、池化层的作用提取人脸图像的特征信息，然后得到输出特征；其中人脸关键点的输入充当特征加权的作用，对关键点周围n*n区域内的像素按从中心到边缘的顺序进行均值o、标准差为p的正态分布的加权分配，最后图像中像素(i , j)处的特征F(x
ij
)计算公式如下所述：其中M(F
ij
)为图像像素(i , j)处的人脸关键点检测模块提取到的特征，
∆
x为该像素离关键点的距离，x
ij
表示图像的像素位置，f(x
ij
)为图像像素(i , j)处的特征的权重；人脸判别模块用于对人脸生成模块生成的人脸和真实人脸样本进行概率判别，其输入为人脸生成模块的输出图像和真实样本的人脸图像，通过使用与人脸生成模块中相同的深度卷积网络A2进行特征提取，并在网络末端添加Softmax函数作为网络分类器，得到一个概率输出结果；人脸生成模块中的深度卷积网络A1和人脸判别模块中的深度卷积网络A2采用相同的神经网络，但不共享参数；人脸重构模块先对数字人人脸模型关键点处进行形变处理，使3D数字人人脸模型中的关键点位置与人脸生成模块所生成图像的关键点位置对应，然后将生成图像作为人脸贴图，对输出脸部图像进行贴图，实现人脸替换的过程。4.如权利要求3所述的一种动态展示的实时三维虚拟试衣系统，其特征在于：所述机器学习网络框架的训练过程包括如下步骤：S1，初始化人脸生成模块的深度卷积网络A1的参数θ1和人脸判别模块的深度卷积网络A2的参数θ2；S2，从真实图像样本中采集i'个样本，从先验分布噪声中采集i'个噪声样本，并通过深度卷积网络A2生成 i'个样本；S3，固定深度卷积网络A1，训练深度卷积网络A2，准确判别真实样本和生成样本，循环n次更新判别器；S4，使用较小的学习率来更新一次深度卷积...

【专利技术属性】
技术研发人员：余锋，王画，姜明华，刘筱笑，周昌龙，宋坤芳，
申请(专利权)人：武汉纺织大学，
类型：发明
国别省市：