【技术实现步骤摘要】
本专利技术涉及深度学习，更具体地说，它涉及一种虚拟试衣系统和虚拟试衣方法。
技术介绍
1、公布号为cn112652061a的中国专利公开了一种基于kinect的网络虚拟试衣系统，其预先建立骨架模型，然后通过服装模型的蒙皮算法来得到展示模型，通过识别使用者骨架来与预先建模的模型骨架进行绑定来驱动预先建模的模型的动作来实现动作同步，然后再通过模型展示来生成用于展示的图片或图片组合的视频，替换头部来获得与使用者相符的展示图片或图片组合的视频，由于预先建模的骨架模型无法与不同使用者的身形进行匹配，导致展示效果与使用者真实的试衣效果存在很大偏差，而采用服装模型的蒙皮算法也很难得到接近真实的展示效果。
技术实现思路
1、本专利技术提供一种虚拟试衣系统和虚拟试衣方法，解决相关技术中预先建模的骨架模型无法与不同使用者的身形进行匹配，导致展示效果与使用者真实的试衣效果存在很大偏差，而采用服装模型的蒙皮算法也很难得到接近真实的展示效果的技术问题。
2、本专利技术提供了一种虚拟试衣方法，包括以下步骤：
3、步骤101，采集使用者的正面全身可见光图像和正面全身红外线图像；
4、步骤102，对采集的正面全身可见光图像识别获得使用者的人体骨架图；
5、步骤103，从数据库中提取与使用者的人体骨架图最相似的历史人体骨架图；
6、步骤104，提取历史人体骨架图对应的三维模型和正面全身红外线图像，提取与该三维模型和使用者选择的衣服效果对应的贴图数据；在提取
7、步骤105，将提取的三维模型和全身红外线图像输入贴图校正模型，贴图校正模型包括卷积层、第一特征生成层、特征累加层、生成层和参数层，其中卷积层输入使用者的正面全身红外线图像和历史人体骨架图对应的正面全身红外线图像，然后输出图像特征，图像特征输入第一特征生成层，输出第一特征，第一特征与历史人体骨架图对应的三维模型的点云的点特征拼接生成第二特征；
8、第二特征和表示三维模型的点云的点的连接关系的点邻接矩阵输入生成层，生成层输出对应于每个点的第三特征，第三特征输入参数层，输出第四特征向量，第四特征向量的三个分量分别表示点的新的三维坐标；
9、步骤106，根据贴图校正模型输出的点的新的三维坐标来重新生成三维模型，根据新的三维模型的面边界来重新进行贴图来生成展示模型。
10、在本专利技术的至少一个实施例中，稳定性像元提取模块的计算公式如下：
11、h0＝x(1)
12、u(t)＝σ(wug[x(1)]+wug[h(t-1)]+bu)
13、r(t)＝σ(wrg[x(1)]+wrg[h(t-1)]+br)
14、c(t)＝tanh(wcg[x(1)]+wcg[r(t)⊙h(t-1)]+bc)
15、h(t)＝(1-u(t))⊙c(t)+u(t)⊙h(t-1)
16、其中，wu、wr、wc表示第二、三、四权重参数，bu、br、bc表示第二、三、四偏置参数，⊙表示点积，其中i为单位矩阵，表示的度矩阵，a为点邻接矩阵，x(1)表示第二特征矩阵，其第i个行向量表示第i个点的第二特征，h(t)表示第t个时间步的中间特征矩阵，其第i个行向量表示第i个点的中间特征，t的最大值为m，h(m)的第i个行向量表示第i个点的第三特征。
17、在本专利技术的至少一个实施例中，选择人体骨架图的一个关键点作为基点将两个需要计算相似度的人体骨架图叠合，然后计算两个人体骨架图的对应的关键点的欧氏距离的均值，该均值越小两个人体骨架图的相似度越大。
18、在本专利技术的至少一个实施例中，第一特征生成层的计算公式如下：
19、t1＝σ(tmapwt+bt)
20、其中t1表示第一特征，tmap表示图像特征输入第一特征生成层时其行向量按顺序拼接的向量，wt表示第一权重参数，bt表示第一偏置参数。
21、在本专利技术的至少一个实施例中，贴图数据包括材质和模型面边界，模型面边界用于对三维模型的表面进行区分，每个被区分的表面映射一个贴图材质，通过贴图数据能够完成三维模型的贴图来达到使用者选择的衣服效果，一个三维模型对应于每个衣服效果均存在对应的一个贴图数据。
22、在本专利技术的至少一个实施例中，点邻接矩阵的第i行第j列的元素表示第i个和第j个点的欧氏距离，如果第i个和第j个点的欧氏距离小于设定的距离阈值，则点邻接矩阵的第i行第j列的元素为1，否则为0。
23、在本专利技术的至少一个实施例中，第i个和第j个点的欧氏距离是在三维坐标系内的欧氏距离。
24、在本专利技术的至少一个实施例中，第i个和第j个点的欧氏距离是第i个和第j个点的点特征的欧氏距离。
25、本专利技术提供了一种虚拟试衣系统，包括：
26、图像采集模块，采集使用者的正面全身可见光图像和正面全身红外线图像；
27、骨架识别模块，对采集的正面全身可见光图像识别获得使用者的人体骨架图；
28、数据提取模块，从数据库中提取与使用者的人体骨架图最相似的历史人体骨架图；
29、贴图提取模块，提取历史人体骨架图对应的三维模型和正面全身红外线图像，提取与该三维模型和使用者选择的衣服效果对应的贴图数据；在提取的三维模型上标记贴图的面边界；
30、模型校正模块，将提取的三维模型和全身红外线图像输入贴图校正模型，贴图校正模型包括卷积层、第一特征生成层、特征累加层、生成层和参数层，其中卷积层输入使用者的正面全身红外线图像和历史人体骨架图对应的正面全身红外线图像，然后输出图像特征，图像特征输入第一特征生成层，输出第一特征，第一特征与历史人体骨架图对应的三维模型的点云的点特征拼接生成第二特征；
31、第二特征和表示三维模型的点云的点的连接关系的点邻接矩阵输入生成层，生成层输出对应于每个点的第三特征，第三特征输入参数层，输出第四特征向量，第四特征向量的三个分量分别表示点的新的三维坐标；
32、模型展示模块，根据贴图校正模型输出的点的新的三维坐标来重新生成三维模型，根据新的三维模型的面边界来重新进行贴图来生成展示模型。
33、本专利技术提供了一种计算机存储介质，所述计算机存储介质包括用于执行前述的一种虚拟试衣方法的机器可执行指令，该机器可执行指令由处理器运行。
34、本专利技术的有益效果在于：本专利技术能够基于深度学习来微调预先建模的贴图的形态和贴图边界，由于是采用完整实体人体模型以及精细贴图进行展示，并且符合使用者的身形，能够得到接近真实的展示效果。
本文档来自技高网...【技术保护点】
1.一种虚拟试衣方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种虚拟试衣方法，其特征在于，稳定性像元提取模块的计算公式如下：
3.根据权利要求1所述的一种虚拟试衣方法，其特征在于，选择人体骨架图的一个关键点作为基点将两个需要计算相似度的人体骨架图叠合，然后计算两个人体骨架图的对应的关键点的欧氏距离的均值，该均值越小两个人体骨架图的相似度越大。
4.根据权利要求3所述的一种虚拟试衣方法，其特征在于，第一特征生成层的计算公式如下：
5.根据权利要求1所述的一种虚拟试衣方法，其特征在于，贴图数据包括材质和模型面边界，模型面边界用于对三维模型的表面进行区分，每个被区分的表面映射一个贴图材质，通过贴图数据能够完成三维模型的贴图来达到使用者选择的衣服效果，一个三维模型对应于每个衣服效果均存在对应的一个贴图数据。
6.根据权利要求1所述的一种虚拟试衣方法，其特征在于，点邻接矩阵的第i行第j列的元素表示第i个和第j个点的欧氏距离，如果第i个和第j个点的欧氏距离小于设定的距离阈值，则点邻接矩阵的第i行第j列的元素为1，否则为
7.根据权利要求6所述的一种虚拟试衣方法，其特征在于，第i个和第j个点的欧氏距离是在三维坐标系内的欧氏距离。
8.根据权利要求6所述的一种虚拟试衣方法，其特征在于，第i个和第j个点的欧氏距离是第i个和第j个点的点特征的欧氏距离。
9.一种计算机存储介质，其特征在于，所述计算机存储介质包括用于执行如权利要求1-8任一所述的一种虚拟试衣方法的机器可执行指令，该机器可执行指令由处理器运行。
10.一种虚拟试衣系统，其特征在于，包括：
...【技术特征摘要】
1.一种虚拟试衣方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种虚拟试衣方法，其特征在于，稳定性像元提取模块的计算公式如下：
3.根据权利要求1所述的一种虚拟试衣方法，其特征在于，选择人体骨架图的一个关键点作为基点将两个需要计算相似度的人体骨架图叠合，然后计算两个人体骨架图的对应的关键点的欧氏距离的均值，该均值越小两个人体骨架图的相似度越大。
4.根据权利要求3所述的一种虚拟试衣方法，其特征在于，第一特征生成层的计算公式如下：
5.根据权利要求1所述的一种虚拟试衣方法，其特征在于，贴图数据包括材质和模型面边界，模型面边界用于对三维模型的表面进行区分，每个被区分的表面映射一个贴图材质，通过贴图数据能够完成三维模型的贴图来达到使用者选择的衣服效果，一个三维模型对应于每个衣服...
【专利技术属性】
技术研发人员：吴依妮，尤宇申，
申请(专利权)人：杭州抽象派数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。