一种基于骨架的预测目标姿势下布料静态变形的双相流网络方法技术

本发明专利技术公开一种基于骨架的预测目标姿势下布料静态变形的双相流网络方法。本发明专利技术能够处理任意具有骨架结构的三维角色，具体方法包括：输入模板状态下的衣服网格和目标姿势下三维角色的骨架关节变换矩阵，骨架关节变换矩阵分别输入到双相流网络：网格残差流和骨架残差流。骨架残差流网格学习相对于标准姿势下衣服网格的平滑残差分量，网格残差流学习相对于标准姿势下衣服网格的细节残差分量。双相流残差和标准姿势下衣服网格模板加权，之后进行蒙皮操作得到目标衣服的变形。本发明专利技术能够被广泛应用在虚拟试衣和游戏等高实时性的场景中，能够捕捉基于物理的仿真中的真实感特征。捕捉基于物理的仿真中的真实感特征。捕捉基于物理的仿真中的真实感特征。

【技术实现步骤摘要】
一种基于骨架的预测目标姿势下布料静态变形的双相流网络方法


[0001]本专利技术涉及柔性体运动模拟中布料仿真
，具体为一种基于骨架的预测目标姿势下布料静态变形的双相流网络方法。

技术介绍

[0002]布料动画是计算机图形学中的一个重要问题，它的应用非常广泛，包括视频游戏、特效和虚拟试穿。由于布料建模的复杂性和布料变形的不规则的表现性，布料仿真一直被认为是一项具有挑战性的任务。此外，许多应用程序要求在商用硬件(包括移动设备)上具有交互性能，这就对布料仿真的实时获得结果的性能有较高的要求。针对这些难点，相关文献已经开展了广泛的研究。这些研究方案根据结果的目标性大致可以分为两类：基于物理的仿真和实时布料变形技术。其中，基于物理的仿真旨在获得逼真的高质量的布料变形结果，其追求的目标在于仿真的真实性，往往需要大量的计算时长，仿真的实时性较差；基于实时的布料变形技术旨在获得高实时响应的布料动态变形结果，其追求的目标在于仿真的实时性，往往仿真的布料精度不是很高，仿真的真实性较差。
[0003]为了同时追求较高的仿真真实性和仿真实时性，相关研究工作采用GPU硬件加速方法对基于物理的布料仿真进行优化。采用单块或多块GPU硬件的方法能够在保证仿真真实性的基础上加快仿真速度，但受限于GPU硬件性能，其加速效果有限，且GPU算法存在加速的瓶颈，往往难以突破瓶颈继续获得更快的仿真速度。另外，基于GPU硬件的实时布料仿真算法只能部署在拥有GPU的平台上，难以在移动设备等其他不具有GPU条件的场景上应用。
[0004]为了同时追求较高的仿真真实性和仿真实时性，其他研究从实时变形技术入手，在保持实时变形技术自身存在的高实时性的前提下，添加其他约束条件以获得精度更高的布料变形结果，以此来提高仿真的真实性。但是这些从实时变形技术改进而来的方法中包含的物理信息往往不足，仿真结果往往难以达到基于物理的仿真结果所具有的物理真实性。
[0005]为了同时追求较高的仿真真实性和仿真实时性，近期相关研究人员尝试将基于物理的仿真和深度学习的方法相结合，旨在利用基于物理的仿真所具有的物理真实特性和深度学习方法所具有的实时性，以期达到实时计算高真实感的布料变形。基于物理的仿真和深度学习相结合的方法通常以基于物理仿真获得的布料变形作为数据集，用深度学习的方法搭建神经网络架构，让网络在变形数据集上训练至收敛，收敛后的网络能够捕获基于物理的仿真结果中布料变形中所存在的非线性。在运行时，神经网络能够实时预测布料的变形，而预测出的变形中又隐式包含了基于物理的变形属性。另一方面，深度学习网络不依赖于GPU硬件设施，能够方便地部署在没有GPU的移动设备等平台上，相比于基于GPU的加速算法，深度学习网络具有更广泛的应用范围。
[0006]基于物理的仿真和深度学习相结合的方法尽管都在训练一个神经网络，但由于所训练的神经网络在整体结构中实现的功能不同，有的方法旨在使用神经网络替代整个布料
变形结构中的一部分或几部分，有的方法则直接使用端到端的神经网络方式来直接预测布料的变形，各种不同的神经网络方法仍存在如下的局限性：(1)现有方法基于人体的SMPL参数化模型构造衣服的SMPL模型，这类方法往往受限于SMPL参数，难以直接部署应用到其他人体模型上，或者对于宽松类型的衣服，往往难以直接构建这种类型衣服的SMPL模型，从而使得最终的变形效果真实感大大降低；(2)现有方法采用图卷积的网络架构在网格数据上进行特征提取，并对提取的特征进行后续操作，受限于网格数据类型，大多操作采用MLP等网络结构对提取的特征进行后续步骤。MLP等网络架构会导致训练出的模型参数过大，从而降低推理速度；(3)现有方法基于人体骨架结构，难以直接应用到其他任意具有骨架结构的角色数据上，比如鱼和猫等有骨架的角色。针对任意骨架类型的角色，其上穿着的衣服变形缺乏相应的研究结果。

技术实现思路

[0007]为克服上述现有技术的问题，本专利技术提供一种基于骨架的预测目标姿势下布料静态变形的双相流网络方法，旨在根据输入角色的骨架结构搭建其上穿着的衣服的蒙皮模型，输入的目标角色骨架的变换矩阵和网格数据分别经过骨架残差流和网格残差流，得到平滑残差分量和细节残差分量，和标准姿势下的衣服网格相加，之后蒙皮得到特定姿势下的衣服变形。本专利技术不仅能够处理具有骨架结构的人体角色，还能够处理其他各种非人体的具有骨架结构的角色，比如鱼类角色和猫等动物角色。事实上，只要针对存在骨架结构的角色，本专利技术均能够预测其穿着的衣服的变形。本专利技术所能预测的衣服类型不仅包括修身类型的衣服，还包括宽松类型的衣服。
[0008]为了实现上述功能，根据本专利技术说明书的一方面，提供一种基于骨架的预测目标姿势下布料静态变形的双相流网络方法，包括：构建双相流网络，所述双相流网络包括骨架残差流和网格残差流两个网络分支，具体的：目标姿势下的角色骨架变换矩阵输入到骨架残差流网络分支中，得到相对于标准姿势下衣服网格的平滑残差分量；目标姿势下的角色骨架经过蒙皮操作得到目标姿势下的角色网格，根据标准姿势下角色网格和穿着的衣服网格，利用最近点索引构成图结构数据，将图结构数据输入到网格残差流网格分支中，得到相对于标准姿势下衣服网格的细节残差分量；标准姿势下的衣服网格加上骨架残差分支和网格残差分支中得到的平滑残差分量和细节残差分量，根据衣服顶点的蒙皮权重，通过LBS蒙皮后得到目标姿势下衣服的变形网格。
[0009]上述技术方案中的角色包括含有骨架结构的人体角色，也包括其他任何含有骨架结构的角色，例如含有骨架结构的鱼角色和含有骨架结构的小猫角色等。角色的骨架个数没有特殊限制。
[0010]上述技术方案中的衣服类型包括修身类型的衣服，也包括宽松类型的衣服，并且对衣服的形状没有特殊限制。针对非人形的骨架角色，其穿着的衣服类型可以是其专属的衣服类型，如宠物衣服。
[0011]上述技术方案中的每个骨架的变换矩阵可以为4 4的矩阵结构，角色的所有骨架
的变换矩阵摊平拼接组成一维向量，将组成的一维向量输入到后续的骨架残差流分支中。
[0012]上述技术方案中的骨架残差流分支的具体结构可以由如下组成：姿势编码器(Pose Embedding)模块，旨在提取角色骨架变换矩阵的特征为姿势向量，该模块具体可以由MLP组成；可训练的mesh组模块，旨在训练一组网格矩阵，以便后续与姿势向量融合得到平滑残差分量；
[0013]上述技术方案中的骨架残差流分支中的姿势向量作为权重，对可训练的mesh组中的网格矩阵进行加权求和，便得到平滑残差分量。
[0014]上述技术方案中的角色骨架利用角色骨架绑定顶点的权重信息进行LBS蒙皮操作，得到目标姿势下的角色网格数据。
[0015]上述技术方案中的最近点索引指的是，针对标准姿势下衣服网格上每个顶点，找出标准姿势下角色网格上距离该顶点最近的顶点，并存储角色网格上该最近顶点的索引。该最近点索引操作仅在程序运行开始时计算一次即可，后续流程中保持该索引值不变。
[0016]上述技术方案中利用最近点索引本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于骨架的预测目标姿势下布料静态变形的双相流网络方法，其特征在于，包括：构建双相流网络，所述双相流网络包括骨架残差流和网格残差流两个网络分支，具体的：目标姿势下的角色骨架变换矩阵输入到骨架残差流网络分支中，得到相对于标准姿势下衣服网格的平滑残差分量；目标姿势下的角色骨架经过蒙皮操作得到目标姿势下的角色网格，根据标准姿势下角色网格和穿着的衣服网格，利用最近点索引构成图结构数据，将图结构数据输入到网格残差流网络分支中，得到相对于标准姿势下衣服网格的细节残差分量；标准姿势下的衣服网格加上所得到的平滑残差分量和细节残差分量，根据衣服顶点的蒙皮权重，通过LBS蒙皮后得到目标姿势下衣服的变形网格。2.根据权利要求1所述基于骨架的预测目标姿势下布料静态变形的双相流网络方法，其特征在于，骨架残差流网络分支包括姿势编码器(Pose Embedding)模块和可训练的网格组模块；其中姿势编码器模块以目标角色的关节变换矩阵作为输入，得到隐式姿势向量表达，隐式姿势向量作为权重系数对可训练的网格组模块训练得到的一组网格矩阵进行加权求和，得到相对于标准姿势下衣服网格的平滑残差分量。3.根据权利要求1所述基于骨架的预测目标姿势下布料静态变形的双相流网络方法，其特征在于，网格残差流网络分支包括图编码器(Graph Encoder)层，正则化(LayerNorm)层，激活函数(PReLU)层，节点级的MLP模块和可训练的网格组；网格残差流分支的输入是图结构类型的数据，图结构类型的数据的节点属性和拓扑连接关系应用到图编码器层中，进行特征提取，正则化层对图编码器层的输出进行标准化操作以加速网络的收敛速度，经PReLU层激活后，利用节点级的MLP模块将图特征压缩为隐式向量表达，将其输出与可训练的网格组所训练的一组网格矩阵进行加权求和，得到相对于标准姿势下衣服网格的细节残差分量。4.根据权利要求3所述基于骨架的预测目标姿势下布料静态变形的双相流网络方法，其特征在于，所述图结构类型的数据为：针对标准姿势下衣服网格上每个顶点，找出标准姿势下角色网格上距离该顶点最近的顶点，并存储角色网格上该最近顶点的索引；根据该索引，在目标姿势下角色网格上找到这些顶点的空间位置坐标；利用角色网格上这些顶点的空间位置坐标和衣服网格的拓扑信息构成新的图结构数据；即其中，V＝{v
i
}，i...

【专利技术属性】
技术研发人员：李玉迪，唐敏，陈潇瑞，童若锋，安柏霖，杨双才，李垚，寇启龙，
申请(专利权)人：浙江大学，
类型：发明
国别省市：