【技术实现步骤摘要】
本专利技术涉及基于稠密图注意力网络的人体非线性变形方法，属于计算机图形学和深度学习领域。
技术介绍
1、在角色动画变形的过程中，将虚拟角色身体网格与骨骼系统或控制器相连接是一个关键的任务，涉及到定义运动、控制和变形系统。开发变形系统的过程始终是一项劳动密集型工作，近年来受到了广泛关注，在人体建模、人体运动评估、竞技运动分析等
具有显著的应用前景。传统的蒙皮变形方法，如线性混合蒙皮和双四元数蒙皮，由于其简单性和高效性，在实时应用中被广泛采用，然而这两种方法都会产生不真实的变形瑕疵。为了创建更真实的皮肤变形，使外观看起来更加详细和复杂，不可避免地需要进行蒙皮过程，包括迭代权重绘制和额外的修改，这要求动画师在人体模型的操作上花费大量的精力和时间来操纵人体模型。一些研究尝试通过自动生成蒙皮权重来解决这个问题，但这些方法的缺点是它们无法生成高度逼真的非线性人体网格图，需要进一步手动干预以创建细节变形效果。
2、图神经网络是一种基于深度学习的方法，能够对3d数据进行推理，根据图神经网络隐含层的传播步长可以将其分为卷积、门机制、残差连接和特征注意力机制等几类。现有的卷积操作可以分为谱方法和空间方法。前者通过计算图拉普拉斯算子的特征分解在傅里叶域中定义卷积运算，后者直接在空间邻近节点上定义精细卷积运算。围绕特征注意力机制，提出的图注意力网络将特征注意力机制应用于传播步骤，它能够在聚合不同大小的相邻节点时为不同的节点指定不同的权重，并且不依赖于预先所知道的图结构。此外，所建立的模型可以成功地应用于归纳学习。
3、基于
技术实现思路
1、本专利技术的技术目的在于提出了基于稠密图注意力网络的人体非线性变形方法，使神经网络模型能够处理复杂的图数据并归纳地预测非线性变形，允许现有人体蒙皮模型的变形特征与模型共享，可以根据线性和非线性部分的变形分解，解析非线性部分的人体网格图位移的复杂关系，自动生成人体变形。
2、稠密图注意力网络的人体非线性变形方法包含基于特征注意力机制的图注意力模块和注意力层多级跳连模块两个嵌套子模块。其中，基于特征注意力机制的图注意力模块由聚合流和自增强流组成，以聚合相邻节点的特征并增强单个图节点的特征。注意力层多级跳连模块是在一组图注意力模块之间引入了一种多级跳连连接模式，能够减少学习大量人体蒙皮网格特征的复杂度，确保在深度框架中特征的传播稳定性。当输入一个基于线性变形图的顶点的网格和骨骼属性时，稠密图注意力网络可以端到端地将其映射到每个网格顶点的修正位移，以实现更复杂的非线性效果。
3、本专利技术中的基于特征注意力机制的图注意力模块和注意力层多级跳连模块的输入为人体网格图。因此，在具体实施之前需要对人体三维数据进行图构建操作与图处理运算，主要包含人体三维模型数据库的构建、人体网格图构建、注意力层多级跳连模块的人体网格图处理。
4、人体三维模型数据库的构建通过建立满足图神经网络训练的需求的人体三维数据集，依据人体骨骼生理属性，限定了人体骨骼的极限旋转、平移、缩放尺度，并使用均匀采样的方法随机地将骨骼变换应用于人体模型中，使数据集模型呈现尽可能多的人体姿势。在网络训练后，继续使用数据集中的测试样本进行非线性变形的预测，即对比中测试人体样本的非线性顶点位移量与模型预测位移的距离。
5、本专利技术通过图注意力模块对复杂的人体蒙皮网格特征并处理任意结构的人体网格图数据进行有效地学习。在每个图注意力模块中，通过利用相邻顶点之间的关系，编码复杂的人体网格图信息和人体网格节点自身的特征信息，并添加线性方式的单一节点特征的自增强流来扩展原始图注意力结构。将自增强流基于图注意力的聚合流连接起来，形成一个图注意力模块，对复杂的人体蒙皮网格特征和任意结构的人体网格图数据进行处理，从而有效地从相邻顶点编译复杂图特征信息和自特征信息。
6、通过提取层次较深的高级特征，并保证信息在大量特征上的传播，本专利技术引入了“多级跳连模块”，该模块采用多个图注意力模块之间的密集连接模式来解决消失梯度问题，并通过融合多层特征有效改善信息流。
7、本专利技术使用基于图注意力的网络来生成基于线性变形的节点的非线性位移修正，将非线性函数h(g)视为一个允许基于人体蒙皮网格特征进行变形的黑盒，并用表达性的稠密图注意力网络近似它。
8、首先进行人体网格图构造与特征映射，在构建人体网格图的过程中，将线性蒙皮网格的顶点作为节点集合的元素。每个节点可以用其在网格中的索引或其他唯一标识符来表示。根据邻接矩阵中的值，确定节点之间是否有边。根据边的信息，构建图中的边集合，根据节点和边的连接关系以及构建图的拓扑表示，使用邻接列表或邻接矩阵来表示节点之间的连接关系。
9、每个节点的特征首先使用非线性特征转换模块进行转换。非线性特征转换模块由线性层组成，然后是非线性激活和归一化。通过这种处理，将输入特征转化为在足够的训练数据下，能够在一定程度上提供旋转和平移不变性的归一化高维特征。
10、在图注意力模块架构过程中，由于图神经网络能够处理非欧几里得网格数据，本专利技术引入了一种基于图注意力的架构，通过聚合不同权重的邻域特征来计算每个节点的隐藏表示。图注意力模块由一个基于图注意力的聚合流和一个自增强流组成。聚合流用于计算图中每个节点的隐藏表示，通过使用图注意力网络应用其相邻特征。本专利技术设计了一个自增强流来转换节点自身的特征，并将它们与图卷积的输出连接起来。这些特征以及聚合流获得的特征，然后被馈送到下一个图注意力模块。
11、经过非线性变换后，将节点特征输入到图注意力模块。对于基于图注意力的聚合流，本专利技术给定一组节点特征，首先对其进行预处理，再通过线性变换将其应用到每个节点上，得到高维表达式。对于聚合流，本专利技术设计了一种共享掩码的特征注意力机制，该机制只计算单一节点的邻近节点的注意力系数，以确保结构信息不丢失，并利用归一化指数函数对其进行归一化处理，得到注意力权重。
12、将得到的注意权值与其相应的特征线性组合，从而得到聚合流的输出特征。本专利技术为提高模型的稳定性和表示能力，还采用了多头特征注意力机制，对聚合操作的不同训练参数执行变换。
13、在图神经网络中，注意力层多级跳连模块的建立是一个重要的步骤，可以有效地提高模型的学习能力和预测性能。通过合理的模型结构设计和参数设置，实现了对模型性能的有效优化，提高模型的泛化能力和预测精度。
14、注意力层多级跳连模块是由多个图注意力模块构成的，图注意力模块可以实现层级级联或跳连，将多个图注意力模块之间引入一个模块与所有后续模块的直接连接，构建密集连接的图注意力模块。依据图注意力模块的密集连接本文档来自技高网...
【技术保护点】
1.基于稠密图注意力网络的人体非线性变形方法，其特征在于，该方法包含基于注意力机制的图注意力模块和注意力层多级跳连模块两个嵌套子模块；基于注意力机制的图注意力模块由聚合流和自增强流组成，以聚合相邻节点的特征并增强单个图节点的特征；注意力层多级跳连模块是在一组图注意力模块之间引入多级跳连连接模式；当输入一个基于线性变形图的顶点的网格和骨骼属性时，稠密图注意力网络端到端地将其映射到每个网格顶点的修正位移。
2.根据权利要求1所述的基于稠密图注意力网络的人体非线性变形方法，其特征在于，所述注意力机制的图注意力模块和注意力层多级跳连模块的输入为人体三维数据集，基于网格图的神经网络变形方法，对人体三维数据进行图构建操作与图处理运算，包含人体三维模型数据库的构建、图注意力的人体网格图数据构建、注意力层多级跳连模块的人体网格图特征处理；
3.根据权利要求1所述的基于稠密图注意力网络的人体非线性变形方法，其特征在于，通过图注意力模块对复杂的网格特征并处理任意结构的网格图数据进行有效地学习；在每个图注意力模块中，通过利用相邻顶点之间的关系，编码复杂的人体网格图特征和人体网格
4.根据权利要求1所述的基于稠密图注意力网络的人体非线性变形方法，其特征在于，提取层次深的高级特征并保证信息在特征上传播，引入多级跳连模块，该多级跳连模块采用多个图注意力模块之间的密集连接模式来解决消失梯度问题，并通过融合多层特征改善信息流。
5.根据权利要求1所述的基于稠密图注意力网络的人体非线性变形方法，其特征在于，使用基于图注意力的网络来生成基于线性变形的节点的非线性位移修正，将非线性函数h(G)视为一个允许基于网格特征进行变形的黑盒，并用表达性的稠密图注意力网络近似。
6.根据权利要求1所述的基于稠密图注意力网络的人体非线性变形方法，其特征在于，首先进行人体网格图构造与特征映射，在构建人体网格图的过程中，将线性蒙皮网格的顶点作为节点集合的元素；每个节点集合中元素用其在人体网格图特征中的索引或其他唯一标识符来表示；根据邻接矩阵中的值，确定节点之间是否有边；根据边的信息，构建图中的边集合，根据节点和边的连接关系以及构建图的拓扑表示，使用邻接列表或邻接矩阵来表示节点之间的连接关系；
7.根据权利要求1所述的基于稠密图注意力网络的人体非线性变形方法，其特征在于，在图注意力模块架构过程中，引入基于图注意力的架构，通过聚合不同权重的邻域特征来计算每个节点的隐藏表示；图注意力模块由一个基于图形注意力的聚合流和一个自增强流组成；聚合流用于计算图中每个节点的隐藏表示，通过使用图注意力网络应用其相邻特征；自增强流来转换节点自身的特征，与图卷积的输出连接起来被馈送到下一个图注意力模块；
8.根据权利要求1所述的基于稠密图注意力网络的人体非线性变形方法，其特征在于，注意力层多级跳连模块是由多个图注意力模块构成的，图注意力模块实现层级级联或跳连，将多个图注意力模块之间引入一个模块与所有后续模块的直接连接，构建密集连接的图注意力模块；对于注意力层多级跳连模块中除了第一个块的其它图注意力模块，输出特征将由所有前面模块块的特征组成；
9.根据权利要求2所述的基于稠密图注意力网络的人体非线性变形方法，其特征在于，将输入的人体网格图特征输入到一个非线性转换模块中，该模块涉及两个具有32个隐藏单元的完全连接的隐藏层，每个隐藏层都有32个隐藏单元，使用tanh激活函数进行激活，帮助模型捕捉和学习非线性特征，并将变换后的特征输入到密集连接模块中，提高模型的学习能力；
10.根据权利要求2所述的基于稠密图注意力网络的人体非线性变形方法，其特征在于，在图注意力模块内部结构上，将基于图注意力的聚合流的隐藏特征数设为8、多头数设为16；为提高互渗的有效性，在自增强流中，输入特征由特征大小为聚合流输出特征大小的0.125倍的线性层处理，并在图注意力模块的最后一层采用tanhshrink激活函数；
...【技术特征摘要】
1.基于稠密图注意力网络的人体非线性变形方法，其特征在于，该方法包含基于注意力机制的图注意力模块和注意力层多级跳连模块两个嵌套子模块；基于注意力机制的图注意力模块由聚合流和自增强流组成，以聚合相邻节点的特征并增强单个图节点的特征；注意力层多级跳连模块是在一组图注意力模块之间引入多级跳连连接模式；当输入一个基于线性变形图的顶点的网格和骨骼属性时，稠密图注意力网络端到端地将其映射到每个网格顶点的修正位移。
2.根据权利要求1所述的基于稠密图注意力网络的人体非线性变形方法，其特征在于，所述注意力机制的图注意力模块和注意力层多级跳连模块的输入为人体三维数据集，基于网格图的神经网络变形方法，对人体三维数据进行图构建操作与图处理运算，包含人体三维模型数据库的构建、图注意力的人体网格图数据构建、注意力层多级跳连模块的人体网格图特征处理；
3.根据权利要求1所述的基于稠密图注意力网络的人体非线性变形方法，其特征在于，通过图注意力模块对复杂的网格特征并处理任意结构的网格图数据进行有效地学习；在每个图注意力模块中，通过利用相邻顶点之间的关系，编码复杂的人体网格图特征和人体网格节点自身的特征信息，并添加线性方式的单一节点特征的自增强流来扩展原始图注意力结构；将该流与基于图形注意力的聚合流连接起来，形成一个图注意力模块，对复杂的网格特征和任意结构的网格图数据进行处理，从相邻顶点编译复杂人体网格图特征信息和自特征信息。
4.根据权利要求1所述的基于稠密图注意力网络的人体非线性变形方法，其特征在于，提取层次深的高级特征并保证信息在特征上传播，引入多级跳连模块，该多级跳连模块采用多个图注意力模块之间的密集连接模式来解决消失梯度问题，并通过融合多层特征改善信息流。
5.根据权利要求1所述的基于稠密图注意力网络的人体非线性变形方法，其特征在于，使用基于图注意力的网络来生成基于线性变形的节点的非线性位移修正，将非线性函数h(g)视为一个允许基于网格特征进行变形的黑盒，并用表达性的稠密图注意力网络近似。
6.根据权利要求1所述的基于稠密图注意力网络的人体非...
【专利技术属性】
技术研发人员：石睿，李梓卉，张利国，李天行，邓恒，詹璟原，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。