一种图像处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、设备及存储介质。其中方法包括：获取对象的网格模型中各个顶点的顶点特征和网格模型的拓扑信息，获取顶点关系指示信息，顶点关系指示信息用于指示网格模型中存在约束关系的顶点，调用蒙皮权重预测模型基于顶点关系指示信息、顶点特征和网格模型的拓扑信息，预测网格模型的蒙皮权重。可见，在网格模型的蒙皮权重的预测过程中，通过顶点关系指示信息对网格模型中的各个顶点的蒙皮权重进行约束，可以提高网格模型的蒙皮矩阵的预测准确度。网格模型的蒙皮矩阵的预测准确度。网格模型的蒙皮矩阵的预测准确度。

【技术实现步骤摘要】
一种图像处理方法、装置、设备及存储介质


[0001]本申请涉及计算机
，具体涉及一种图像处理方法、一种图像处理装置、一种计算机设备及一种计算机可读存储介质。

技术介绍

[0002]随着科技研究的进步，动画和游戏行业飞速发展。动画和游戏行业的技术核心之一是对象的网格模型；例如，服饰模型、角色模型、场景模型等。由于对象的网格模型中的顶点较多，对象的网格模型的旋转平移变换通常是通过该网格模型对应的蒙皮矩阵来指示。研究发现，网格模型对应的蒙皮矩阵通常是由蒙皮权重预测模型预测得到的，网格模型的蒙皮矩阵的预测准确度较低。

技术实现思路

[0003]本申请实施例提供了一种图像处理方法、装置、设备及计算机可读存储介质，能够提高网格模型的蒙皮矩阵的预测准确度。
[0004]一方面，本申请实施例提供了一种图像处理方法，包括：获取对象的网格模型中各个顶点的顶点特征和网格模型的拓扑信息，网格模型的拓扑信息包括对象的关节点与网格模型中各个顶点的位置关系，以及网格模型中各个顶点的连接关系；获取顶点关系指示信息，顶点关系指示信息用于指示网格模型中存在约束关系的顶点；调用蒙皮权重预测模型基于顶点关系指示信息、顶点特征和网格模型的拓扑信息，预测网格模型的蒙皮权重；其中，网格模型的蒙皮权重用于指示网格模型在形变过程中对象的关节点对网格模型中各个顶点的影响程度。
[0005]一方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括：获取单元，用于获取对象的网格模型中各个顶点的顶点特征和网格模型的拓扑信息，网格模型的拓扑信息包括对象的关节点与网格模型中各个顶点的位置关系，以及网格模型中各个顶点的连接关系；以及用于获取顶点关系指示信息，顶点关系指示信息用于指示网格模型中存在约束关系的顶点；处理单元，用于调用蒙皮权重预测模型基于顶点关系指示信息、顶点特征和网格模型的拓扑信息，预测网格模型的蒙皮权重；其中，网格模型的蒙皮权重用于指示网格模型在形变过程中对象的关节点对网格模型中各个顶点的影响程度。
[0006]在一种实施方式中，蒙皮权重预测模型包括神经网络层和M个特征融合模块，M为正整数；处理单元用于，调用蒙皮权重预测模型基于顶点关系指示信息、顶点特征和网格模
型的拓扑信息，预测网格模型的蒙皮权重，具体用于：调用M个特征融合模块对顶点关系指示信息和网格模型中的每个顶点的顶点特征进行特征融合处理，得到各个顶点的融合特征；通过神经网络层对各个顶点的融合特征和网格模型的拓扑信息进行蒙皮权重预测处理，得到网格模型的蒙皮权重。
[0007]在一种实施方式中，顶点关系指示信息包括P个关键顶点集合，P为正整数；每个特征融合模块包括注意力子模块，残差子模块和邻接子模块；处理单元调用M个特征融合模块对顶点关系指示信息和网格模型中的每个顶点的顶点特征进行特征融合处理，得到各个顶点的融合特征的过程包括：获取P个关键顶点集合对应的P个第一邻接矩阵，并通过邻接子模块对P个第一邻接矩阵和各个顶点的顶点特征进行特征转换处理，得到各个顶点的邻域特征；P个第一邻接矩阵是在建立每个关键顶点集合中的各个关键顶点间的连边后得到的；调用注意力子模块将网格模型中各个顶点的顶点特征聚合至各个关键顶点集合中，得到P个聚合特征；P个聚合特征与P个关键顶点集合一一对应，第q个聚合特征用于指示网格模型中的顶点的蒙皮权重，与第q个关键顶点集合中各个关键顶点的蒙皮权重的相似度；通过残差子模块对各个顶点的顶点特征进行深度特征提取处理，得到各个顶点的深度特征；对每个顶点的邻域特征，P个聚合特征和每个顶点的深度特征进行融合处理，得到网格模型中各个顶点的融合特征。
[0008]在一种实施方式中，处理单元通过邻接子模块对P个第一邻接矩阵和各个顶点的顶点特征进行特征转换处理，得到各个顶点的邻域特征的过程包括：通过第q个第一邻接矩阵，确定关键顶点j的k个邻居顶点，第q个第一邻接矩阵是第q个关键顶点集合的第一邻接矩阵，关键顶点j属于第q个关键顶点集合，k为正整数；分别计算关键顶点j的顶点特征与k个邻居顶点的顶点特征间的差异，得到k个差异特征；将k个差异特征中的最大值，确定为关键顶点j的邻域特征。
[0009]在一种实施方式中，网格模型的拓扑信息包括第二邻接矩阵，第二邻接矩阵是基于网格模型中各个顶点之间的连接关系得到的；处理单元用于，通过第q个第一邻接矩阵，确定关键顶点j的k个邻居顶点，具体用于：通过第q个第一邻接矩阵，确定与关键顶点j存在连边的T个关键顶点，T为正整数；若T大于等于k，则从T个关键顶点中随机选取k个顶点作为关键顶点j的邻居顶点；若T小于k，则通过第二邻接矩阵，确定与关键顶点j存在连边的V个顶点，并从V个顶点中随机选取k
‑
T个顶点，将T个关键顶点和选取的k
‑
T个顶点作为关键顶点j的邻居顶点，V为正整数。
[0010]在一种实施方式中，处理单元用于，调用注意力子模块将网格模型中各个顶点的顶点特征聚合至各个关键顶点集合中，得到P个聚合特征的过程包括：获取网格模型中各个顶点对应的第q个权值，q为小于等于P的正整数；通过每个顶点对应的第q个权值对该顶点的顶点特征进行加权处理，得到各个顶
点的加权特征；对各个顶点的加权特征进行聚合处理，得到第q个聚合特征。
[0011]在一种实施方式中，处理单元获取网格模型中各个顶点对应的第q个权值的过程包括：对第q个关键顶点集合中的关键顶点与顶点h的第一距离进行均值处理，得到顶点h对应的第q个距离均值；顶点h为网格模型中的任一个顶点；基于顶点h对应的第q个距离均值的求导结果，确定顶点h的第q个权值。
[0012]在一种实施方式中，残差子模块包括神经网络层和激活层；处理单元通过残差子模块对各个顶点的顶点特征进行深度特征提取处理，得到各个顶点的深度特征的过程包括：通过神经网络层对顶点h的顶点特征进行映射处理，得到顶点h的特征映射结果；采用激活层对顶点h的特征映射结果进行激活处理，得到顶点h的激活特征；对顶点h的激活特征和顶点h的顶点特征进行融合处理，得到顶点h的深度特征。
[0013]在一种实施方式中，对象的关节点包括至少一个基础关节点和网格模型对应的P个附加关节点，P为正整数；处理单元用于，获取顶点关系指示信息，具体用于：获取P个附加关节点对应网格模型中的P个关键区域，每个关键区域中包括至少两个顶点；对每个关键区域中的顶点进行筛选处理，得到P个关键顶点集合，每个关键顶点集合中各个关键顶点之间存在约束关系；基于P个关键顶点集合，生成顶点关系指示信息。
[0014]在一种实施方式中，处理单元对每个关键区域中的顶点进行筛选处理，得到P个关键顶点集合的过程包括：将第q个关键区域中的目标顶点，以及目标顶点的邻域顶点添加至候选顶点集合中，目标顶点与第q个附加关节点的第二距离，小于第q个关键区域中除目标顶点外的其他顶点与第q个附加关节点的第二距离，q为小于等于P的正整数；获取候选顶点集合中各个候选顶点的标注权重，以及每个候选顶点的邻域顶点的标注权重；对候选顶点集合中每个候选顶本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取对象的网格模型中各个顶点的顶点特征和所述网格模型的拓扑信息，所述网格模型的拓扑信息包括所述对象的关节点与所述网格模型中各个顶点的位置关系，以及所述网格模型中各个顶点的连接关系；获取顶点关系指示信息，所述顶点关系指示信息用于指示所述网格模型中存在约束关系的顶点；调用蒙皮权重预测模型基于所述顶点关系指示信息、所述顶点特征和所述网格模型的拓扑信息，预测所述网格模型的蒙皮权重；其中，所述网格模型的蒙皮权重用于指示所述网格模型在形变过程中所述对象的关节点对所述网格模型中各个顶点的影响程度。2.如权利要求1所述的方法，其特征在于，所述蒙皮权重预测模型包括神经网络层和M个特征融合模块，M为正整数；所述调用蒙皮权重预测模型基于所述顶点关系指示信息、所述顶点特征和所述网格模型的拓扑信息，预测所述网格模型的蒙皮权重，包括：调用所述M个特征融合模块对所述顶点关系指示信息和所述网格模型中的每个顶点的顶点特征进行特征融合处理，得到各个顶点的融合特征；通过所述神经网络层对各个顶点的融合特征和所述网格模型的拓扑信息进行蒙皮权重预测处理，得到所述网格模型的蒙皮权重。3.如权利要求2所述的方法，其特征在于，所述顶点关系指示信息包括P个关键顶点集合，P为正整数；每个特征融合模块包括注意力子模块，残差子模块和邻接子模块；所述调用所述M个特征融合模块对所述顶点关系指示信息和所述网格模型中的每个顶点的顶点特征进行特征融合处理，得到各个顶点的融合特征的过程包括：获取所述P个关键顶点集合对应的P个第一邻接矩阵，并通过所述邻接子模块对所述P个第一邻接矩阵和各个顶点的顶点特征进行特征转换处理，得到各个顶点的邻域特征；所述 P个第一邻接矩阵是在建立每个关键顶点集合中的各个关键顶点间的连边后得到的；调用所述注意力子模块将所述网格模型中各个顶点的顶点特征聚合至各个关键顶点集合中，得到P个聚合特征；所述P个聚合特征与所述P个关键顶点集合一一对应，第q个聚合特征用于指示所述网格模型中的顶点的蒙皮权重，与第q个关键顶点集合中各个关键顶点的蒙皮权重的相似度；通过所述残差子模块对各个顶点的顶点特征进行深度特征提取处理，得到各个顶点的深度特征；对每个顶点的邻域特征，所述P个聚合特征和每个顶点的深度特征进行融合处理，得到所述网格模型中各个顶点的融合特征。4.如权利要求3所述的方法，其特征在于，所述通过所述邻接子模块对所述P个第一邻接矩阵和各个顶点的顶点特征进行特征转换处理，得到各个顶点的邻域特征的过程包括：通过第q个第一邻接矩阵，确定关键顶点j的k个邻居顶点，所述第q个第一邻接矩阵是第q个关键顶点集合的第一邻接矩阵，所述关键顶点j属于所述第q个关键顶点集合，k为正整数；分别计算所述关键顶点j的顶点特征与所述k个邻居顶点的顶点特征间的差异，得到k个差异特征；
将所述k个差异特征中的最大值，确定为所述关键顶点j的邻域特征。5.如权利要求4所述的方法，其特征在于，所述网格模型的拓扑信息包括第二邻接矩阵，所述第二邻接矩阵是基于所述网格模型中各个顶点之间的连接关系得到的；所述通过第q个第一邻接矩阵，确定关键顶点j的k个邻居顶点，包括：通过第q个第一邻接矩阵，确定与关键顶点j存在连边的T个关键顶点，T为正整数；若T大于等于k，则从所述T个关键顶点中随机选取k个顶点作为所述关键顶点j的邻居顶点；若T小于k，则通过所述第二邻接矩阵，确定与所述关键顶点j存在连边的V个顶点，并从所述V个顶点中随机选取k
‑
T个顶点，将所述T个关键顶点和选取的k
‑
T个顶点作为所述关键顶点j的邻居顶点，V为正整数。6.如权利要求3所述的方法，其特征在于，所述调用所述注意力子模块将所述网格模型中各个顶点的顶点特征聚合至各个关键顶点集合中，得到P个聚合特征的过程包括：获取网格模型中各个顶点对应的第q个权值，q为小于等于P的正整数；通过每个顶点对应的第q个权值对该顶点的顶点特征进行加权处理，得到各个顶点的加权特征；对各个顶点的加权特征进行聚合处理，得到第q个聚合特征。7.如权利要求6所述的方法，其特征在于，所述获取网格模型中各个顶点对应的第q个权值的过程包括：对第q个关键顶点集合中的关键顶点与顶点h的第一距离进行均值处理，得到所述顶点h对应的第q个距离均值；所述顶点h为所述网格模型中的任一个顶点；基于所述顶点h对应的第q个距离均值的求导结果，确定所述顶点h的第q个权值。8.如权利要求3所述...

【专利技术属性】
技术研发人员：常天元，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：