一种基于制造技术

本发明专利技术涉及人机交互技术领域，特别是指一种基于

【技术实现步骤摘要】
一种基于Transformer的手部模型重建方法及装置


[0001]本专利技术涉及人机交互
，特别是指一种基于
Transformer
的手部模型重建方法及装置
。

技术介绍

[0002]手部姿态重建是计算机视觉领域的一项重要任务，以往的研究多关注于单手手部三维重建，但是由于人类常常需要利用双手和外界进行交互，双手图像常常存在复杂的交互和遮挡情况，并且双手皮肤材质的相似也进一步提升了重建的难度
。
对于双手交互状态的手部模型重建任务来说，虽然单手重建方法同样能够实现双手的重建，但是由于双手交互时存在严重遮挡，并且双手之间皮肤材质的相似也进一步增大了重建的难度，之前的单手重建方法无法较好地处理双手交互的情况
。
一些以往的方法采用深度相机跟踪手部，但是其成本相比于普通相机较高，且应用较难
。
[0003]随着双手交互数据集
I nterhand2.6M
的推出，一些直接从
RGB
图像中重建双手的方法被提出
。
采用两阶段的方式，先利用编码器预测双手的
MANO
参数模型参数和
3D
关键点，再利用全连接神经网络进一步微调
。
通过预测初始的参数表示再微调的方式，提升重建效果
。
但是该方法没有考虑中间表示，并且由于有符号距离场的目标函数较难优化，因此重建效果一般
。
[0004]考虑重建当中图像特征的重要性，引入了多尺度特征提取器，配合
2.5D heatmap
提取器提取出关节点对齐的特征
。
由于采用了
MANO
参数模型作为手部的表示，因此同样采用了预测初始参数再微调的方式，通过级联的微调模块得到更加精确的重建结果
。
但是由于仅仅采用了
2.5D heatmap
，中间表示较为单一，因此针对一些较为复杂的场景很难较好的重建
。
[0005]直接采用网格顶点作为预测的结果，这种表示方式已被证明能够得到较为对齐的重建结果
。
并且其预测了多种中间表示作为辅助任务来提取出对重建有用的特征，采用特征金字塔提取多尺度特征
。
但是由于非参数化表示的不稳定性，其对严重遮挡情况处理得不好
。
[0006]在现有技术中，缺乏一种重建精度高
、
鲁棒性强以及对真实数据依赖小的手部模型重建方法
。

技术实现思路

[0007]本专利技术实施例提供了一种基于
Transformer
的手部模型重建方法及装置
。
所述技术方案如下：
[0008]一方面，提供了一种基于
Transformer
的手部模型重建方法，该方法由电子设备实现，该方法包括：
[0009]对手部姿态的生成条件进行设定，获得合成参数；
[0010]将所述合成参数输入合成数据生成管线，获得合成数据集；
[0011]基于
Transformer
学习模型进行模型构建，获得待训练手部重建模型；
[0012]使用所述合成数据集和预设的真实数据集，对所述待训练手部重建模型进行训练，获得手部重建模型；
[0013]输入目标手部图片，通过所述手部重建模型进行重建，获得目标手部重建模型
。
[0014]其中，所述合成参数包括手部姿态标注的生成方式
、
相机位置和光照参数
。
[0015]可选地，所述将所述合成参数输入合成数据生成管线，获得合成数据集，包括：
[0016]基于所述手部姿态标注的生成方式，通过预设的标注生成器，获得合成标注生成数据；
[0017]基于所述手部姿态标注的生成方式，通过预设的背景生成器，获得合成背景生成数据；
[0018]采用所述相机位置
、
所述光照参数
、
所述合成标注生成数据和所述合成背景生成数据，通过预设的网格渲染器，获得合成数据集
。
[0019]其中，所述待训练手部重建模型包括多层特征提取模块
、
顶点回归和模型重建模块
。
[0020]其中，所述多层特征提取模块用于提取待训练手部重建模型的输入数据的多尺度图像特征
。
[0021]其中，所述顶点回归和模型重建模块用于回归重建模型的顶点坐标以及根据重建模型的顶点坐标进行模型重建；
[0022]所述顶点回归和模型重建模块包括3个
MANO
先验迁移子模块；所述
MANO
先验迁移子模块包括1个图卷积神经网络子模块和2个
Transformer
子模块
。
[0023]可选地，所述输入目标手部图片，通过所述手部重建模型进行重建，获得目标手部重建模型，包括：
[0024]根据输入目标手部图片，获得待重建
MANO
特征和待重建顶点特征；
[0025]根据待重建
MANO
特征和待重建顶点特征，通过新型的多头自注意力机制和注意力掩码进行回归操作，获得待重建顶点坐标；
[0026]基于所述待重建顶点坐标进行模型构建，获得目标手部重建模型
。
[0027]另一方面，提供了一种基于
Transformer
的手部模型重建装置，该装置应用于一种基于
Transformer
的手部模型重建方法，该装置包括：
[0028]参数合成模块，用于对手部姿态的生成条件进行设定，获得合成参数；
[0029]合成数据生成管线模块，用于将所述合成参数输入合成数据生成管线，获得合成数据集；
[0030]模型构建模块，用于基于
Transformer
学习模型进行模型构建，获得待训练手部重建模型；
[0031]模型训练模块，用于使用所述合成数据集和预设的真实数据集，对所述待训练手部重建模型进行训练，获得手部重建模型；
[0032]手部模型重建模块，用于输入目标手部图片，通过所述手部重建模型进行重建，获得目标手部重建模型
。
[0033]其中，所述合成参数包括手部姿态标注的生成方式
、
相机位置和光照参数
。
[0034]可选地，所述合成数据生成管线模块，进一步用于：
[0035]基于所述手部姿态标注的生成方式，通过预设的标注生成器，获得合成标注生成数据；
[0036]基于所述手部姿态标注的生成方式，通过预设的背景生成器，获得合成背景生成数据；
[0037]采用所述相机位置
、
所述光照参数
、
所述合成标注生成数据和所述合成背景生成数据，通过预设的网格渲染器，获得合成数据集
。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
Transformer
的手部模型重建方法，其特征在于，所述方法包括：对手部姿态的生成条件进行设定，获得合成参数；将所述合成参数输入合成数据生成管线，获得合成数据集；基于
Transformer
学习模型进行模型构建，获得待训练手部重建模型；使用所述合成数据集和预设的真实数据集，对所述待训练手部重建模型进行训练，获得手部重建模型；输入目标手部图片，通过所述手部重建模型进行重建，获得目标手部重建模型
。2.
根据权利要求1所述的一种基于
Transformer
的手部模型重建方法，其特征在于，所述合成参数包括手部姿态标注的生成方式
、
相机位置和光照参数
。3.
根据权利要求2所述的一种基于
Transformer
的手部模型重建方法，其特征在于，所述将所述合成参数输入合成数据生成管线，获得合成数据集，包括：基于所述手部姿态标注的生成方式，通过预设的标注生成器，获得合成标注生成数据；基于所述手部姿态标注的生成方式，通过预设的背景生成器，获得合成背景生成数据；采用所述相机位置
、
所述光照参数
、
所述合成标注生成数据和所述合成背景生成数据，通过预设的网格渲染器，获得合成数据集
。4.
根据权利要求1所述的一种基于
Transformer
的手部模型重建方法，其特征在于，所述待训练手部重建模型包括多层特征提取模块
、
顶点回归和模型重建模块
。5.
根据权利要求4所述的一种基于
Transformer
的手部模型重建方法，其特征在于，所述多层特征提取模块用于提取待训练手部重建模型的输入数据的多尺度图像特征
。6.
根据权利要求4所述的一种基于
Transformer
的手部模型重建方法，其特征在于，所述顶点回归和模型重建模块用于回归重建模型的顶点坐标以及根据重建模型的顶点坐标进行模型重建；所述顶点回归和模型重建模块包括3个
MANO
先验迁移子模块；所述
MANO
先验迁移子模块包括1个图卷积神经网络子模块和2个
Transformer
子...

【专利技术属性】
技术研发人员：支瑞聪，孙庆一，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：