一种模型训练方法、电子设备及存储介质技术

本发明专利技术实施方式涉及数据处理领域，公开了一种模型训练方法、电子设备及存储介质。本发明专利技术的部分实施方式中，模型训练方法包括以下步骤：获取图像训练集和标注数据；其中，标注数据包括基于图像训练集优化得到的人手三维模型；基于预定义的至少包括相邻帧损失约束项的损失函数，利用图像训练集中的各帧训练图像和标注数据，训练得到人手捕捉模型；其中，人手捕捉模型为用于判断单张人手图像表征的人手姿态参数和人手形状参数的神经网络模型，以便基于人手姿态参数、人手形状参数，以及人手的参数化模型得到人手动作模型。该实施方式使得可以基于单张图像得到基于参数化模型构建人手动作模型的过程中所需的参数。作模型的过程中所需的参数。作模型的过程中所需的参数。

【技术实现步骤摘要】
一种模型训练方法、电子设备及存储介质


[0001]本专利技术实施方式涉及数据处理领域，特别涉及一种模型训练方法、电子设备及存储介质。

技术介绍

[0002]三维人手的重建与属性识别一直是机器视觉领域的重要研究方向。目前，学术界基于深度学习的人手重建相关工作大致可以分为两大类，参数化模型重建和非参数化模型重建。其中，非参数化模型重建主要是将多视角的深度图和彩色图作为输入，通过大量的数据学习得到人手模型，数据获取难度较大。参数化模型重建主要是学习人手模型的参数，然后通过参数来拟合目标手势模型。两种方法各有利弊。
[0003]随着近几年的深度学习技术和硬件技术的快速发展，逐渐从使用机器学习优化演变到通过深度学习得到模型，使得实时手势动作捕捉有机会实现。然而，目前的基于参数化模型重建方法往往需要基于多张图像得到参数化模型中所需的参数。

技术实现思路

[0004]本专利技术实施方式的目的在于提供一种模型训练方法、电子设备及存储介质，使得可以基于单张图像得到基于参数化模型构建人手动作模型的过程中所需的参数。/>[0005]为解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取图像训练集和标注数据；其中，所述标注数据包括基于所述图像训练集优化得到的人手三维模型；基于预定义的至少包括相邻帧损失约束项的损失函数，利用所述图像训练集中的各帧训练图像和所述标注数据，训练得到人手捕捉模型；其中，所述人手捕捉模型为用于判断单张人手图像表征的人手姿态参数和人手形状参数的神经网络模型，以便基于所述人手姿态参数、所述人手形状参数，以及人手的参数化模型得到人手动作模型。2.根据权利要求1所述的模型训练方法，其特征在于，获取所述图像训练集，包括：控制多个图像采集装置同步拍摄人手图像；其中，所述多个图像采集装置的摆放方位不同；根据拍摄的人手图像，构建所述图像训练集。3.根据权利要求2所述的模型训练方法，其特征在于，所述根据拍摄的人手图像，构建所述图像训练集，包括：对所述拍摄的人手图像进行数据增强；将数据增强后的人手图像和所述拍摄的人手图像，作为所述图像训练集的训练图像。4.根据权利要求1所述的模型训练方法，其特征在于，获取所述标注数据，包括：基于预定义的优化目标函数和优化算法的输入数据，优化得到所述人手三维模型，以作为所述标注数据；其中，所述优化算法的输入数据包括基于所述图像训练集得到的人手轮廓图、点云数据、二维关键点数据和三维关键点数据。5.根据权利要求4所述的模型训练方法，其特征在于，所述优化目标函数与二维关键点误差、三维关键点误差、人手参数误差、相邻帧的参数差异和轮廓误差相关。6.根据权利要求1至5中任一项所述的模型训练方法，其特征在于，所述相邻帧损失约束项的函数表达式为：L

【专利技术属性】
技术研发人员：石彪，李廷照，张举勇，户磊，
申请(专利权)人：合肥的卢深视科技有限公司，
类型：发明
国别省市：