一种将回归与优化结合的三维人体参数化模型估计方法技术

本发明专利技术公开了一种将回归与优化结合的三维人体参数化模型估计方法，通过使用三维人体关节作为桥梁把三维人体参数化模型估计这个任务中常用到的回归算法跟优化算法结合了起来。为了发挥了各自的特长，本发明专利技术分别使用回归算法对三维人体关节关键点进行神经网络回归和优化算法对预测的三维人体关节关键点进行逆向动力学求解。该优化分支在神经网络里实现一步步迭代求解，并且作为其中一个层，即优化层。通过设计的优化算法，我们所设计的逆向运动学优化层可以同神经网络一同训练并且将优化结果通过梯度回传来训练神经网络的参数。从而达到端到端三维人体参数化模型估计的效果。果。果。

【技术实现步骤摘要】
一种将回归与优化结合的三维人体参数化模型估计方法


[0001]本专利技术涉及一种结合了优化和回归各自的优势进行端到端三维人体参数化模型估计的方法，属于计算机视觉领域。

技术介绍

[0002]近年来，三维人体参数化模型估计在视频分析、摄像头监控、人机交互、虚拟现实增强现实等领域得到广泛应用。单目三维人体参数化模型估计旨在从单张图像或者是单目视频中估计出表示人体姿态与外形的参数化模型。目前主要的技术分成以下两种：基于优化的方法和基于回归的方法。基于优化的方法使用迭代优化的方式将参数模型(例如SMPL模型)的输出拟合到二维输入观测值。它们可以生成精确的网格图像对齐并且保持输入数据与预测之间的一致性。但是由于其欠定和非凸的特性，这种方法往往只能找到局部最小值且其优化结果依赖于迭代初始值。相反地，基于回归的方法将人体参数化模型估计这个问题视为回归问题。这种方法一般通过训练深度神经网络来直接回归模型参数从而避免了复杂的迭代优化过程。然而，尽管该方法高效，但基于回归的方法估计的结果往往难以保障估计的网格与图像之间对齐。
[0003]现有的一些研究尝试本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种将回归与优化结合的三维人体参数化模型估计方法，其特征在于，包括以下步骤：步骤1：对一张给定的图片进行裁剪处理，使得裁剪后的图片中只包含一个人；步骤2：将上一步获得的数据输入工作模型，该工作模型包括骨干网络和多个头部网络，其中：骨干网络用于对输入工作模型的数据进行特征提取得到多个头部网络共享的特征张量；多个头部网络包括扭转角头部网络、形状参数头部网络以及三维关节头部网络分别用于获得扭转角φ、形状参数β以及三维关节坐标P的预测值，p
k
表示人体参数模型中的第k个关键关节，K表示人体参数模型中关键关节的总数，该人体参数模型提供了一个可微函数M(θ,β)，θ为关键关节的相对轴角；步骤3：使用罗德里格斯公式将相对轴角θ转换为相对旋转矩阵其中，par(i)表示第i个关键关节的父关节，R
par(i),i
表示相对于其父关节的第i个局部旋转矩阵；将第i个关键关节的全局旋转矩阵表示为R
i
，则R
i
从相对旋转矩阵递归计算为：R
i
＝R
par(i)
R
par(i),i
式中，R
par(i)
表示i个关键关节的父关节旋转矩阵；步骤4：将全局旋转矩阵R
i
分解为扭曲旋转R
tw
和摆动旋转R
sw
，则有：式中：α
i
表示第i个关键关节旋转的摆动旋转角；φ
i
表示第i个关键关节旋转的扭转角，由工作模型预测得到；其中，骨盆关节和叶关节不包括在上述扭摆分解中，使用脊柱子关节、左髋关节和右髋关节进行闭式求解；步骤5：除去骨盆关节和叶关节，应用步骤4所记载的扭摆分解，将前向动力学过程定义为：Q＝FK(R
sw
(α)；R
tw
(φ),T,P):＝f(α)其中，Q表示从人体参数模型输出重建的三维人体关节，α表示摆动旋转角，f(
·
)表示用于简化表示的正向模型算子，FK(
·
)表示正向运动学过程；步骤6：将优化目标函数表示为：通过多次迭代使得优化目标函数收敛，从而获得摆动旋转角的局部最优值α
*
，其中：第k次迭代时获得的摆动旋转角α
k
＝α
k
‑1+Δα
k
，Δα
k
为第k次迭代获得的在α
k
‑1处的高斯
‑
牛顿方向，并有：式中：J
k
‑1表示从第k
‑
1次迭代计算的雅可比矩阵，雅可比矩阵J
k
‑1与摆动旋转角α、扭转
旋转R
tw
、静止姿势T和三维关节坐标P的预测值的输入相关联并且可微；σ是一个常数项；I是3x3...

【专利技术属性】
技术研发人员：汪婧雅，张锯泽，石野，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：