单目三维人体位姿无监督学习方法、系统及介质技术方案

本发明专利技术提供了一种单目三维人体位姿无监督学习方法、系统及介质，包括：步骤A：运用骨骼长度估计网络和骨骼方向估计网络输出骨骼向量，对每一个目标关节，给出一组由根关节到此关节的骨骼路径，沿路径将骨骼向量相加得到一组粗糙关节坐标；步骤B：通过注意力网络得到每条路径的注意力，对每组粗糙关节坐标加权得到最终关节坐标；步骤C：在单帧3D到2D的投影位置误差的基础上，添加基于投影一致的位移误差损失，训练骨长、方向估计网络和注意力网络。本发明专利技术提出基于投影一致的单目相机三维人体位姿无监督学习方法，提高了对关节预测的准确性，有利于实际利用。

【技术实现步骤摘要】
单目三维人体位姿无监督学习方法、系统及介质
本专利技术涉及计算机视觉
，具体地，涉及一种单目三维人体位姿无监督学习方法、系统及介质。尤其地，涉及一种基于单目相机的三维人体位姿估计中关节位置的无监督损失计算方法和关节位置的获得方法。
技术介绍
人体位姿估计是计算机视觉中的一个基础问题，是对人体的姿态(如头、胸、脚等人体关键点)的位置估计，目前主要是用人体关节点表示人体位姿。对于人体关节点的预测目前主要有两种方法，一种为直接对关节点进行回归的方法，另一种为对人体骨骼进行位置估计，再由骨骼得到关节点的方法。在第二种方法中，有两种骨骼预测方法，一种为直接预测整根骨骼的向量的方法，另一种为分别预测骨骼长度和骨骼方向的方法。对于神经网络的训练主要分成有监督和无监督两类方法，其中有监督方法需要大量的3D真值数据，难以取得。专利文献CN111340867A(申请号：CN202010121139.7)公开了一种图像帧的深度估计方法、装置、电子设备及存储介质，通过使用经过无监督训练得到的光流预测网络提取像素关系来代替传统手工设置的图像本文档来自技高网...

【技术保护点】
1.一种单目三维人体位姿无监督学习方法，其特征在于，包括：/n步骤A：运用骨骼长度估计网络和骨骼方向估计网络输出骨骼向量，对每一个目标关节，给出一组由根关节到此关节的骨骼路径，沿路径将骨骼向量相加得到一组粗糙关节坐标；/n步骤B：通过注意力网络得到每条路径的注意力，对每组粗糙关节坐标加权得到最终关节坐标；/n步骤C：在单帧3D到2D的投影位置误差的基础上，添加基于投影一致的位移误差损失，训练骨长、方向估计网络和注意力网络。/n

【技术特征摘要】
1.一种单目三维人体位姿无监督学习方法，其特征在于，包括：
步骤A：运用骨骼长度估计网络和骨骼方向估计网络输出骨骼向量，对每一个目标关节，给出一组由根关节到此关节的骨骼路径，沿路径将骨骼向量相加得到一组粗糙关节坐标；
步骤B：通过注意力网络得到每条路径的注意力，对每组粗糙关节坐标加权得到最终关节坐标；
步骤C：在单帧3D到2D的投影位置误差的基础上，添加基于投影一致的位移误差损失，训练骨长、方向估计网络和注意力网络。


2.根据权利要求1所述的单目三维人体位姿无监督学习方法，其特征在于，所述步骤A包括如下步骤：
步骤A1：对于骨骼Bi→j的预测分为预测骨长li→j和骨骼的单位方向Bd,i→j，同时对相邻关节的真骨骼Bi→j和非相邻关节的假骨骼B'i→j进行预测，将预测骨长li→j和骨骼的单位方向Bd,i→j，相乘得到骨骼向量，表达式为：
Bd,i→j＝(xo,i→j,yo,i→j,zo,i→j)
Bi→j＝li→jBd,i→j＝(li→jxo,i→j,li→jyo,i→j，li→jzo，i→j)＝(xi→j,yi→j,zi→j)
其中，Bi→j表示从关节Ji到关节Jj的骨骼；x0、y0、z0分别表示骨骼的单位方向向量；xi→j表示骨骼向量x轴方向分量；yi→j表示骨骼向量y轴方向分量；zi→j表示骨骼向量z轴方向分量；
步骤A2：将骨盆位置的关节点设为根关节Jroot，基于根关节将人体关节分为三组：上半身Supbody、左腿Sleftleg、右腿Srightleg，根关节到每组中的关节有唯一的由真骨骼组成的路径，对于任意的人体非根关节Jt∈Si(i＝upbody,leftleg,rightleg)，取与该关节不同组的一个关节Jk∈Sk(k＝upbody，leftleg,rightleg,Sk≠Si)，由根关节Jroot到关节Jk的真骨骼路径和一条由关节Jk到关节Jt的假骨骼B'k→t组成一条由根关节Jroot到目标关节Jt的骨骼路径表达式为：






其中，表示真骨骼路径经过的关节；Br→k1表示真骨骼路径第一条骨骼，即根关节Jroot到关节的骨骼向量；Bkn→k表示真骨骼路径最后一条骨骼，即关节到关节Jk的骨骼向量；
步骤A3：在网络预测得到的骨骼中，由得到的骨骼路径将对应的骨骼沿路径相加，得到一个对应关节的粗糙坐标



其中，m为当前的关节数。


3.根据权利要求1所述的单目三维人体位姿无监督学习方法，其特征在于，所述步骤B包括如下步骤：
步骤B1：在步骤A中得到每个关节基于一组骨骼路径的一组粗糙关节坐标，为衡量每条路径的重要性，设置注意力网络，将所有关节的粗糙关节坐标作为输入，输出得到每条路径对应的注意力W，表达式为：
W＝(W1,W2,…,Wn)



步骤B2：将得到的注意力结合粗糙关节坐标，得到最终预测的关节坐标位置，表达式为：



其中，n为关节数，nt为第t个关节的路径数。


4.根据权利要求1所述的单目三维人体位姿无监督学习方法，其特征在于，所述步骤C包括如下步骤：
步骤C1：对于由连续两帧2D关节位置图像预测得到的关节3D位置，使用相机参数矩阵，将每个关节的3D位置投影回2D平面，得到关节位置的2D投影，表达式为：



其中，f为相机焦距，dx为相机x轴方向一个像素的宽度，dy为相机沿y轴方向一个像素的宽度，(u0,v0)为光心对应图像像素坐标系的坐标，是相机空间坐标系中模型预测出的三维坐标点对应的图像像素坐标系二维坐标；
步骤C2：对于每个关节预测三维坐标点的二维投影，计算它在两帧之间的平面位移，即关节2D位置的估计位移，表达式为：



其中，为关节i在第t帧的图像像素坐标；
步骤C3：计算在输入的2D关节位置图像上每个关节点的位移，即关节2D位置的实际位移，表达式为：



步骤C4：将关节点2D位置的估计位移与对应的实际位移作差，将所有关节点位移误差的平均值作为损失函数，与单帧3D到2D的投影位置误差εi，t联合使用，表达式为：



其中，表示第t帧中第i个关节预测3D坐标投影得到的2D估计位置与实际2D位置的误差。


5.一种单目三维人体位姿无监督学习系统，其特征在于，...

【专利技术属性】
技术研发人员：王贺升，王子良，曾泓豪，王光明，宋昊临，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31