【技术实现步骤摘要】
一种用于手势姿态分类的方法
本专利技术属于图像的姿态估计或图像分类领域，具体涉及手势或人体的姿态估计或分类。
技术介绍
现有的V2Vposehand模型，将深度图d转为体素作为模型输出，模型输出的是基于标签生成的3dheatmap(每个关节点对应一个3d热图)，其损失函数为：该方式具有以下问题：(1)网络结构复杂运行时间较长；(2)虽然该模型目前精度排行第一，但模型回归的heatmap之间没有结构联系，没有融入手部的结构特征的先验信息，误差还是较大；(3)模型没有教好的特征提取，用于手势分类效果不佳；(4)模型输出关键点的个数固定，无法处理手势遮挡关节点，因为相当于回归了一个不存在的关节点，模型输出无法判断哪个点是遮挡点Deeprior++是以2d的深度图作为模型输入，回归3d关节点坐标，该方法具有以下问题：(1)模型精度较低；(2)损失函数也没有体现手部结构联系，没有融入手部的结构特征的先验信息；(3)模型没有教好的特征提取，用于手势分类效果不佳；(4)模型输出关键点的个数固定，无法处理手势遮挡关节点，因为相当于回...
【技术保护点】
1.一种用于手势姿态分类的方法，其特征在于包括如下步骤：/n热图融合步骤，首先生成每个关节点的热图，将生成的热图上取最大值进行融合；/n强化结构信息步骤，将在已有的关节点中插入新的关节点，在每根手指可见的相邻两个关节点之间做插值，映射到热图，同样将插入的每个关节点转为热图，最终将关节点和插入点的热图做融合，生成联合热图；/n联合热图回归步骤，对于联合热图的回归损失采用了L2损失函数进行回归；/n关节点的分类步骤，基于联合热图进行像素级分类，使用focal loss损失函数求解。/n
【技术特征摘要】
1.一种用于手势姿态分类的方法，其特征在于包括如下步骤：
热图融合步骤，首先生成每个关节点的热图，将生成的热图上取最大值进行融合；
强化结构信息步骤，将在已有的关节点中插入新的关节点，在每根手指可见的相邻两个关节点之间做插值，映射到热图，同样将插入的每个关节点转为热图，最终将关节点和插入点的热图做融合，生成联合热图；
联合热图回归步骤，对于联合热图的回归损失采用了L2损失函数进行回归；
关节点的分类步骤，基于联合热图进行像素级分类，使用focalloss损失函数求解。
2.根据权利要求1所述的用于手势姿态分类的方法，其特征在于，热图融合步骤：
首先生成每个关节点的热图，Jk(k∈(1,2,...,K))表示一只手的k个关节点，将每个可见关节点转为k∈{Ivisual}，其中Ivisual表示所有可见关节点索引的集合，分别表示标注数据关节点在热图上对应的坐标，jkx、jky、jkz分别表示标注数据关节点的相机坐标，R为热图的缩放因子；然后将生成的len(Ivisual)个热图进行融合，融合的策略为在热图像素上取最大值，融合的热图：
3.根据权利要求1所述的用于手势姿态分类的方法，其特征在于，强化结构信息步骤：
在每根手指可见的相邻两个关节点之间做插值，假定手部手指关节点之间的骨骼为直线，即插入的关节点由指头的相邻两个关节点生成，插入关节点的坐标计算为：
xin＝m(x2-x1)+x1,yin＝m(y2-y1)+y1,zin＝m(z2-z1)+z1,m∈(0,1),Jin＝{(xin,yin,zin)}，
其中(x1,y1,z1)和(x2,y2,z2)为手指上相邻的两个关节点坐标，Jin表示所有插入关节点的集合，映射到热图为，同样将插入的每个关节点转为热图：
其中表示插入的所有关节点，最终将关节点和插入点的热图做融合。
4.根据权利要求3所述的用于手势姿态分类的方法，其特征在于：每个插入点的热图值分布范围要比关节点的小，最终的联合热图可表示为：
5.根据权利要求1所述的用于手势姿态分类的方法，其特征在于，联合热图回归步骤：
采用了L2损失函数，其中为预测的联合热图，而hunion为真实联合热图；
...
【专利技术属性】
技术研发人员：陈海波，
申请(专利权)人：深兰人工智能芯片研究院江苏有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。