一种基于动静态锚点的手势估计方法技术

本发明专利技术涉及一种基于动静态锚点的手势估计方法,所述方法包括：S1：在深度图样本上设置静态锚点，得到设置静态锚点后的深度图样本；S2：基于设置静态锚点后的深度图样本，构建动静态锚点的手势估计网络；所述动静态锚点的手势估计网络包括：特征提取模块、静态锚点估计模块、静态锚点权重估计模块、动态锚点权重估计模块和动态锚点修正模块；S3：训练基于动静态锚点的手势估计网络至收敛，得到训练好的动静态锚点手势估计网络；S4：将测试的多个深度图样本输入至训练好的动静态锚点手势估计网络，实现手势估计。实现手势估计。实现手势估计。

【技术实现步骤摘要】
一种基于动静态锚点的手势估计方法


[0001]本专利技术涉及3D手势估计领域。具体为一种基于动静态锚点的手势估计方法。

技术介绍

[0002]3D手势估计是计算机视觉领域的热门课题。它在人机交互、行为分析等领域有着广泛应用。随着深度摄像机的发展，基于深度图的3D手势估计得到了越来越多学者的关注。相比较于基于RGB图像的3D手势估计方法，基于深度图的3D手势估计方法不获取人的外观信息，不易造成人的隐私泄露。同时，与RGB图像相比，深度图不易受到环境因素的干扰，且能够提供更丰富的3D信息。
[0003]大部分现有方法设计多种结构的深度卷积神经网络，提取深度图中包含的特征，进行3D手势估计。这些方法大多致力于将深度图转化为点云，并从多个视角提取手部特征，而忽略了手部关节点间存在的位置关系。而且，处理点云的过程需要耗费大量时间，且对计算机设备的性能要求较高。
[0004]因此，针对上述3D手势估计算法的问题，提出一种基于动静态锚点的手势估计方法。

技术实现思路

[0005]本专利技术为了解决
技术介绍
中存在的问题，目的在于提供了一种基于动静态锚点的手势估计方法，用以解决上述情况。
[0006]用于解决问题的方案：
[0007]一种基于动静态锚点的手势估计方法，所述方法包括：
[0008]S1：在深度图样本上设置静态锚点，得到设置静态锚点后的深度图样本；
[0009]S2：基于设置静态锚点后的深度图样本，构建动静态锚点的手势估计网络；所述动静态锚点的手势估计网络包括：特征提取模块、静态锚点估计模块、静态锚点权重估计模块、动态锚点权重估计模块和动态锚点修正模块；
[0010]S3：训练基于动静态锚点的手势估计网络至收敛，得到训练好的动静态锚点手势估计网络；
[0011]S4：将测试的深度图样本输入至训练好的动静态锚点手势估计网络中，实现手势估计。
[0012]进一步，所述构建动静态锚点的手势估计网络，具体包括：
[0013]将深度图样本输入至特征提取模块，获取深度图特征；
[0014]将深度图特征输入至静态锚点估计模块，获取静态锚点对关节点2D平面坐标的估计结果和静态锚点对关节点深度坐标的估计结果；
[0015]将所述深度图特征输入至预设的静态锚点权重估计模块中，获取静态锚点对关节点的归一化权重；
[0016]基于静态锚点对关节点的归一化权重，对所述静态锚点对关节点2D平面坐标的估
计结果加权求和处理，获取关节点2D平面坐标的初步估计结果；
[0017]基于静态锚点对关节点的归一化权重，对静态锚点对关节点深度坐标的估计结果加权求和，获取关节点深度坐标的最终估计结果；
[0018]将静态锚点对关节点2D平面坐标的估计结果输入至预设的动态锚点修正模型中，获取动态锚点对关节点2D平面坐标的修正结果；
[0019]将关节点2D平面坐标的初步估计结果输入至预设的动态锚点权重估计模型中，获取动态锚点对关节点的归一化权重；
[0020]基于动态锚点对关节点的归一化权重，对动态锚点对关节点2D平面坐标的修正结果加权求和，获取关节点2D平面坐标的修正结果；
[0021]基于静态锚点对关节点的归一化权重，对关节点2D平面坐标的修正结果加权求和，获取关节点2D平面坐标的最终估计结果。
[0022]进一步，基于任一输入深度图样本I，为深度图样本I的矩阵表示，W、H分别对应深度图样本矩阵表示的行数、列数，表示矩阵为实数矩阵；深度图样本I由N个关节点的2D平面坐标和深度坐标标记：
[0023][0024][0025]其中，表示第n个关节点的2D平面坐标的真实值，表示第n个关节点的深度坐标的真实值；
[0026]在深度图样本I上，每隔h个像素点设置1个静态锚点，共设置M个静态锚点；将深度图样本I输入至特征提取模块，获取深度图特征；特征提取模块的结构与ResNet
‑
50的结构一致，其由一系列卷积层和池化层组成；特征提取模块的输出为深度图特征一致，其由一系列卷积层和池化层组成；特征提取模块的输出为深度图特征其中W1、H1、D分别表示输出特征图的高度、宽度和通道数；深度图特征F共有W1×
H1个像素点，每个像素点的特征向量f
i
的维度为D，i＝1,2,
…
,W1×
H1；
[0027]静态锚点估计模块的输入为深度图特征F，输出为静态锚点对关节点2D平面坐标的估计结果S
xy
和静态锚点对关节点深度坐标的估计结果S
z
；为静态锚点对关节点2D平面坐标的估计结果的矩阵表示，M、N和2分别对应静态锚点对关节点2D平面坐标的估计结果的矩阵表示的行数、列数和通道数；(S
xy
)
a,b
为S
xy
中第a行第b列的数值，(S
xy
)
a,b
表示第a个静态锚点对第b个关节点的2D平面坐标的估计结果，是第a个静态锚点对第b个关节点的2D平面坐标的估计结果的矩阵表示；为静态锚点对关节点深度坐标的估计结果的矩阵表示，M、N和1分别对应静态锚点对关节点深度坐标的估计结果的矩阵表示的行数、列数和通道数；(S
z
)
a,b
为S
z
中第a行第b列的数值，(S
z
)
a,b
表示第a个静态锚点对第b个关节点的深度坐标的估计结果，为第a个静态锚点对第b个关节点的深度坐标的估计结果的矩阵表示；
[0028]静态锚点估计模块的结构：包括2D平面坐标估计模块和深度估计模块；2D平面坐标估计模块包含卷积层1、卷积层2、卷积层3、卷积层4、卷积层5和转化层1；卷积层1有256个卷积核，卷积核的大小为3
×
3；卷积层1的输入为深度图特征F，输出为P1；卷积层2有256个卷积核，卷积核的大小为3
×
3；卷积层2的输入为P1，输出为P2；卷积层3有256个卷积核，卷积
核的大小为3
×
3；卷积层3的输入为P2，输出为P3；卷积层4有256个卷积核，卷积核的大小为3
×
3；卷积层4的输入为P3，输出为P4；卷积层5有H1个卷积核，卷积核的大小为3
×
3；卷积层5的输入为P4，输出为P5；转化层1用来改变P5的形状，转化层1的输入为P5，输出为S
xy
；深度估计模块包含卷积层6、卷积层7、卷积层8、卷积层9、卷积层10和转化层2；卷积层6有256个卷积核，卷积核的大小为3
×
3；卷积层6的输入为深度图特征F，输出为P6；卷积层7有256个卷积核，卷积核的大小为3
×
3；卷积层7的输入为P6，输出为P7；卷积层8有256个卷积核，卷积核的大小为3
×
3；卷积层8的输入为P7，输出为P8；卷积层9有256个卷积核本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动静态锚点的手势估计方法，其特征在于，所述方法包括：S1：在深度图样本上设置静态锚点，得到设置静态锚点后的深度图样本；S2：基于设置静态锚点后的深度图样本，构建动静态锚点的手势估计网络；所述动静态锚点的手势估计网络包括：特征提取模块、静态锚点估计模块、静态锚点权重估计模块、动态锚点权重估计模块和动态锚点修正模块；S3：训练基于动静态锚点的手势估计网络至收敛，得到训练好的动静态锚点手势估计网络；S4：将测试的深度图样本输入至训练好的动静态锚点手势估计网络中，实现手势估计。2.根据权利要求1所述的一种基于动静态锚点的手势估计方法，其特征在于，所述构建动静态锚点的手势估计网络，具体包括：将深度图样本输入至特征提取模块，获取深度图特征；将深度图特征输入至静态锚点估计模块，获取静态锚点对关节点2D平面坐标的估计结果和静态锚点对关节点深度坐标的估计结果；将所述深度图特征输入至预设的静态锚点权重估计模块中，获取静态锚点对关节点的归一化权重；基于静态锚点对关节点的归一化权重，对所述静态锚点对关节点2D平面坐标的估计结果加权求和处理，获取关节点2D平面坐标的初步估计结果；基于静态锚点对关节点的归一化权重，对静态锚点对关节点深度坐标的估计结果加权求和，获取关节点深度坐标的最终估计结果；将静态锚点对关节点2D平面坐标的估计结果输入至预设的动态锚点修正模型中，获取动态锚点对关节点2D平面坐标的修正结果；将关节点2D平面坐标的初步估计结果输入至预设的动态锚点权重估计模型中，获取动态锚点对关节点的归一化权重；基于动态锚点对关节点的归一化权重，对动态锚点对关节点2D平面坐标的修正结果加权求和，获取关节点2D平面坐标的修正结果；基于静态锚点对关节点的归一化权重，对关节点2D平面坐标的修正结果加权求和，获取关节点2D平面坐标的最终估计结果。3.根据权利要求2所述的一种基于动静态锚点的手势估计方法，其特征在于，基于任一输入深度图样本I，为深度图样本I的矩阵表示，W、H分别对应深度图样本矩阵表示的行数、列数，表示矩阵为实数矩阵；深度图样本I由N个关节点的2D平面坐标和深度坐标标记：标记：其中，表示第n个关节点的2D平面坐标的真实值，表示第n个关节点的深度坐标的真实值；在深度图样本I上，每隔h个像素点设置1个静态锚点，共设置M个静态锚点；将深度图样本I输入至特征提取模块，获取深度图特征；特征提取模块的结构与ResNet
‑
50的结构一致，其由一系列卷积层和池化层组成；特征提取模块的输出为深度图特征其中
W1、H1、D分别表示输出特征图的高度、宽度和通道数；深度图特征F共有W1×
H1个像素点，每个像素点的特征向量f
i
的维度为D，i＝1,2,
…
,W1×
H1；静态锚点估计模块的输入为深度图特征F，输出为静态锚点对关节点2D平面坐标的估计结果S
xy
和静态锚点对关节点深度坐标的估计结果S
z
；为静态锚点对关节点2D平面坐标的估计结果的矩阵表示，M、N和2分别对应静态锚点对关节点2D平面坐标的估计结果的矩阵表示的行数、列数和通道数；(S
xy
)
a,b
为S
xy
中第a行第b列的数值，(S
xy
)
a,b
表示第a个静态锚点对第b个关节点的2D平面坐标的估计结果，是第a个静态锚点对第b个关节点的2D平面坐标的估计结果的矩阵表示；为静态锚点对关节点深度坐标的估计结果的矩阵表示，M、N和1分别对应静态锚点对关节点深度坐标的估计结果的矩阵表示的行数、列数和通道数；(S
z
)
a,b
为S
z
中第a行第b列的数值，(S
z
)
a,b
表示第a个静态锚点对第b个关节点的深度坐标的估计结果，为第a个静态锚点对第b个关节点的深度坐标的估计结果的矩阵表示；静态锚点估计模块的结构：包括2D平面坐标估计模块和深度估计模块；2D平面坐标估计模块包含卷积层1、卷积层2、卷积层3、卷积层4、卷积层5和转化层1；卷积层1有256个卷积核，卷积核的大小为3
×
3；卷积层1的输入为深度图特征F，输出为P1；卷积层2有256个卷积核，卷积核的大小为3
×
3；卷积层2的输入为P1，输出为P2；卷积层3有256个卷积核，卷积核的大小为3
×
3；卷积层3的输入为P2，输出为P3；卷积层4有256个卷积核，卷积核的大小为3
×
3；卷积层4的输入为P3，输出为P4；卷积层5有H1个卷积核，卷积核的大小为3
×
3；卷积层5的输入为P4，输出为P5；转化层1用来改变P5的形状，转化层1的输入为P5，输出为S
xy
；深度估计模块包含卷积层6、卷积层7、卷积层8、卷积层9、卷积层10和转化层2；卷积层6有256个卷积核，卷积核的大小为3
×
3；卷积层6的输入为深度图特征F，输出为P6；卷积层7有256个卷积核，卷积核的大小为3
×
3；卷积层7的输入为P6，输出为P7；卷积层8有256个卷积核，卷积核的大小为3
×
3；卷积层8的输入为P7，输出为P8；卷积层9有256个卷积核，卷积核的大小为3
×
3；卷积层9的输入为P8，输出为P9；卷积层10有H2个卷积核，卷积核的大小为3
×
3；卷积层10的输入为P9，输出为P
10
；转化层2用来改变P
10
的形状，转化层2的输入为P
10
，输出为S
z
。4.根据权利要求2所述的一种基于动静态锚点的手势估计方法，其特征在于，静态锚点权重估计模块的输入为深度图特征F，输出为静态锚点对关节点的归一化权重W，其中，为静态锚点对关节点的归一化权重的矩阵表示；静态锚点权重估计模块的结构：包括卷积层11、卷积层12、卷积层13、卷积层14、卷积层15、转化层3和归一化层；卷积层11有256个卷积核，卷积核的大小为3
×
3；卷积层11的输入为深度图特征F，输出为P
11
；卷积层12有256个卷积核，卷积核的大小为3
×
3；卷积层12的输入为P
11
，输出为P
12
；卷积层13有256个卷积核，卷积核的大小为3
×
3；卷积层13的输入为P
12
，输出为P
13
；卷积层14有256个卷积核，卷积核的大小为3
×
3；卷积层14的输入为P
13
，输出为P
14
；卷积层15有H3个卷积核，卷积核的大小为3
×
3；卷积层15的输入为P
14
，输出为P
15
；转化层3用来改变P
15
的形状，转化层3的输入为P
15
，输出为静态锚点对关节点的权重其中，为静态锚点对关节点的权重的矩阵表示，为中第b列的数值，表示M个静态锚点对第b个关节点的权重，为M个静态锚点对第b个关节点的权重的矩阵
表示为中第a行第b列的数值，表示第a个静态锚点对第b个关节点的权重，为第a个静态锚点对第b个关节点的权重的矩阵表示；归一化层的激活函数为softmax函数，归一化层的输入为输出为静态锚点对关节点的归一化权重W，为静态锚点对关节点的归一化权重矩阵表示，W
a,b
为W中第a行第b列的值，W
a,b
表示第a个静态锚点对第b个关节点的归一化权重，为第a个静态锚点对第b个关节点的归一化权重的矩阵表示，W
:,b
为W中第b列的值，W
:,b
为M个静态锚点对第b个关节点的归一化权重，为M个静态锚点对第b个关节点的归一化权重的矩阵表示，...

【专利技术属性】
技术研发人员：杨剑宇，邢慧琴，
申请(专利权)人：苏州大学，
类型：发明
国别省市：