一种基于手部编码的手势识别算法的训练方法技术

本发明专利技术公开了一种基于手部编码的手势识别算法的训练方法，构造了一个简单的手部编码器，更精确的说，是构造了一个手指编码器，由于手掌是不容易发生形变的，因此只有手指部位参与编码操作(各个手指不同的状态可以组合各种手部动作)。它将每个手指的状态分为三种：未伸出、半伸出、完全伸出。以这种编码操作，让算法将注意力放在每个手指的状态，而不用考虑整体手部之间的联系，变相简化了任务。这种编码方法额外还需要跟手部关键点配合，以双分支多标签监督的方式联合训练，训练完成之后裁剪掉关键点的分支，只保留手部编码器的分支即可。在不增加数据量的前提下，构建一个轻量网络结构就可以达到单用关键点方式达不到的性能。就可以达到单用关键点方式达不到的性能。就可以达到单用关键点方式达不到的性能。

【技术实现步骤摘要】
一种基于手部编码的手势识别算法的训练方法


[0001]本专利技术涉及深度学习机器视觉算法
，尤其涉及一种基于手部编码的手势识别算法的训练方法。

技术介绍

[0002]随着近几年人工智能技术的发展，诸如手势、语音、肢体动作等非接触式人机交互开始大范围普及，手势是这些方式中比较自然和友好的一种，应用在娱乐、教育、医疗、安防等领域。为实现更自然、更方便的手势交互，对手势识别技术提出了更高的要求。按照是否佩戴额外的数据采集设备，手势识别可进一步分为基于佩戴设备的方式和基于深度学习算法的方式，本专利技术适用于后者。
[0003]在现有的手势识别算法中，较为常见的有两种：第一种首先对手部位置进行截取，然后对截取的手部区域进行裁剪和特征分类，由于人手是非刚体的，可以做出各种复杂的手势动作，且很多动作差异性不大，尤其是人手在进行动作转换的时候，视频连续帧的动作是连贯的且不具有明显差异，直接采取分类的方式效果并不好，这种方式只能对简单的动作和差异性大的动作进行很好地识别，因此通用性较差；第二种是通过骨骼关键点算法获得手部每个关键位置的骨骼关键点，以关键点之间的相对位置变化来判断不同的手部动作，该方法可以适配各种复杂的场景和手部动作变换，相对于第一种方法来说适配性更强，但是由于手部自身遮挡严重，对于被遮挡的关键点想要精确的识别，在算法结构的复杂度上要进行提升或者增加数据量，前者增加了计算成本，后者增加了数据采集和标注成本。

技术实现思路

[0004]本次专利技术的手势识别方法不同于以往任何的方法，它构造了一个简单的手部编码器，更精确的说，是构造了一个手指编码器，由于手掌是不容易发生形变的，因此只有手指部位参与编码操作(各个手指不同的状态可以组合各种手部动作)。它将每个手指的状态分为三种：未伸出、半伸出、完全伸出。以这种编码操作，让算法将注意力放在每个手指的状态，而不用考虑整体手部之间的联系，变相简化了任务。
[0005]这种编码方法额外还需要跟手部关键点配合，以双分支多标签监督的方式联合训练，训练完成之后裁剪掉关键点的分支，只保留手部编码器的分支即可。在不增加数据量的前提下，构建一个轻量网络结构就可以达到单用关键点方式达不到的性能。
[0006]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术公开了一种基于手部编码的手势识别算法的训练方法，所述方法包括如下步骤：
[0007]步骤1，在手势识别算法的数据预处理阶段，需要在手部数据进行采集和标注时生成一个二进制编码号；
[0008]步骤2，训练借助手部关键点算法，通过编码号结合手部关键点算法进行监督训练，用手部关键点和手部编码两种数据标签共同对算法进行训练。
[0009]更进一步地，所述步骤1进一步包括：对手指状态进行定义，分为未伸出、半伸出、
完全伸出三个状态，分别用100、010、001三个序列数去表示；通过编码数字对不同手势按照手指状态进行编码，通过特定手势对应的编码，将采集得到的每个手势动作都生成一个对应的编码号。
[0010]更进一步地，手指未伸出状态是介于完全伸出和未伸出之间，用于代表弯曲的手指。
[0011]更进一步地，编码需要将每根手指的可视状态考虑在内，可视值在0～1范围内，计算方式为：肉眼可看见的像素总数/每根手指总的像素数，在得到每根手指的可视值之后，跟各自的手指编码相乘得到最终的15位编码标签，这就将手部遮挡情况考虑在内，通用能力更强。
[0012]更进一步地，所述步骤2中的所述手部关键点算法采用基于高斯热图(heatmap
‑ꢀ
based)的方式，以此保留手部特征的空间信息，heatmap
‑
based网络构建包括下采样层和上采样层，在所述下采样最后一层之后新建一个分支，该分支输出的是手部编码，通过手部编码标签进行监督训练。
[0013]更进一步地，新建的手部编码分支跟heatmap
‑
based共用下采样层，参数采用权重共享模式，两者在训练时被监督的数据标签是不同的，前者通过手部编码器得到的编码号进行监督训练，后者通过数据原有的手部关键点坐标进行监督训练。
[0014]更进一步地，手部编码分支具体搭建和训练方法如下：
[0015]步骤201，对特征图进行拉伸操作，从原有的四维特征图伸展成二维的特征平面图；
[0016]步骤202，对展平后的特征放入全连接层，转成一个128～1024维的特征向量，并进行归一化，其中，维数越高，精度越高，速度会变慢。
[0017]步骤203，将归一化后的特征向量放入一个全连接，得到与手部编码器得到的15 位编码在数量上对齐的15维的输出。
[0018]步骤204，最后经过sigmoid激活函数，按顺序依次对每三个输出进行大小比较，得到每个手指编码的最大值，跟真实的手部编码标签计算平均绝对误差，记为L1。
[0019]更进一步地，将所述步骤202得到的特征向量通过矩阵相乘的方式计算彼此之间的余弦相似度，拉近相同手势之间向量的相似度，拉远不同手势之间向量的相似度，具体计算公式为：
[0020][0021]其中，B表示训练批次大小，f
i
表示每一个特征向量，f
+
表示跟f
i
相同的手势的特征向量，f
‑
表示跟f
i
不同的手势的特征向量。
[0022]更进一步地，在对下采样的特征图进行上采样处理时，上采样到原图的1.5倍～2 倍的尺寸以此得到的高斯热度图包含更多的关键点空间信息，然后按照手部编码训练的方式对其进行解码得到关键点坐标，并用真实的关键点标签计算平均绝对误差，记为L3。
[0023]更进一步地，对于原有的关键点分支，最终的损失函数公式为：
[0024]L＝L1+0.01*L2+0.2*L3
[0025]训练完之后，将原有的关键点上采样分支整个裁剪掉，只保留手部编码分支。
[0026]本专利技术与现有技术相比，有益效果为：构造了一个简单的手部编码器，更精确的说，是构造了一个手指编码器，由于手掌是不容易发生形变的，因此只有手指部位参与编码操作(各个手指不同的状态可以组合各种手部动作)。它将每个手指的状态分为三种：未伸出、半伸出、完全伸出。以这种编码操作，让算法将注意力放在每个手指的状态，而不用考虑整体手部之间的联系，变相简化了任务。
[0027]这种编码方法额外还需要跟手部关键点配合，以双分支多标签监督的方式联合训练，训练完成之后裁剪掉关键点的分支，只保留手部编码器的分支即可。在不增加数据量的前提下，构建一个轻量网络结构就可以达到单用关键点方式达不到的性能。
附图说明
[0028]从以下结合附图的描述可以进一步理解本专利技术。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。
[0029]图1是本专利技术的一种基于手部编码的手势识别算法的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手部编码的手势识别算法的训练方法，其特征在于，所述方法包括如下步骤：步骤1，在手势识别算法的数据预处理阶段，需要在手部数据进行采集和标注时生成一个二进制编码号；步骤2，训练借助手部关键点算法，通过编码号结合手部关键点算法进行监督训练，用手部关键点和手部编码两种数据标签共同对算法进行训练。2.如权利要求1所述的一种基于手部编码的手势识别算法的训练方法，其特征在于，所述步骤1进一步包括：对手指状态进行定义，分为未伸出、半伸出、完全伸出三个状态，分别用100、010、001三个序列数去表示；通过编码数字对不同手势按照手指状态进行编码，通过特定手势对应的编码，将采集得到的每个手势动作都生成一个对应的编码号。3.如权利要求2所述的一种基于手部编码的手势识别算法的训练方法，其特征在于，手指未伸出状态是介于完全伸出和未伸出之间，用于代表弯曲的手指。4.如权利要求3所述的一种基于手部编码的手势识别算法的训练方法，其特征在于，编码需要将每根手指的可视状态考虑在内，可视值在0～1范围内，计算方式为：肉眼可看见的像素总数/每根手指总的像素数，在得到每根手指的可视值之后，跟各自的手指编码相乘得到最终的15位编码标签，这就将手部遮挡情况考虑在内，通用能力更强。5.如权利要求1所述的一种基于手部编码的手势识别算法的训练方法，其特征在于，所述步骤2中的所述手部关键点算法采用基于高斯热图(heatmap
‑
based)的方式，以此保留手部特征的空间信息，heatmap
‑
based网络构建包括下采样层和上采样层，在所述下采样最后一层之后新建一个分支，该分支输出的是手部编码，通过手部编码标签进行监督训练。6.如权利要求1所述的一种基于手部编码的手势识别算法的训练方法，其特征在于，新建的手部编码分支跟heatmap
‑
based共用下采样层，参数采用权重共享模式，两者在训练时被监督的数据标签是不同的，前者通过手部...

【专利技术属性】
技术研发人员：李观喜，张磊，梁倬华，
申请(专利权)人：广州紫为云科技有限公司，
类型：发明
国别省市：