一种基于静动结合的模糊手势识别方法、设备及介质技术

本申请公开了一种基于静动结合的模糊手势识别方法、设备及介质，方法包括：提取用户在当前时刻待识别手势图像的手势特征点，将手势特征点作为第一特征点；对第一特征点的第一位置差分函数进行归一化，生成空间域特征矩阵；获取用户在预设历史时长内的多帧历史手势图像；提取每帧历史手势图像的手势特征点，在相邻帧历史手势图像中，确定处于相同位置的手势特征点，并将处于相同位置的手势特征点作为第二特征点；对第二特征点的第二位置差分函数进行归一化，生成时空序列特征矩阵；将空间域特征矩阵与时空序列特征矩阵分别输入至预先构建的深度卷积神经网络模型，输出用户在当前时刻的手势姿态以及手势动作类别，提高了手势识别准确率。别准确率。别准确率。

【技术实现步骤摘要】
一种基于静动结合的模糊手势识别方法、设备及介质


[0001]本申请涉及人工智能
，尤其涉及一种基于静动结合的模糊手势识别方法、设备及介质。

技术介绍

[0002]随着科技的发展，非接触式人机交互技术成为应用热点。其中，手势触控可有效代替触屏操作，比如，在使用医院自助机、无人零售机等设备时有效控制病毒交叉感染的风险，成为一种卫生且时尚的新兴技术。
[0003]目前，使用手势模拟鼠标运动与点击操作，又称为手势鼠标，简单地说，就是用鼠标做出一些动作以控制软件完成某些操作，主要在浏览器和桌面窗口管理中得到比较广泛的应用，如在空白处划出某种特定的轨迹，实现预先定制功能等。其中，手势鼠标主要包括鼠标位置定位、手势指令控制两个方面，鼠标位置定位主要用于屏幕控件或链接凌空点击、凌空手写字体等操作过程中位置的定位，手势指令可以模拟鼠标单击/双击或其它特定指令。
[0004]但是，不同于普通桌面上放置的光电鼠标或触控屏，手势鼠标位置定位与指令类别容易产生不可控误差，主要是由于在手势识别与特征点定位过程中，容易受到环境光线、摄像角度、人体微颤抖、手势姿态不规范等因素影响，导致模拟鼠标位置发生不期望的随机抖动，特别是因拍摄角度或动作不规范等原因导致手势姿态模棱两可，使得识别结果在两个识别类别之间反复跳动，影响对设备的正常操作，导致手势识别准确率低。

技术实现思路

[0005]本申请实施例提供一种基于静动结合的模糊手势识别方法、设备及介质，用于解决在手势鼠标进行触控操作时，手势识别准确率低的问题。
>[0006]本申请实施例采用下述技术方案：
[0007]一方面，本申请实施例提供了一种基于静动结合的模糊手势识别方法，该方法包括：获取用户在当前时刻的待识别手势图像，提取所述待识别手势图像的手势特征点，并将所述手势特征点作为第一特征点；确定所述第一特征点的第一位置差分函数，对所述第一位置差分函数进行归一化，生成所述第一特征点的空间域特征矩阵；获取所述用户在预设历史时长内的多帧历史手势图像；其中，所述预设历史时长以所述当前时刻为终止点；提取每帧历史手势图像的手势特征点，在相邻帧历史手势图像中，确定处于相同位置的手势特征点，并将所述处于相同位置的手势特征点作为第二特征点；确定所述第二特征点的第二位置差分函数，对所述第二位置差分函数进行归一化，生成所述第二特征点的时空序列特征矩阵；将所述空间域特征矩阵与所述时空序列特征矩阵分别输入至预先构建的深度卷积神经网络模型，输出所述用户在当前时刻的手势姿态以及手势动作类别。
[0008]一个示例中，所述将所述空间域特征矩阵与所述时空序列矩阵分别输入至预先构建的深度卷积神经网络模型，输出所述用户在当前时刻的手势姿态以及手势动作类别，具
体包括：通过第一卷积网络，提取所述空间域特征矩阵对应的第一特征图；通过第二卷积网络，提取所述时空序列特征矩阵对应的第二特征图；其中，所述第二特征图与所述第一特征图的尺度相同；通过预设注意力机制融合表达式，对所述第一特征图与所述第二特征图进行融合，生成融合特征；将所述融合特征输入至第三卷积网络，输出所述用户在当前时刻的手势姿态以及手势动作类别。
[0009]一个示例中，所述通过预设注意力机制融合表达式对所述第一特征图与所述第二特征图进行融合，生成融合特征，具体包括：将所述第一特征图与所述第二特征图进行合并通道，得到拼接特征图；对所述拼接特征图中的特征进行交叉点乘，得到交叉处理的特征；对所述交叉处理的特征进行概率化，得到初始融合特征；对所述初始融合特征进行反变换，生成与所述拼接特征图相同尺度的特征，并通过可学习参数对所述特征加权后与所述拼接特征图相加，生成融合特征。
[0010]一个示例中，所述对所述拼接特征图中的特征进行交叉点乘，得到交叉处理的特征，具体包括：其中，其中，FF是所述拼接特征图中各特征图对应的一维展开形式特征，所述FF的尺度为C
×
D，则C为拼接特征图中所有特征图的总数量，D为所述拼接特征图中的元素个数，FF
mk
是指编号为m特征图的第k个元素，FF
nk
是指编号为n特征图的第k个元素，G
mn
是指交叉处理的特征；所述对所述交叉处理的特征进行概率化，得到初始融合特征，具体包括：通过以下公式得到维度为C的初始融合特征：其中，TE
mn
为G
mn
概率化的初始融合特征；其中，TE
mn
为G
mn
概率化的初始融合特征；所述对所述初始融合特征进行反变换，生成与所述拼接特征图相同尺度的特征，并通过可学习参数对所述特征加权后与所述拼接特征图相加，生成融合特征，具体包括：通过C
×
C个初始融合特征按行列式编号顺序组合，生成维度为C
×
C的初始融合矩阵；通过以下公式，生成融合特征：FC＝β
·
reshape(TE
·
FF)+FB其中，FC为融合特征，TE初始融合矩阵，FB为拼接特征图，reshape用于将TE
·
FF恢复为与FB相同的尺度，β是可学习参数。
[0011]一个示例中，所述确定所述第一特征点的第一位置差分函数，具体包括：δ
i
＝P
i
‑
P
i
‑1，其中，δ
i
为第i个第一特征点在所述手势图像中的第一位置差分函数值，P
i
为所述第i个第一特征点在所述手势图像中的位置，P
i
‑1为第i
‑
1个第一特征点在所述手势图像中的位置，N为大于1的正整数；所述对所述第一位置差分函数进行归一化，确定所述第一特征点的空间域特征矩阵，具体包括：令δ0＝0，归一化函数表达式如下：＝0，归一化函数表达式如下：其中，γ
j
是指第j个第一特征点在所述手势图像中的归一化函数值，δ
j
是指第j个第一特征点在所述手势图像中的第一位置差分函数值，δ
i
为是指第i个第一特征点在所述手势图像中的第一位置差分函数值；若所述手势图像为二维图像，则空间域特征矩阵如下：其中，X1为空间域特征矩阵，γ
x，j
是指第j个第一特征点在x方向上的归一化变换值，γ
y，j
是指第j个第一特征点在y方向上的归一化变换值。
[0012]一个示例中，所述确定所述第二特征点的第二位置差分函数，具体包括：α
t，i
＝P
t，i
‑
P
t
‑
1，i
，其中，T为大于1的正整数，α
t，i
是指第i个第二特征点在t时刻的第二位置差分函数值，P
t，i
是指第i个第二特征点在t时刻的位置；所述对所述第二位置差分函数进行归一化，确定所述第二特征点的时空序列特征矩阵，具体包括：令α
0，i
＝0，则归一化函数的表达本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于静动结合的模糊手势识别方法，其特征在于，所述方法包括：获取用户在当前时刻的待识别手势图像，提取所述待识别手势图像的手势特征点，并将所述手势特征点作为第一特征点；确定所述第一特征点的第一位置差分函数，对所述第一位置差分函数进行归一化，生成所述第一特征点的空间域特征矩阵；获取所述用户在预设历史时长内的多帧历史手势图像；其中，所述预设历史时长以所述当前时刻为终止点；提取每帧历史手势图像的手势特征点，在相邻帧历史手势图像中，确定处于相同位置的手势特征点，并将所述处于相同位置的手势特征点作为第二特征点；确定所述第二特征点的第二位置差分函数，对所述第二位置差分函数进行归一化，生成所述第二特征点的时空序列特征矩阵；将所述空间域特征矩阵与所述时空序列特征矩阵分别输入至预先构建的深度卷积神经网络模型，输出所述用户在当前时刻的手势姿态以及手势动作类别。2.根据权利要求1所述的方法，其特征在于，所述将所述空间域特征矩阵与所述时空序列矩阵分别输入至预先构建的深度卷积神经网络模型，输出所述用户在当前时刻的手势姿态以及手势动作类别，具体包括：通过第一卷积网络，提取所述空间域特征矩阵对应的第一特征图；通过第二卷积网络，提取所述时空序列特征矩阵对应的第二特征图；其中，所述第二特征图与所述第一特征图的尺度相同；通过预设注意力机制融合表达式，对所述第一特征图与所述第二特征图进行融合，生成融合特征；将所述融合特征输入至第三卷积网络，输出所述用户在当前时刻的手势姿态以及手势动作类别。3.根据权利要求2所述的方法，其特征在于，所述通过预设注意力机制融合表达式，对所述第一特征图与所述第二特征图进行融合，生成融合特征，具体包括：将所述第一特征图与所述第二特征图进行合并通道，得到拼接特征图；对所述拼接特征图中的特征进行交叉点乘，得到交叉处理的特征；对所述交叉处理的特征进行概率化，得到初始融合特征；对所述初始融合特征进行反变换，生成与所述拼接特征图相同尺度的特征，并通过可学习参数对所述特征加权后与所述拼接特征图相加，生成融合特征。4.根据权利要求3所述的方法，其特征在于，所述对所述拼接特征图中的特征进行交叉点乘，得到交叉处理的特征，具体包括：其中，其中，FF是所述拼接特征图中各特征图对应的一维展开形式特征，所述FF的尺度为C
×
D，则C为拼接特征图中所有特征图的总数量，D为所述拼接特征图中的元素个数，FF
mk
是指编号为m特征图的第k个元素，FF
nk
是指编号为n特征图的第k个元素，G
mn
是指交叉处理的特征；所述对所述交叉处理的特征进行概率化，得到初始融合特征，具体包括：
其中，TE
mn
为G
mn
概率化的初始融合特征；所述对所述初始融合特征进行反变换，生成与所述拼接特征图相同尺度的特征，并通过可学习参数对所述特征加权后与所述拼接特征图相加，生成融合特征，具体包括：通过C
×
C个初始融合特征按行列式编号顺序组合，生成维度为C
×
C的初始融合矩阵；通过以下公式，生成融合特征：FC＝β
·
reshape(TE
·
FF)+FB其中，FC为融合特征，TE初始融合矩阵，FB为拼接特征图，reshape用于将TE
·
FF恢复为与FB相同的尺度，β是可学习参数。5.根据权利要求1所述的方法，其特征在于，所述确定所述第一特征点的第一位置差分函数，具体包括：其中，δ
i
为第i个第一特征点在所述手势图像中的第一位置差分函数值，P
i
为所述第i个第一特征点在所述手势图像中的位置，P
i
‑1为第i
‑
1个第一特征点在所述手势图像中的位置，N为大于1的正整数；所述对所述第一位置差分函数进行归一化，确定所述第一特征点的空间域特征矩阵，具体包括：令δ0＝0，归一化函数表达式如下：其中，γ
j
是指第j个第一特征点在所述手势图像中的归一化函数值，δ
j
是指第j个第一特征点在所述手势图像中的差分函数值，δ
i
为是指第i个第一特征点在所述手势图像中的第一位置差分函数值；若所述手势图像为二维图像，则空间域特征矩阵如下：其中，X1为空间域特征矩阵，γ
x,j
是指第j个第一特征点在x方向上的归一化变换值，γ
y,j
是指第j个第一特征点在y方向上的归一化变换值。6.根据权利要求1所述的方法，其特征在于，所述确定所述第二特征点...

【专利技术属性】
技术研发人员：朱锦雷，井焜，朱爱红，张汉同，张子良，
申请(专利权)人：神思电子技术股份有限公司，
类型：发明
国别省市：