一种基于单目视觉的手势识别方法和装置制造方法及图纸

本发明专利技术提供了一种基于单目视觉的手势识别方法及装置，方法包括：通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；对深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；根据预先建立的手势识别深度学习模型，对手部深度图像视频序列进行处理，获得每一帧的手势特征向量；根据每一帧的手势特征向量，进行静态手势识别和动态手势识别；通过单目摄像头移动方式生成的手部深度图像视频序列，应用手势识别深度学习模型提取手势特征，有效提高手势识别的准确率。

A method and device for gesture recognition based on monocular vision

【技术实现步骤摘要】
一种基于单目视觉的手势识别方法和装置
本专利技术涉及计算机视觉
，尤其涉及一种基于单目视觉的手势识别方法和装置。
技术介绍
手势识别在人机交互、游戏娱乐、车载应用等方面有着广泛的应用。手势识别装置以视觉、红外、雷达等方式感知手势环境，其中视觉感知方式的应用最为普遍。传统的视觉手势识别以单目或双目摄像头采集图像，然后进行手势特征提取和手势分类识别。但是，由于手势本身具有的复杂多变性、手的高纬度和多自由度等特性，单目摄像头采集的手势图像不具备深度信息，后续的手势特征提取一般通过肤色进行手势分割，易受个体差异、光照、背景等影响，因此单目视觉手势识别准确率较低和普适性较差；而双目摄像头设备，例如微软公司的3D体感设备kinect，虽然可以获取图像的深度信息用于手势识别，但不足在于需要特殊的视频采集设备来获取手势图像和深度信息，且设备成本较高。在视觉手势特征提取方面，传统的视觉特征提取手势的几何特征，包括手型、手部质心位置、矩特征、尺度不变特征等，用于满足旋转、平移和尺度不变性的需求，因此这类人工构造的特征需要大量的先验知识，且可构造的特征非常有限，从而限制了手势识别准确率。
技术实现思路
本专利技术的目的在于针对上述现有技术中的单目视觉手势识别准确率较低和普适性较差的问题，提出一种基于单目视觉的手势识别方法和装置，能够有效提高手势识别的准确率和普适性。一种基于单目视觉的手势识别方法，包括：通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量；根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。进一步地，所述单目摄像装置沿导轨做往复运动时，按照预设时间间隔或者预设距离间隔采集图像序列。进一步地，所述手势识别深度学习模型为21关节点手部模型，或者多层卷积神经网络模型、或者深度残差网络模型、或者对抗神经网络模型、或者混合神经网络模型，或者26自由度手部模型。进一步地，根据所述每一帧的手势特征向量，进行静态手势识别，包括：对所述手势特征向量进行量化，获得单帧离散特征向量；根据所述单帧离散特征向量对静态手势分类器进行训练，获得静态手势分类器参数；采用经训练后的静态手势分类器，对所述单帧离散特征向量进行分类判别，输出手势识别结果。进一步地，根据所述每一帧的手势特征向量，进行动态手势识别，包括：将每个动态手势动作用T帧表示；对T帧手势特征向量进行量化，获得T帧离散特征向量；根据所述T帧离散特征向量对动态手势分类器进行训练，获得动态手势分类器参数；采用经训练后的动态手势分类器，对所述T帧离散特征向量进行分类判别，输出手势识别结果。一种基于单目视觉的手势识别装置，包括单目摄像装置、导轨以及控制装置；所述单目摄像装置沿导轨做往复运动；所述单目摄像装置用于采集不同位置的图像序列；所述控制装置用于将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列，对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列，根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量，根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。进一步地，所述控制装置包括静态手势分类器，用于对所述手势特征向量进行量化，获得单帧离散特征向量，根据所述单帧离散特征向量进行训练，获得静态手势分类器参数；训练后的静态手势分类器用于对所述单帧离散特征向量进行分类判别，输出手势识别结果。进一步地，所述控制装置还包括动态手势分类器，用于将每个动态手势动作用T帧表示，对T帧手势特征向量进行量化，获得T帧离散特征向量，根据所述T帧离散特征向量进行训练，获得动态手势分类器参数；训练后的动态手势分类器用于对所述T帧离散特征向量进行分类判别，输出手势识别结果。进一步地，所述静态手势分类器为支持向量机分类器，或者神经网络分类器，或者集成分类器。进一步地，所述动态手势分类器为隐马尔科夫分类器，或者神经网络分类器。本专利技术提供的基于单目视觉的手势识别方法和装置，至少包括如下有益效果：(1)通过单目摄像头移动方式生成的手部深度图像视频序列，应用手势识别深度学习模型提取手势特征，有效提高手势识别的准确率；(2)采用运动三角原理生成深度图像视频序列，准确度高，可靠性强；(3)装置结构简单，成本低。附图说明图1为本专利技术提供的基于单目视觉的手势识别方法一种实施例的流程图。图2为本专利技术提供的基于单目视觉的手势识别方法中单目摄像装置按照预设时间间隔采集图像序列一种实施例的示意图。图3为本专利技术提供的基于单目视觉的手势识别方法中单目摄像装置按照预设距离间隔采集图像序列一种实施例的示意图。图4为本专利技术提供的基于单目视觉的手势识别方法中应用运动三角测量原理生成深度图像视频序列一种实施例的示意图。图5为本专利技术提供的基于单目视觉的手势识别方法中21关节点手部模型一种实施例的示意图。图6为本专利技术提供的基于单目视觉的手势识别方法中多层卷积神经网络模型一种实施例的示意图。图7为本专利技术提供的基于单目视觉的手势识别方法中26自由度手部模型一种实施例的示意图。图8为本专利技术提供的基于单目视觉的手势识别方法另一种实施例的流程图。图9为本专利技术提供的基于单目视觉的手势识别装置一种实施例的结构示意图。具体实施方式为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。实施例一参考图1，本实施例提供一种基于单目视觉的手势识别方法，包括：步骤S101，通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；步骤S102，将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；步骤S103，对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；步骤S104，根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量；步骤S105，根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。本实施例提供的基于单目视觉的手势识别方法，通过单目摄像头移动方式生成的手部深度图像视频序列，应用手势识别深度学习模型提取手势特征，有效提高手势识别的准确率。进一步地，所述单目摄像装置沿导轨做往复运动时，按照预设时间间隔或者预设距离间隔采集图像序列。参考图2，单目摄像装置101沿导轨102运动，按照预设时间间隔T0、T1、T2、T3、T4的先后顺序拍摄，获得图像序列。此外，参考图3，还可以按照预设距离间隔采集图像序列，单目摄像装置101沿导轨102运动，按照A->B->C->B-&本文档来自技高网...

【技术保护点】
一种基于单目视觉的手势识别方法，其特征在于，包括：通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量；根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。

【技术特征摘要】
1.一种基于单目视觉的手势识别方法，其特征在于，包括：通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量；根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。2.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，所述单目摄像装置沿导轨做往复运动时，按照预设时间间隔或者预设距离间隔采集图像序列。3.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，所述手势识别深度学习模型为21关节点手部模型，或者多层卷积神经网络模型、或者深度残差网络模型、或者对抗神经网络模型、或者混合神经网络模型，或者26自由度手部模型。4.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，根据所述每一帧的手势特征向量，进行静态手势识别，包括：对所述手势特征向量进行量化，获得单帧离散特征向量；根据所述单帧离散特征向量对静态手势分类器进行训练，获得静态手势分类器参数；采用经训练后的静态手势分类器，对所述单帧离散特征向量进行分类判别，输出手势识别结果。5.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，根据所述每一帧的手势特征向量，进行动态手势识别，包括：将每个动态手势动作用T帧表示；对T帧手势特征向量进行量化，获得T帧离散特征向量；根据所述T帧离散特征向量对动态手势分类器进行训练，获得动态手势分类器参数；采用经训练后的动态手势分...

【专利技术属性】
技术研发人员：綦科，
申请(专利权)人：广州大学，
类型：发明
国别省市：广东,44