一种基于单目视觉的手势识别方法和装置制造方法及图纸

本发明专利技术提供了一种基于单目视觉的手势识别方法及装置，方法包括：通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；对深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；根据预先建立的手势识别深度学习模型，对手部深度图像视频序列进行处理，获得每一帧的手势特征向量；根据每一帧的手势特征向量，进行静态手势识别和动态手势识别；通过单目摄像头移动方式生成的手部深度图像视频序列，应用手势识别深度学习模型提取手势特征，有效提高手势识别的准确率。

A method and device for gesture recognition based on monocular vision

【技术实现步骤摘要】
一种基于单目视觉的手势识别方法和装置
本专利技术涉及计算机视觉
，尤其涉及一种基于单目视觉的手势识别方法和装置。
技术介绍
手势识别在人机交互、游戏娱乐、车载应用等方面有着广泛的应用。手势识别装置以视觉、红外、雷达等方式感知手势环境，其中视觉感知方式的应用最为普遍。传统的视觉手势识别以单目或双目摄像头采集图像，然后进行手势特征提取和手势分类识别。但是，由于手势本身具有的复杂多变性、手的高纬度和多自由度等特性，单目摄像头采集的手势图像不具备深度信息，后续的手势特征提取一般通过肤色进行手势分割，易受个体差异、光照、背景等影响，因此单目视觉手势识别准确率较低和普适性较差；而双目摄像头设备，例如微软公司的3D体感设备kinect，虽然可以获取图像的深度信息用于手势识别，但不足在于需要特殊的视频采集设备来获取手势图像和深度信息，且设备成本较高。在视觉手势特征提取方面，传统的视觉特征提取手势的几何特征，包括手型、手部质心位置、矩特征、尺度不变特征等，用于满足旋转、平移和尺度不变性的需求，因此这类人工构造的特征需要大量的先验知识，且可构造的特征非常有限，从而限制了手势识别准确率。
技术实现思路
本文档来自技高网...

【技术保护点】
一种基于单目视觉的手势识别方法，其特征在于，包括：通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量；根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。

【技术特征摘要】
1.一种基于单目视觉的手势识别方法，其特征在于，包括：通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量；根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。2.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，所述单目摄像装置沿导轨做往复运动时，按照预设时间间隔或者预设距离间隔采集图像序列。3.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，所述手势识别深度学习模型为21关节点手部模型，或者多层卷积神经网络模型、或者深度残差网络模型、或者对抗神经网络模型、或者混合神经网络模型，或者26自由度手部模型。4.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，根据所述每一帧的手势特征向量，进行静态手势识别，包括：对所述手势特征向量进行量化，获得单帧离散特征向量；根据所述单帧离散特征向量对静态手势分类器进行训练，获得静态手势分类器参数；采用经训练后的静态手势分类器，对所述单帧离散特征向量进行分类判别，输出手势识别结果。5.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，根据所述每一帧的手势特征向量，进行动态手势识别，包括：将每个动态手势动作用T帧表示；对T帧手势特征向量进行量化，获得T帧离散特征向量；根据所述T帧离散特征向量对动态手势分类器进行训练，获得动态手势分类器参数；采用经训练后的动态手势分...

【专利技术属性】
技术研发人员：綦科，
申请(专利权)人：广州大学，
类型：发明
国别省市：广东,44