一种基于深度学习的手势跟踪与识别方法技术

本发明专利技术公开了一种基于深度学习的手势跟踪与识别方法，主要步骤为：1)采集若干手势彩色图像；2)标记出手势彩色图像的手部区域框；对手势彩色图像进行分类；3)建立手势数据集；4)搭建Darknet‑53卷积神经网络模型；5)预训练；6)将训练后Darknet‑53卷积神经网络模型的网络参数迁移到目YOLOv3网络模型中；7)使用k‑means聚类算法对手势彩色图像的手部区域框进行聚类，得到k类手部区域框；8)得到训练后的YOLOv3网络模型；9)训练后的YOLOv3网络模型对实时视频图像进行识别，得到手部区域框和手势类别信息。本发明专利技术对流式视频中手势的识别准确率可达到95％以上，识别速度达到50frames/s以上。

【技术实现步骤摘要】
一种基于深度学习的手势跟踪与识别方法
本专利技术涉及目标检测与手势识别
，具体是一种基于深度学习的手势跟踪与识别方法。
技术介绍
人类能够很容易识别手势，经过一段时间的学习，人们可以快速地用手势进行交流。近年来，大量的研究致力于开发对手势图像进行识别并分类为预设类别的系统。这种系统已经在游戏和电子设备控制、机器人控制、虚拟现实环境和自然语言通信等领域中得到应用。基于手势识别的人机交互中，最重要的是对手部进行快速、准确的跟踪定位，由于实时视频中的手部图像有光照强度、自遮挡、运动速度快以及尺度变化等问题，在实际应用中对人的手势进行实时追踪并进行识别是困难的。传统的手势识别方法中，有的使用了特定的传感设备，如数据手套、肌电传感器等，但这将应用限制在有限的场景内；同时，多个摄像头的使用也严重限制了应用场景；目前大多数研究都依赖于深度摄像头拍摄的深度图像，但深度摄像头并不像普通的摄像头那么普遍，且只能在室内环境稳定地使用。上述传统方法在识别时间和识别率上都有待提高。
技术实现思路
本专利技术的目的是解决现有技术中存在的问本文档来自技高网...

【技术保护点】
1.一种基于深度学习的手势跟踪与识别方法，其特征在于，主要包括以下步骤：/n1)采集若干手势彩色图像，并对所述手势彩色图像进行预处理；/n2)标记出手势彩色图像的所述手部区域框；对手势彩色图像进行分类，为每幅手势彩色图像打上唯一标签，并生产数据标签文件。/n3)建立手势数据集；所述手势数据集包括手势彩色图像和对应的标签；/n4)搭建Darknet-53卷积神经网络模型；/n5)利用训练数据集对Darknet-53卷积神经网络模型进行预训练，得到训练后的Darknet-53卷积神经网络模型；/n6)将训练后Darknet-53卷积神经网络模型的网络参数迁移到目YOLOv3网络模型中，并初始化；/...

【技术特征摘要】
1.一种基于深度学习的手势跟踪与识别方法，其特征在于，主要包括以下步骤：
1)采集若干手势彩色图像，并对所述手势彩色图像进行预处理；
2)标记出手势彩色图像的所述手部区域框；对手势彩色图像进行分类，为每幅手势彩色图像打上唯一标签，并生产数据标签文件。
3)建立手势数据集；所述手势数据集包括手势彩色图像和对应的标签；
4)搭建Darknet-53卷积神经网络模型；
5)利用训练数据集对Darknet-53卷积神经网络模型进行预训练，得到训练后的Darknet-53卷积神经网络模型；
6)将训练后Darknet-53卷积神经网络模型的网络参数迁移到目YOLOv3网络模型中，并初始化；
7)使用k-means聚类算法对手势彩色图像的手部区域框进行聚类，得到k类手部区域框；将每类手部区域框宽高维度的聚类中心作为YOLOv3网络模型的配置文件的初始候选框参数；
8)将手势数据集输入到YOLOv3网络模型中，对YOLOv3网络模型进行训练，得到训练后的YOLOv3网络模型；
9)获取实时视频流，并以视频帧方式输入到训练后的YOLOv3网络模型中；利用训练后的YOLOv3网络模型对实时视频图像进行识别，得到手部区域框和手势类别信息。


2.根据权利要求1或2所述的一种基于深度学习的手势跟踪与识别方法，其特征在于，采集手势彩色图像的装置为摄像头。


3.根据权利要求1所述的一种基于深度学习的手势跟踪与识别方法，其特征在于，对所述手势彩色图像进行预处理方法为：利用数据增强方法对手势彩色图像进行扩充；数据增强方法包括翻转、平移和添加噪声。


4.根据权利要求1所述的一种基于深度学习的手势跟踪与识别方法，其特征在于，所述训练数据集为Egohands数据集。


5.根据权利要求1所述的一种基于深度学习的手势跟踪与识别方法，其特征在于，所述手势彩色图像在不同的场景、手部倾斜角度、手部尺度和光照条件下采集。


6.根据权利要求1所述的一种基于深度学习的手势跟踪与识别方法，其特征在于，对Darknet-53卷积神经网络模型进行预训练的方法为：将训练数据集中的手部图像和标签文件输入到Darknet-53卷积神经网络中，利用梯度下降算法不断更新Darknet-53卷积神经网络权重，直至Darknet-53卷积神经网络权重满足阈值，得到训练好的Darknet-53卷积神经网络模型。


7.根据权利要求1所述的一种基于深度学习的手势跟踪与识别方法，其特征在于，k-means聚类时，每个手部区域框和聚类中心的重合度满足下式：
d(box,centroid)＝1-IOU(box,centroid)；(1)
式中，d(box,centroid)为每个手部区域框中心和聚类中心centroid的最短距离；IOU(box,centroid)为每个手部区域框中心和聚类中心centroid的距离。


8.根据权利要求1所述的一种基于深度学习的手...

【专利技术属性】
技术研发人员：刘礼，张玉浩，廖军，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50