基于深度学习的虚拟人手势检测方法技术

本发明专利技术涉及一种基于深度学习的虚拟人手势检测方法，包括：采集虚拟人手势视频，并读取手势视频，将手势视频转换为手势视频帧图像；将待识别的手势视频帧图像输入基于注意力机制的主干特征提取网络进行特征提取，获得待识别图像的特征图；将待识别图像的特征图输入基于拉普拉斯金字塔的双向特征融合网络，对特征图中不同尺度的特征进行融合，获得待识别图像的高级特征图；将待识别图像的高级特征图输入分类预测网络，对目标进行回归分类，以实现手势的识别。本发明专利技术通过注意力机制来实现将注意力放在占位较小的手部空间特征上，并通过拉普拉斯金字塔降低网络层数增加引起的性能降低。

【技术实现步骤摘要】

本专利技术属于图像处理，具体涉及一种基于深度学习的虚拟人手势检测方法。

技术介绍

1、目前，人机交互的方式越来越多。随着虚拟技术的发展，基于手势的人机交互方式受到越来越多的关注，其在硬件成本和操作方式上都具有极大的优势。电视机、电子相框等电子设备中可以融入手势识别功能，以实现基于手势的人机交互。电子设备通过摄像头采集用户的手部动作，并通过模式识别算法对采集的图像中的手部特征进行检测和跟踪，将手部的运动信息转化为电子设备上的光标的运动信息，从而触发电子设备上相应的操作命令，例如视频播放控制、网页切换以及游戏互动等。手势识别技术基于电子设备所配备的摄像头和相应的识别软件，即可实现基于手势的人机交互。

2、现有的手势识别检测技术包括肤色分割和目标检测分割。肤色分割过程中，由于rgb 颜色空间中的 r、g、b 三个分量会一起随光照强度的变化而改变，而ycbcr颜色空间中色度信号对光照强度变化感知不强，所以肤色分割主要使用ycbcr 进行肤色与背景的区分，其亮度信号(y)和色度信号(cb 和 cr)是相互独立的。从rgb空间到 ycbcr 空间的转换公式本文档来自技高网...

【技术保护点】

1.一种基于深度学习的虚拟人手势检测方法，其特征在于，所述手势检测方法基于训练后的手势检测模型，手势检测模型采用EfficientDet手势检测模型；EfficientDet手势检测模型包括基于注意力机制的主干特征提取网络、基于拉普拉斯金字塔的双向特征融合网络及分类预测网络；

2.根据权利要求1所述基于深度学习的虚拟人手势检测方法，其特征在于：所述主干特征提取网络包括依次连接的卷积层、深度卷积层、SE Block和点卷积层。

3.根据权利要求2所述基于深度学习的虚拟人手势检测方法，其特征在于，在所述SEBlock与所述点卷积层之间设有空间注意力模块，所述空间注意力...

【技术特征摘要】

1.一种基于深度学习的虚拟人手势检测方法，其特征在于，所述手势检测方法基于训练后的手势检测模型，手势检测模型采用efficientdet手势检测模型；efficientdet手势检测模型包括基于注意力机制的主干特征提取网络、基于拉普拉斯金字塔的双向特征融合网络及分类预测网络；

2.根据权利要求1所述基于深度学习的虚拟人手势检测方法，其特征在于：所述主干特征提取网络包括依次连接的卷积层、深度卷积层、se block和点卷积层。

3.根据权利要求2所述基于深度学习的虚拟人手势检测方法，其特征在于，在所述seblock与所述点卷积层之间设有空间注意力模块，所述空间注意力模块的计算方式为：

4.根据权利要求3所述基于深度学习的虚拟人手势检测方法，其特征在于，所述空间...

【专利技术属性】
技术研发人员：陈钟，孙圣力，王洪浩，高天寒，李青山，
申请(专利权)人：南京博雅涵天科技有限公司，
类型：发明
国别省市：