基于深度卷积神经网络的手指指尖定位方法及装置制造方法及图纸

一种基于深度卷积神经网络的手指指尖定位方法及装置，包括：获取原始图像；对所述原始图像进行缩放、灰度化和归一化处理；利用深度卷积神经网络算法定位所述处理后图像中手的位置；若定位到手的位置，继续检测手势检测，否则，结束检测；若检测到点击手势，在手的定位框内回归指尖坐标，并将作为映射回原始图像，否则，结束检测。满足很多应用场景对实时性的需求，算法速度更快、算法逻辑更简洁。

【技术实现步骤摘要】
基于深度卷积神经网络的手指指尖定位方法及装置
本专利技术涉及人机交互
，具体涉及一种基于深度卷积神经网络的手指指尖定位方法及装置。
技术介绍
随着深度学习席卷全球各行各业，早期数据的匮乏、算法模型的不成熟和市场接受度低等问题被逐渐克服，AI+教育的新型教育模式得到大众的广泛认可。而智能桌面和人机交互应用场景的出现，已经成为各大公司优先抢占的桥头堡。教育电子产品，一方面满足了孩子们读听学的结合，另一方面减少了家长亲自辅导的时间，更重要的是这也符合儿童学习发展的一般规律。根据儿童认知发展理论，为多模态交互(人机交互)提供基础的手指点读(指尖识别)算法，通过掌握阅读学习节奏、提供测评考试、融汇贯通扩展知识点等创新技能，锻炼孩子的逻辑思维和解决问题的能力。所以，提供可靠稳定的手指指尖识别算法对孩子的成长至关重要。然而，大多数传统检测算法需要使用SlidingWindow(滑窗)，这导致算法运算时间过长，无法满足很多应用场景对实时性的需求；而且往往需要人工设计特征，当图像背景复杂时，泛化能力差；并存在对尺度敏感的缺点，当待检测目标尺度变化大本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的手指指尖定位方法,其特征在于包括：/n获取原始图像；/n对所述原始图像进行缩放、灰度化和归一化处理；/n利用深度卷积神经网络算法定位所述处理后图像中手的位置；/n若定位到手的位置，继续检测手势检测，否则，结束检测；/n若检测到点击手势，在手的定位框内回归指尖坐标，并将作为映射回原始图像，否则，结束检测。/n

【技术特征摘要】
1.一种基于深度卷积神经网络的手指指尖定位方法,其特征在于包括：
获取原始图像；
对所述原始图像进行缩放、灰度化和归一化处理；
利用深度卷积神经网络算法定位所述处理后图像中手的位置；
若定位到手的位置，继续检测手势检测，否则，结束检测；
若检测到点击手势，在手的定位框内回归指尖坐标，并将作为映射回原始图像，否则，结束检测。


2.如权利要求1所述的方法，其特征在于，所述深度卷积神经网络算法采用全卷积的DeepCNN。


3.如权利要求2所述的方法，其特征在于，所述深度卷积神经网络为HandNet，所述HandNet的网络结构为：



其中，bottleneck为分离卷积；c为每层最终输出的特征图的个数；n为内部分离卷积的重复次数；t为bottleneck内部分离卷积相对于之前一层特征图增加的倍数；s为卷积核的步长；k对应于不同锚点和输入大小有所不同；
所有卷积核都使用3x3大小。


4.如权利要求3所述的方法，其特征在于，HandNet的输出为手的定位框和手势的分类，包括：定位框内是点击手势或定位框内是非点击手势。


5.如权利要求3所述的方法，其特征在于，浅层的特征图对应的感受野较小，适合检测小物体；深层的特征图对应的特征图较大，适合检测大物体。


6.如...

【专利技术属性】
技术研发人员：杨宏宇，朱松，曹家豪，武庆三，潘鑫，
申请(专利权)人：深圳市玩瞳科技有限公司，
类型：发明
国别省市：广东;44