一种用于娃娃机的手势控制方法、存储介质和娃娃机技术

本发明专利技术提出一种用于娃娃机的手势控制方法、存储介质和娃娃机，所述娃娃机包括娃娃机本体，存储器和实现其程序的处理器，处理器通过手势控制模块实现操作。娃娃机本体包括：机架、机械臂、电机及驱动结构。手势控制模块包括：主控模块、通信模块、手势捕获模块三部分。模块整体基于嵌入式平台搭建，采用普通单目摄像头进行图像采集，通过串口线与娃娃机通信。其中，手势捕获模块通过单目摄像头采集手部图像，并识别手势动作，主控模块将相应手势转化控制指令，再经由通信模块将指令发送至娃娃机。本发明专利技术控制方式新颖，操作体验良好，对背景环境适应性好，同时设备成本低，还可基于传统市售娃娃机进行改造，具有良好的市场前景。

A gesture control method, storage medium and doll machine for doll machine

【技术实现步骤摘要】
一种用于娃娃机的手势控制方法、存储介质和娃娃机
本专利技术属于手势控制
，特别是涉及一种用于娃娃机的手势控制方法、存储介质和娃娃机。
技术介绍
传统控制模式的娃娃机：现如今市场上使用的娃娃机均使用手柄控制机械手进行二轴运动。随着体感技术的发展，现有的娃娃机操作模式单一，操作体验欠佳。新型模式控制的娃娃机：手势识别技术在近些年发展迅速，从微软的Kinect，到后来的LeapMotion，虽然采用的是不同的技术，但目的都是为了给用户提供良好的操作体验。就目前的技术而言，大多采用深度摄像头技术，比如Kinect采用的是结构光的原理，通过设备发出红外光斑，对三维空间进行标记，进而通过摄像头采集图案与现有图案进行匹配，得到深度图像。而LeapMotion采用的是双目匹配成像的原理得到三维深度。前者对设备要求高；后者对技术要求高，要达到一定的用户操作体验，必须要很高的处理速度，这不仅增加了算法的复杂程度，也对硬件资源有较高的占用。现有的手势控制娃娃机的手势控制模块都是基于Kinect或者LeapMotion进行开发，最大缺点是成本太高，单套手势控制模块占据了娃娃机50％的成本。现有手势控制的娃娃机手势捕获模块大多采用深度摄像头，如Kinect、RealSense或LeapMotion等，成本较高。此外部分单目识别算法可用到娃娃机上，但效果欠佳。部分深度摄像头需要红外投射光斑，当识别目标区域受到较强阳光照射时，识别效果下降，准确率降低；深度摄像头硬件体积大于单目摄像头；算法复杂，硬件要求较高；功耗高于单目摄像头；售价昂贵；部分单目手势识别方法，需要用到多个时刻的手掌位置进行分析(摄像机多帧比较)，此方法如果出现摄像头抖动情况，算法准确率降低，当娃娃机机械爪在运动时，摄像头会有抖动，所以此方法不适合娃娃机使用；部分单目手势识别方法，采用光流特征算法识别物体运动，硬件配置要求较高。
技术实现思路
本专利技术目的是为了解决现有的技术问题，提出了一种用于娃娃机的手势控制方法、存储介质和娃娃机。本专利技术基于单目摄像头采集图像，进行手势特征提取来识别手势移动与抓取两种动作，实现控制娃娃机机械爪进行二轴运动，成本远低于现有的手势控制娃娃机。本专利技术是通过以下技术方案实现的，本专利技术提出一种用于娃娃机的手势控制方法，手势捕获模块利用单目摄像头采集图像，对图像进行分析计算出当前视场中是否有手势和手势动作，并判断手势动作类型，将获取到的手势信息传递给主控模块；所述主控模块将相应手势信息转化为控制指令；所述控制指令经由通信模块发送至娃娃机；所述手势捕获模块具体操作步骤为：步骤a：读取模板数据，提取包括手势模板图片的收集，特征点提取和全部特征点的最大最小位置；步骤b：量化梯度，捕捉到的图像，计算图像梯度，将梯度量化到T个方向，对每个像素的T*T大小范围内的梯度方向使用同一个梯度方向表示，利用方向相似度对照表，对每个像素点的方向计算统计其每个方向的相似度；步骤c：与模板进行匹配，将步骤b得到的表示一帧图像的多个方向图像数组与模板进行匹配，以T为阈值，计算一帧图像中共有几个T*T区域，再以T*T作为匹配模板，在图像中进行移动，将每个对应位置像素点的方向与匹配模板中的该位置的方向进行比较，得到相似度值，存储超过判定阈值SCORE的点的坐标位置、相似度、手势类型以及点匹配到的模板；步骤d：将模板匹配的结果进行进一步融合，依据模板轮廓找出当前帧手势轮廓，通过判断手势轮廓的凹凸点个数判断手势类型。进一步地，所述手势动作类型为5指伸开或握拳。进一步地，所述手势信息包括5指伸开手势信息、握拳手势信息和没有手势信息。进一步地，当手势信息为没有手势信息时，主控模块输出停止命令；当手势信息为握拳手势信息时，主控模块输出抓取命令；当手势信息为5指伸开手势信息时，主控模块中的位置判断模块对5指伸开手势的位置进行判断，根据判断结果输出控制指令。进一步地，所述5指伸开手势的位置以九宫格形式排布，具体包括上左、上、上右、左、停止、右、下左、下和下右。进一步地，所述手势控制方法还包括位置标定步骤：当娃娃机系统调试时执行位置标定步骤，执行时，操作人员将手掌伸平保持在选定操作区的中心位置；位置标定具体步骤为：步骤a、记录标定用时；步骤b、检测操作人员手部，当检测成功时执行步骤c，否则执行步骤g；步骤c、当本次检测到的手部位置与前序检测结果相同时执行步骤g，否则执行步骤d；步骤d、将检测记录清零，执行步骤g；步骤e、当累计成功检测次数达到指定次数时，执行步骤f，否则执行步骤g；步骤f、根据检测结果更新娃娃机操作区中心点位置，执行步骤g；步骤g、判断当前标定耗时是否达到指定时长，如果达到则认为操作超时，执行步骤i，否则执行步骤h；步骤h、迭代执行步骤a至步骤g直至结束；步骤i、结束。本专利技术还提出一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现所述的一种用于娃娃机的手势控制方法。本专利技术还提出一种娃娃机，所述娃娃机包括娃娃机本体、处理器和存储器；所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，使得所述处理器执行所述的一种用于娃娃机的手势控制方法。本专利技术所述一种用于娃娃机的手势控制方法、存储介质和娃娃机，能够增加抓娃娃新鲜感，增加使用者游戏兴趣；可以直接基于传统娃娃机进行升级改造；基于单目摄像头的手势控制模块成本低、体积小、功耗低；本专利技术对场景环境适应性好，相比深度摄像头方案，对光照限制更少。附图说明图1为娃娃机整体控制框图；图2为娃娃机整体控制方法流程图；图3为手势捕获模块操作流程图；图4为主控模块操作流程图；图5为手势的位置示意图；图6为位置标定流程图；图7为娃娃机结构示意图。具体实施方式下面将结合本专利技术实施例中的附图对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提出一种用于娃娃机的手势控制方法、存储介质和娃娃机，所述娃娃机包括娃娃机本体，存储器和实现其程序的处理器，处理器通过手势控制模块实现操作。娃娃机本体包括：机架、机械臂、电机及驱动结构。手势控制模块包括：主控模块、通信模块、手势捕获模块三部分。模块整体基于嵌入式平台搭建，采用普通单目摄像头进行图像采集，通过串口线与娃娃机通信。其中，手势捕获模块通过单目摄像头采集手部图像，并识别手势动作，主控模块将相应手势转化控制指令，再经由通信模块将指令发送至娃娃机。结合图1，本专利技术提出一种用于娃娃机的手势控制方法，手势捕获模块利用单目摄像头采集图像，对图像进行分析计算出当前视场中是否有手势和手势动作，并判断手势动作类型，将获取到的手势信息传递给主控模块；所述主控模块将相应手势信息转化为控制指令；所述控制指令经由通信模块发送至娃娃机；所述手势动作类型为5指伸开或握拳。所述手势信息包括5指伸开手势信息、握拳手势信息和没有手势信息。结合图3，所述手势捕获模块具体操作步骤为：步骤a：读取模板数据，提取包括手势模板图片的收集，特征点提取和全部特征点的最大最小位置；步骤b：量化梯度，捕捉到的图像，计算图像梯度，将梯度量化本文档来自技高网...

【技术保护点】
1.一种用于娃娃机的手势控制方法，其特征在于：手势捕获模块利用单目摄像头采集图像，对图像进行分析计算出当前视场中是否有手势和手势动作，并判断手势动作类型，将获取到的手势信息传递给主控模块；所述主控模块将相应手势信息转化为控制指令；所述控制指令经由通信模块发送至娃娃机；所述手势捕获模块具体操作步骤为：步骤a：读取模板数据，提取包括手势模板图片的收集，特征点提取和全部特征点的最大最小位置；步骤b：量化梯度，捕捉到的图像，计算图像梯度，将梯度量化到T个方向，对每个像素的T*T大小范围内的梯度方向使用同一个梯度方向表示，利用方向相似度对照表，对每个像素点的方向计算统计其每个方向的相似度；步骤c：与模板进行匹配，将步骤b得到的表示一帧图像的多个方向图像数组与模板进行匹配，以T为阈值，计算一帧图像中共有几个T*T区域，再以T*T作为匹配模板，在图像中进行移动，将每个对应位置像素点的方向与匹配模板中的该位置的方向进行比较，得到相似度值，存储超过判定阈值SCORE的点的坐标位置、相似度、手势类型以及点匹配到的模板；步骤d：将模板匹配的结果进行进一步融合，依据模板轮廓找出当前帧手势轮廓，通过判断手势轮廓的凹凸点个数判断手势类型。...

【技术特征摘要】
1.一种用于娃娃机的手势控制方法，其特征在于：手势捕获模块利用单目摄像头采集图像，对图像进行分析计算出当前视场中是否有手势和手势动作，并判断手势动作类型，将获取到的手势信息传递给主控模块；所述主控模块将相应手势信息转化为控制指令；所述控制指令经由通信模块发送至娃娃机；所述手势捕获模块具体操作步骤为：步骤a：读取模板数据，提取包括手势模板图片的收集，特征点提取和全部特征点的最大最小位置；步骤b：量化梯度，捕捉到的图像，计算图像梯度，将梯度量化到T个方向，对每个像素的T*T大小范围内的梯度方向使用同一个梯度方向表示，利用方向相似度对照表，对每个像素点的方向计算统计其每个方向的相似度；步骤c：与模板进行匹配，将步骤b得到的表示一帧图像的多个方向图像数组与模板进行匹配，以T为阈值，计算一帧图像中共有几个T*T区域，再以T*T作为匹配模板，在图像中进行移动，将每个对应位置像素点的方向与匹配模板中的该位置的方向进行比较，得到相似度值，存储超过判定阈值SCORE的点的坐标位置、相似度、手势类型以及点匹配到的模板；步骤d：将模板匹配的结果进行进一步融合，依据模板轮廓找出当前帧手势轮廓，通过判断手势轮廓的凹凸点个数判断手势类型。2.根据权利要求1所述的方法，其特征在于：所述手势动作类型为5指伸开或握拳。3.根据权利要求2所述的方法，其特征在于：所述手势信息包括5指伸开手势信息、握拳手势信息和没有手势信息。4.根据权利要求3所述的方法，其特征在于：当手势信息为没有手势信息时，主控模块输出停止命令；当手势信息为握拳手...

【专利技术属性】
技术研发人员：杜国铭，于美国，冯大志，
申请(专利权)人：哈尔滨拓博科技有限公司，
类型：发明
国别省市：黑龙江,23