一种用于摇杆式娃娃机的单目手势控制后装系统、控制方法及改造方法技术方案

本发明专利技术提出一种用于摇杆式娃娃机的单目手势控制后装系统、控制方法及改造方法，所述系统包括图像采集模块、检测模块、转换模块和电平驱动模块；所述图像采集模块通过单目RGB摄像头采集图像，并进行图像预处理；所述检测模块通过图像采集模块输入图像，使用检测模型，计算出图像手势类型和坐标；所述转换模块用于将手势类型转换成相应的指令，输出前、后、左、右、停止和抓取指令；所述电平驱动模块通过输入的指令模拟机械摇杆向娃娃机主板发送高低电平信号。本发明专利技术所述系统基于单目RGB摄像头进行开发，成本低，计算量少，不依赖摇杆娃娃机主板通信协议限制，能够解决通信协议问题，具有广阔的应用前景。

【技术实现步骤摘要】
一种用于摇杆式娃娃机的单目手势控制后装系统、控制方法及改造方法
本专利技术属于手势控制
，特别是涉及一种用于摇杆式娃娃机的单目手势控制后装系统、控制方法及改造方法。
技术介绍
摇杆式娃娃机在现有市场上普及率较高，号称新一代“街机”，同时摇杆式娃娃机趋于饱和，在这种情况下新玩法、新产品的推出极为重要。目前娃娃机厂商为了解决上述问题，推出了手势控制娃娃机，利用空间手势控制娃娃机天车进行运动。采用的技术是基于深度摄像头进行手势识别。基于深度摄像头开发的手势识别模块有如下问题：第一，计算量偏大，部分深度摄像头帧率偏低，用户体验感欠佳；第二，计算模块需要使用高端的嵌入式板进行计算，高端嵌入式板价格较高，整体手势识别模块成本高；第三，手势控制模块与娃娃机主板通常通过非标准协议进行通信，因此需要整机定制化开发，手势模块无法批量生产；第四，手势控制娃娃机与摇杆式娃娃机产生竞争关系，抢占摇杆式娃娃机市场份额，并且手势控制娃娃机整机与摇杆式娃娃机整机价格差距过大；由于上述缺点基于深度摄像头开发的手势控制娃娃机产品在市场上难以推广。
技术实现思路
本专利技术目的是为了解决现有的技术问题，提出了一种用于摇杆式娃娃机的单目手势控制后装系统、控制方法及改造方法。本专利技术是通过以下技术方案实现的，本专利技术提出一种用于摇杆式娃娃机的单目手势控制后装系统，所述系统包括图像采集模块、检测模块、转换模块和电平驱动模块；所述图像采集模块通过单目RGB摄像头采集图像，并进行图像预处理；所述检测模块通过图像采集模块输入图像，使用检测模型，计算出图像手势类型和坐标；所述转换模块用于将手势类型转换成相应的指令，输出前、后、左、右、停止和抓取指令；所述电平驱动模块通过输入的指令模拟机械摇杆向娃娃机主板发送高低电平信号。本专利技术还提出一种用于摇杆式娃娃机的单目手势控制后装系统的控制方法，摇杆式娃娃机整机上电后单目手势控制后装系统与娃娃机主机相互独立运行，当主机接收到系统输出的电平信号时，天车执行相应命令，具体步骤为：步骤1、上电后，单目手势控制后装系统开机运行，娃娃机主机开机运行；步骤2、单目手势控制后装系统通过图像采集模块采集图像，并进行图像预处理；步骤3、检测模块计算手势类型，输出检测结果；步骤4、如检测模块未检测到手势，调节摄像头亮度；步骤5、迭代执行步骤3及步骤4直至成功检测到手势；步骤6、判断摄像头亮度调节次数是否达到预设次数，如未达到则进行摄像头亮度调节；步骤7、转换模块获取手势类型和坐标，将检测到的手势类型转换成6种指令：前、后、左、右、停止、抓取；步骤8、所述电平驱动模块收到指令后，模拟娃娃机机械摇杆向娃娃机主机发送指令对应的高低电平信号；步骤9、娃娃机主机收到电平信号后，判断用户是否投币；如已投币，天车执行相应的电平信号，否则天车无响应。进一步地，所述图像采集模块包括图像获取单元和亮度调节单元，所述图像获取单元输出检测模块需要的图像，所述亮度调节单元根据图像自动设置摄像头亮度；所述图像获取单元具体操作步骤为：步骤1.1、单目RGB摄像头获取图像；步骤1.2、图像按照给定参数进行图像缩放操作；步骤1.3、图像按照给定参数进行图像旋转；步骤1.4、图像按照给定参数进行裁剪；所述亮度调节单元具体操作步骤为：步骤1.5、根据检测模块检测结果判定调节区域，未检测到手势时执行步骤1.6，否则执行步骤1.7；步骤1.6、将图像按照中心位置裁剪，执行步骤1.8；步骤1.7、将图像按照检测到的手势中心进行裁剪；步骤1.8、根据检测区域内明亮的像素与总像素比例进行判断，比例大于阈值执行步骤1.10，否则执行步骤1.9；步骤1.9、大于阈值摄像头亮度减小；步骤1.10、小于阈值摄像头亮度增加。进一步地，所述检测模块具体操作步骤为：步骤2.1、确定检测区域，检测区域是一个动态变化区域，根据上一帧检测结果进行调整；步骤2.2、利用检测模型进行检测；步骤2.3、如果检测模型检测到结果，则不进行校验，直接执行步骤2.6；否则执行步骤2.4；步骤2.4、对图像进行裁剪；步骤2.5、使用校验模型进行校验；步骤2.6、输出检测结果。进一步地，所述确定检测区域具体为：步骤2.7、上一帧检测结果是空数据，执行步骤2.8，否则执行步骤2.9；步骤2.8、检测区域与输入图像尺寸相等，执行步骤2.10；步骤2.9、以上一帧数据检测位置为中心，对输入图像进行裁剪，裁剪范围不得超出输入图像尺寸；步骤2.10、检测区域确认完成。进一步地，所述转换模块具体操作步骤为：步骤3.1、判断手势类型；步骤3.2、手势类型是手掌，判断手掌位置；步骤3.3、手掌位置转换成前、后、左、右、停止指令，执行步骤3.5；步骤3.4、手势类型是拳头，转换成抓取指令；步骤3.5、输出转换结果。本专利技术还提出一种基于摇杆式娃娃机的单目手势控制后装系统的整机改造方法，所述方法包括以下步骤：步骤1、确定手势控制区域，确定摄像头位置；步骤2、测量摄像头距离手势控制区域距离，按照安装参数调整摄像头位置，如果不能满足安装距离，更换摄像头镜头，使用短焦镜头或长焦镜头；步骤3、安装单目手势控制后装系统所有组件，所述所有组件包括摄像头模块、USB延长线、模块主板和电源线及插头，摄像头模块安装在娃娃机上方、模块主板安装在娃娃机控制台内；步骤4、连接USB延长线，连接电平输出线，连接电源线；步骤5、对改造后的娃娃机进行测试。本专利技术提出了用于摇杆式娃娃机的单目手势控制后装系统，该系统可在不更改娃娃机主板程序的前提下，通过增加配件实现手势控制。系统基于单目RGB摄像头进行开发，成本低，计算量少，不依赖摇杆娃娃机主板通信协议限制，解决通信协议问题。本专利技术还提出了与该系统对应的控制方法和整机改造方法，可对现有摇杆式娃娃机进行改造，减少整机的生产成本及运营成本，商家投入少量资金，即可享受到手势控制娃娃机带来的收益。由此可见，本专利技术提出的用于摇杆式娃娃机的单目手势控制后装系统及控制方法和整机改造方法，应用前景广阔。附图说明图1为单目手势控制后装系统硬件结构图；图2为摄像头模块组成示意图；图3为单目手势控制后装系统框图；图4为图像获取流程图；图5为亮度调节流程图；图6为检测模块流程图；图7为确认检测区域流程图；图8为转换模块流程图；图9为位置判断示意图；图10为控制方法流程图；图11为改造方法流程图；图12为娃娃机结构图；图13为测量与调整示意图。具体实施方式下面将结合本专利技术实施例中的附图对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，本文档来自技高网...

【技术保护点】
1.一种用于摇杆式娃娃机的单目手势控制后装系统，其特征在于：所述系统包括图像采集模块、检测模块、转换模块和电平驱动模块；所述图像采集模块通过单目RGB摄像头采集图像，并进行图像预处理；所述检测模块通过图像采集模块输入图像，使用检测模型，计算出图像手势类型和坐标；所述转换模块用于将手势类型转换成相应的指令，输出前、后、左、右、停止和抓取指令；所述电平驱动模块通过输入的指令模拟机械摇杆向娃娃机主板发送高低电平信号。/n

【技术特征摘要】
1.一种用于摇杆式娃娃机的单目手势控制后装系统，其特征在于：所述系统包括图像采集模块、检测模块、转换模块和电平驱动模块；所述图像采集模块通过单目RGB摄像头采集图像，并进行图像预处理；所述检测模块通过图像采集模块输入图像，使用检测模型，计算出图像手势类型和坐标；所述转换模块用于将手势类型转换成相应的指令，输出前、后、左、右、停止和抓取指令；所述电平驱动模块通过输入的指令模拟机械摇杆向娃娃机主板发送高低电平信号。


2.一种如权利要求1所述的用于摇杆式娃娃机的单目手势控制后装系统的控制方法，其特征在于：摇杆式娃娃机整机上电后单目手势控制后装系统与娃娃机主机相互独立运行，当主机接收到系统输出的电平信号时，天车执行相应命令，具体步骤为：
步骤1、上电后，单目手势控制后装系统开机运行，娃娃机主机开机运行；
步骤2、单目手势控制后装系统通过图像采集模块采集图像，并进行图像预处理；
步骤3、检测模块计算手势类型，输出检测结果；
步骤4、如检测模块未检测到手势，调节摄像头亮度；
步骤5、迭代执行步骤3及步骤4直至成功检测到手势；
步骤6、判断摄像头亮度调节次数是否达到预设次数，如未达到则进行摄像头亮度调节；
步骤7、转换模块获取手势类型和坐标，将检测到的手势类型转换成6种指令：前、后、左、右、停止、抓取；
步骤8、所述电平驱动模块收到指令后，模拟娃娃机机械摇杆向娃娃机主机发送指令对应的高低电平信号；
步骤9、娃娃机主机收到电平信号后，判断用户是否投币；如已投币，天车执行相应的电平信号，否则天车无响应。


3.根据权利要求2所述的方法，其特征在于：所述图像采集模块包括图像获取单元和亮度调节单元，所述图像获取单元输出检测模块需要的图像，所述亮度调节单元根据图像自动设置摄像头亮度；
所述图像获取单元具体操作步骤为：
步骤1.1、单目RGB摄像头获取图像；
步骤1.2、图像按照给定参数进行图像缩放操作；
步骤1.3、图像按照给定参数进行图像旋转；
步骤1.4、图像按照给定参数进行裁剪；
所述亮度调节单元具体操作步骤为：
步骤1.5、根据检测模块检测结果判定调节区域，未检测到手势时执行步骤1.6，否则执行步骤1.7；
步骤1.6、将图像按照中心位置裁剪，执行步骤1.8...

【专利技术属性】
技术研发人员：杜国铭，于美国，冯大志，
申请(专利权)人：哈尔滨拓博科技有限公司，
类型：发明
国别省市：黑龙江;23