基于分级手势识别的空调控制装置及方法制造方法及图纸

本发明专利技术涉及一种基于分级手势识别的空调控制装置及方法，其通过图像识别模块开辟两个并行线程对室内图像进行一级手势识别和二级手势识别，若识别出一级手势或二级手势时，存储与之相匹配的一级指令或二级指令；只有当一级指令和二级指令同时存储在指令存储模块中时，且一级指令和二级指令结合在一起才能够实现对空调的控制。与现有技术相比，本发明专利技术通过人的不同手势来实现对空调的温度高低、风速大小、模式选择等控制，使用户与空调的交互方式更加智能，使用空调更加方便。此外，本发明专利技术通过两级手势结合在一起来实现对空调的控制，使得空调的控制更加稳定。

Air conditioning control device and method based on hierarchical gesture recognition

The invention relates to an air conditioner control device and method based on hierarchical gesture recognition. Through the image recognition module, it opens two parallel threads to carry out first level gesture recognition and two level gesture recognition for indoor images. If the first level gestures or two level gestures are identified, the first order instruction or the two level instruction is stored and matched. When the first and two orders are stored in the instruction storage module, the first order instruction and the two level instruction can be combined to realize the control of the air conditioning. Compared with the existing technology, the invention can control the temperature of the air conditioner, the size of the wind speed, the selection of the mode and so on by different human gestures, and use the interactive mode of the household and the air conditioner more intelligently, and the use of the air conditioner is more convenient. Besides, the invention combines two levels of gestures together to realize the control of the air conditioner, so that the control of the air conditioner is more stable.

【技术实现步骤摘要】
基于分级手势识别的空调控制装置及方法
本专利技术涉及家电控制领域，具体涉及一种基于分级手势识别的空调控制装置及方法。
技术介绍
现在空调的控制是通过遥控器来控制的，用了遥控器后人们通过空调上的指示灯或显示面板来知道空调的运行状态。另外也有一些空调机身上带有按键可以通过机身上的按键来对空调进行操作。也就是说，目前的空调控制必须通过一个独立于人体外的媒介（如遥控器、空调机身上的按键）才能实现，用户想操作空调要先去找遥控器或者跑到空调面前去按按键，操作很不方便。
技术实现思路
本专利技术的目的在于提供一种基于分级手势识别的空调控制装置及方法，其可提高用户对空调的使用便利性。为实现上述目的，本专利技术采用的技术方案是：一种基于分级手势识别的空调控制装置，其包括图像采集模块、图像处理模块、图像识别模块、手势指令匹配模块、指令存储模块和指令解释模块，其中，所述图像采集模块，用于采集室内的图像；所述图像处理模块，用于对图像进行处理以除去图像中的噪声；图像识别模块，用于储存预设的一级手势和二级手势，并对图像进行手势识别；所述手势指令匹配模块，用于用于存储预设指令，并查找与识别出的手势相匹配的指令，该指令包括一级指令和二级指令，一级指令与一级手势相对应，其用于对空调温度、风速、空调模式的选择；二级指令与二级手势相对应，其包括加、减、上一项、下一项，用于对温度高低、风速大小、空调模式选项的控制；所述指令存储模块，用于存储手势指令匹配模块中查找到的一级指令和二级指令，该指令存储模块包括一级指令存储单元和二级指令存储单元；所述指令解释模块，用于将存储的指令解释为空调控制信号。所述图像采集模块包括红外摄像头和红外补光灯。一种基于分级手势识别的空调控制方法，采用上述空调控制装置，具体包括以下步骤：步骤1、手势识别模型训练通过采集各种人在室内的图片和视频，然后人工标定出手势区域，将标定好的数据送入深度卷积神经网络中进行训练，得到手势识别模型；手势通过手掌朝向、手指朝向以及手指的弯曲与否，结合手臂的姿态来定义；步骤2、在图像识别模块中预设一级手势和二级手势，在手势指令匹配模块中预设与一级手势和二级手势匹配的一级指令和二级指令；步骤3、通过图像采集模块获取室内图像，并将图像送往图像处理模块；通过图像处理模块对图像进行小波变换，然后用中值滤波器和高斯滤波器对图像进行处理以去除图像中的噪声，将处理过的图像送往图像识别模块；步骤4、通过图像识别模块开辟两个并行的线程分别对图像进行一级手势识别和二级手势识别；步骤4.1、一级手势识别步骤4.1.1、根据步骤1中得到的手势识别模型，对图像进行手势识别处理，输出为手势X或者无手势；如果输出为无手势或手势X不是一级手势，则放弃图片继续识别下一帧图像；如果手势X为一级手势，将手势X送往手势指令匹配模块；步骤4.1.2、手势指令匹配模块根据手势X的类型查找与之匹配的一级指令command_1_X，并将一级指令command_1_X写入指令存储模块的一级指令存储单元，并开启定时器Timer；当定时器Timer到时后，清除指令存储模块的一级指令存储单元中存储的一级指令存；步骤4.2、二级手势识别步骤4.2.1、根据步骤1中得到的手势识别模型，对图像进行手势识别处理，输出为手势Y或者无手势；如果输出为无手势或手势Y不是二级手势，则放弃图片继续识别下一帧；如果手势Y为二级手势，将手势Y送往手势指令匹配模块；步骤4.2.2、手势指令匹配模块根据手势Y的类型查找与之匹配的指令command_2_Y，并将command_2_Y写入指令存储模块的二级指令存储单元中；步骤4.2.3、判断指令存储单元存储的指令是否完整，即是否同时存在一级指令和二级指令；如果完整则将完整的指令command_1_X+command_2_Y送往指令解释模块，清除指令存储模块中存储的二级指令，并刷新一级指令存留时间的定时器Timer；如果不完整，直接清空指令存储模块的二级指令存储单元中存储的二级指令；步骤4.2.4、指令解释模块根据收到的指令command_1_X+command_2_Y，计算出指令所对应的控制信号，并将控制信号发送到空调。本专利技术将手势定义为一级手势和二级手势，其中，一级手势用于选择需要调节的项目即空调温度、风速、模式，二级手势用于调节具体项目的大小，如温度高低、风速大小、模式选项；并通过图像识别模块开辟两个并行线程对室内图像进行一级手势识别和二级手势识别，若识别出一级手势或二级手势时，存储与之相匹配的一级指令或二级指令；只有当一级指令和二级指令同时存储在指令存储模块中时，且一级指令和二级指令结合在一起才能够实现对空调的控制。与现有技术相比，本专利技术通过人的不同手势来实现对空调的温度高低、风速大小、模式选择等控制，使用户与空调的交互方式更加智能，使用空调更加方便。此外，本专利技术通过两级手势结合在一起来实现对空调的控制，使得空调的控制更加稳定。附图说明图1为本专利技术结构框图；图2为本专利技术一级手势识别流程图；图3为本专利技术一级手势示意图；图4为本专利技术二级手势识别流程图；图5为本专利技术二级手势示意图。具体实施方式参照图1至图5所示，本专利技术揭示了一种基于分级手势识别的空调控制装置，其包括图像采集模块1、图像处理模块2、图像识别模块3、手势指令匹配模块4、指令存储模块5和指令解释模块6，其中，图像采集模块1，用于采集室内的图像，其由红外摄像头和红外补光灯组成；图像处理模块2，用于对图像进行处理以除去图像中的噪声；图像识别模块3，用于储存预设的一级手势和二级手势，并对图像进行手势识别；手势指令匹配模块4，用于查找与识别出的手势相匹配的指令，该指令包括一级指令和二级指令，一级指令与一级手势相对应，其用于对空调温度、风速、空调模式的选择；二级指令与二级手势相对应，其包括加、减、上一项、下一项，用于对温度高低、风速大小、空调模式选项的控制；指令存储模块5，用于存储手势指令匹配模块中查找到的一级指令和二级指令，该指令存储模块包括一级指令存储单元和二级指令存储单元；；指令解释模块6，用于将存储的指令解释为空调控制信号。一条完整的指令包括一级指令和二级指令，一级指令如温度、风速、空调模式等；二级指令包括加、减、上一项、下一项等。基于上述装置，本专利技术还揭示了一种基于分级手势识别的空调控制方法，其包括以下步骤：步骤1、手势识别模型训练通过采集各种人在室内的图片和视频，然后人工标定出精准的手势区域（包括手掌、手指和手臂），将标定好的数据送入深度卷积神经网络（CNN，ConvolutionNeuralNetwork）中进行训练，得到手势识别模型；手势通过手掌朝向、手指朝向以及手指的弯曲与否，结合手臂的姿态来定义。手势定义中的角度、朝向都是相对摄像头的视角而言的，手掌的朝向即为掌心或掌被朝向摄像头的方向；手指的朝向包括上下左右四个方向；手臂的姿态包括大臂与人体所成角度以及小臂与大臂之间的角度。步骤2、在图像识别模块3中预设一级手势和二级手势，并在手势指令匹配模块4中预设与一级手势和二级手势匹配的一级指令和二级指令；步骤3、通过图像采集模块1获取室内图像，并将图像送往图像处理模块2；通过图像处理模块2对图像进行小波变换，然后用中值滤波器和高斯滤波器对图像进行处理以去除图像中的本文档来自技高网...

【技术保护点】
一种基于分级手势识别的空调控制装置，其特征在于：包括图像采集模块、图像处理模块、图像识别模块、手势指令匹配模块、指令存储模块和指令解释模块，其中，所述图像采集模块，用于采集室内的图像；所述图像处理模块，用于对图像进行处理以除去图像中的噪声；所述图像识别模块，用于储存预设的一级手势和二级手势，并对图像进行手势识别；所述手势指令匹配模块，用于存储预设指令，并查找与识别出的手势相匹配的指令；该指令包括一级指令和二级指令，一级指令与一级手势相对应，其用于对空调温度、风速、空调模式的选择；二级指令与二级手势相对应，其包括加、减、上一项、下一项，用于对温度高低、风速大小、空调模式选项的控制；所述指令存储模块，用于存储手势指令匹配模块中查找到的一级指令和二级指令，该指令存储模块包括一级指令存储单元和二级指令存储单元；所述指令解释模块，用于将存储的指令解释为空调控制信号。

【技术特征摘要】
1.一种基于分级手势识别的空调控制装置，其特征在于：包括图像采集模块、图像处理模块、图像识别模块、手势指令匹配模块、指令存储模块和指令解释模块，其中，所述图像采集模块，用于采集室内的图像；所述图像处理模块，用于对图像进行处理以除去图像中的噪声；所述图像识别模块，用于储存预设的一级手势和二级手势，并对图像进行手势识别；所述手势指令匹配模块，用于存储预设指令，并查找与识别出的手势相匹配的指令；该指令包括一级指令和二级指令，一级指令与一级手势相对应，其用于对空调温度、风速、空调模式的选择；二级指令与二级手势相对应，其包括加、减、上一项、下一项，用于对温度高低、风速大小、空调模式选项的控制；所述指令存储模块，用于存储手势指令匹配模块中查找到的一级指令和二级指令，该指令存储模块包括一级指令存储单元和二级指令存储单元；所述指令解释模块，用于将存储的指令解释为空调控制信号。2.根据权利要求1所述的一种基于分级手势识别的空调控制装置，其特征在于：所述图像采集模块包括红外摄像头和红外补光灯。3.一种基于分级手势识别的空调控制方法，其特征在于：其采用权利要求1所述的空调控制装置，具体包括以下步骤：步骤1、手势识别模型训练通过采集各种人在室内的图片和视频，然后人工标定出手势区域，将标定好的数据送入深度卷积神经网络中进行训练，得到手势识别模型；手势通过手掌朝向、手指朝向以及手指的弯曲与否，结合手臂的姿态来定义；步骤2、在图像识别模块中预设一级手势和二级手势，在手势指令匹配模块中预设与一级手势和二级手势匹配的一级指令和二级指令；步骤3、通过图像采集模块获取室内图像，并将图像送往图像处理模块；通过图像处理模块对图像进行小波变换，然后用中值滤波器和高斯滤波器对图像进行处理以去除图像中...

【专利技术属性】
技术研发人员：穆金鹏，黄春辉，梅海峰，陈顺祝，
申请(专利权)人：厦门瑞为信息技术有限公司，
类型：发明
国别省市：福建,35