一种基于人脸识别及手势识别的智能电视控制装置和方法制造方法及图纸

本发明专利技术提供了一种基于人脸识别及手势识别的智能电视控制装置和方法，其装置包括树莓派及与其连接的识别模块、摄像头、显示屏及红外收发模块。其控制方法的主要内容包括：首先，用户录入人脸并设定身份，自定义电视控制与手势的对应关系；接着，进入正常使用后，树莓派通过采集用户面部信息完成用户身份确认，针对不同的用户开放不同的使用权限并调用自定义的手势控制方案，然后通过识别用户的手势图像并消抖确认后完成对电视的控制。其还提供了一种人脸识别算法和一种手势识别算法，用以实现识别功能。本发明专利技术具备识别用户身份以及自定义手势控制方案的功能，可以满足不同人群的操作需求。

【技术实现步骤摘要】
一种基于人脸识别及手势识别的智能电视控制装置和方法
本专利技术涉及智能电视领域，具体涉及一种基于人脸识别及手势识别的智能电视控制装置和方法。
技术介绍
自2016年3月谷歌旗下DeepMind公司团队研发的AlphaGo击败围棋世界冠军李世石后，人工智能进入了第三个发展高峰。自人工智能火起来之后，各种各样的人工智能电视也相继进入人们的视野。国内海信、长虹、TCL、创维等传统彩电厂商以及小米、微鲸等互联网电视品牌都相继推出人工智能电视新品。但是这些人工智能电视对人工智能技术的应用都还处于初级阶段：或是在电视中应用语音交互技术，给电视加了一个声控功能；或是将家居电器的控制应用移植到电视上。相较于开发者所希望达成的人工智能电视的目标来说，还有很长的路要走。目前，对于电视人工智能化的研究，主要集中在对于功能的提升的和操作方式的改进上。就操作方式而言，电视正在完成由之前的复杂按键旋钮向仅有几个按键的遥控器以及语音、体感多元交互方向的跨越。
技术实现思路
为解决上述问题，本专利技术提供了一种电视机人脸、手势控制装置，其装置包括树本文档来自技高网...

【技术保护点】
1.一种基于人脸识别及手势识别的智能电视控制装置，其特征在于：所述控制装置包括树莓派(101)及与其连接的识别模块(102)、摄像头(103)、显示屏(104)及红外收发模块(105)；/n所述摄像头(103)，用于拍摄当前用户的人脸及手势图像，将图像转换成数字信息；/n所述识别模块(102)，用于根据所述摄像头(103)提供的图像信息，识别判断出当前用户的身份及操作指令；/n所述显示屏(104)，用于提供人脸及手势录入的界面，用户可在该界面进行图像录入、功能设定等操作；/n所述树莓派(101)，用于根据所述识别模块(102)的判断结果对所述红外收发模块(105)发出指令；本装置基于树莓派实现...

【技术特征摘要】
1.一种基于人脸识别及手势识别的智能电视控制装置，其特征在于：所述控制装置包括树莓派(101)及与其连接的识别模块(102)、摄像头(103)、显示屏(104)及红外收发模块(105)；
所述摄像头(103)，用于拍摄当前用户的人脸及手势图像，将图像转换成数字信息；
所述识别模块(102)，用于根据所述摄像头(103)提供的图像信息，识别判断出当前用户的身份及操作指令；
所述显示屏(104)，用于提供人脸及手势录入的界面，用户可在该界面进行图像录入、功能设定等操作；
所述树莓派(101)，用于根据所述识别模块(102)的判断结果对所述红外收发模块(105)发出指令；本装置基于树莓派实现人脸识别及手势识别，并完成对智能电视的交互控制。
树莓派是一款基于ARM的微型电脑主板，具有所有PC的基本功能，I/O接口等全部整合在一张比信用卡稍大的主板上。树莓派具有体积小、成本低、操作系统完整等优点，可充分满足本发明中基于可移动设备的识别性需求；
所述红外收发模块(105)，根据所述树莓派(101)的指令对电视发出红外控制信号。


2.采用权利要求1所述的基于人脸识别及手势识别的智能电视控制方法，其特征在于：该方法包括以下几个步骤：
步骤1：建立用户人脸图像库，设置用户身份；
步骤1.1：用户通过摄像头录入各个角度的人脸图像；
步骤1.2：设定该人脸图像的身份，身份类型分为家长、老人、儿童，针对不同用户身份设置权限类型，家长拥有最高权限，可以对电视进行任意操作；老人默认使用简易模式；儿童的操作受到限制，
步骤1.3：树莓派将人脸图像库和用户身份进行对应编码；
步骤2：自定义手势与功能的对应关系，并建立手势图像库；
步骤2.1：用户选择将要设定的功能；
步骤2.2：用户通过摄像头录入实现该功能的手势直至采集足够的手势图像样本；
步骤2.3：重复步骤2.1和2.2直到所有需要的功能都设定完成；
步骤2.4：树莓派将手势图像库和对应功能进行编码；
以下是默认的手势及功能编码：
左手掌心向前并五指张开：编码为0，代表开机；
右手手掌心向前并五指张开：编码为1，代表关机；
握拳：编码为2，代表确认；
拇指向上：编码为3，代表调高音量；
拇指向下：编码为4，代表调低音量；
拇指向左：编码为5，代表调台，频道号加1；
拇指向右：编码为6，代表调台，频道号减1；
步骤3：拍摄当前用户人脸，调用所述人脸识别模块中的人脸识别算法判断用户身份，调取相应权限与控制方案；
步骤3:1：拍摄当前用户的人脸；
步骤3:2：调用人脸识别算法，确定用户身份，若用户不在人脸图像库中，则无法控制电视；若用户在人脸图像库中，则进行步骤3.3；
步骤3:3：根据识别得到的用户身份，调取该用户设置的个性化手势控制方案，并根据所述步骤1.2中的身份类型开放相应权限；
步骤4：拍摄当前用户手势，调用所述手势识别模块中的手势识别算法判断手势并输出相应操作指令；
步骤4.1：拍摄当前用户的手势；
步骤4.2：调用手势识别模块中的手势识别算法对每一帧中的手势进行判断；
步骤4.3：进行消抖处理，以十五帧为单位，五分之四及以上的手势识别结果为同一手势，且该手势在该用户的手势库中，则输出该手势对应的操作指令；否则认为该手势为无效手势，不进行输出，十五帧为默认设置，用户可以改变该参数，从而改变手势控制的灵敏度；
步骤5：树莓派依据上述操作指令，控制红外发射器发射相应的红外信号；
步骤5.1：树莓派根据该用户自定义的手势及功能编码表，确定将要执行的操作；
步骤5.2：树莓派向红外收发器发送该操作对应的指令；
步骤5.3：红外发射器向电视发射相应的红外信号，完成操作。


3.根据权利要求2所述的基于人脸识别及手势识别的智能电视控制方法，其特征在于，所述步骤3中人脸识别算法，该方法包括以下几个步骤：
步骤A1：人脸检测；
步骤A1.1：调用用户录入的人脸图像库；
步骤A1.2：使用方向梯度直方图算法提取面部图像特征；
步骤A1.2.1：对图像进行二值化处理；
步骤A1.2.2：计算图像梯度，将每张图像分割成96×96像素的方块，对于每个方块，计算主方向上的梯度，公式如下：



Ix和Iy分别表示水平和垂直方向上的梯度值，M(x,y)表示梯度的幅值



θ(x,y)表示梯度的方向；
步骤A1.2.3：构建方向直方图，用指向性最强的方向的梯度向量代替原来的方块，其指方向即为图像变暗的方向；
步骤A1.2.4：生成人脸面部特征，将各方块经处理得到的特征向量连接起来，生成人脸方向梯度直方图特征；
步骤A1.3将步骤A1.2中得到的人脸方向梯度直方图特征和已知的经过方向梯度直方图算法提取的面部图像特征进行对比，相似程度最高的部分即为人脸部分；
步骤A2：人脸对齐；
步骤A2.1：采用集成回归树算法提取面部特征点，在步骤A1.3得到中人脸部分图像上标注出68个主要特征点，找出眼睛和嘴巴所在位置。该算法学习每个关键点的局部二值特征，并将特征进行组合，使用线性回归检测关键点，将标注点的更新值存入回归树的叶子节点，通过不断学习，最终确定人脸关键点位置；
用公式表示为：
St+1＝St+1+rt(I,St)
其中S表示特征点标注，t表示级联序号，rt表示当前级的回归器，I表示图像；
步骤A2.2：通过仿射变换，对图像进行旋转和缩放，使得眼睛和嘴巴尽可能靠近中心；
步骤A3：脸部编码；
步骤A3.1：训练深度卷积神经网络；
步骤A3.1.1：选取3张不同的面部图像，构成三元组。分别为：一张已知用户面部训练图像，即原点；同一用户的...

【专利技术属性】
技术研发人员：杭念之，傅嘉晨，罗蕴轩，黄永明，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32