基于眼动跟踪的智能家居控制器的控制方法技术

基于眼动跟踪的智能家居控制器及其控制方法，属于无线控制领域。可以解决现有的智能家居控制器采用的按键或触摸输入方式无法适用于有肢体障碍的特殊人群的问题。基于眼动跟踪的智能家居控制器，包括图像采集模块、图像处理模块、通信模块、FPGA模块以及FPGA芯片内部集成的子模块。基于眼动跟踪的智能家居控制方法，图像处理模块将采集到的脸部图像二值化处理，找出人眼瞳孔与红外灯在人眼巩膜显示的光斑位置，估算人眼视线方向；图像显示模块在VGA液晶显示屏中，将设计好的用户界面与用户视线位置显示在液晶显示屏中，实现人机交互。本发明专利技术采用非接触的控制方式，最大限度的减少对用户的干扰，减轻用户的负担。

【技术实现步骤摘要】

本专利技术涉及一种。
技术介绍
智能家居是在互联网影响下的物联化体现。智能家居系统通过网络技术将现有的 各种家居设备连接到一起，提供家电控制、照明控制、电话远程控制、环境监测等多种功能 和手段。智能家居不仅具有传统的居住功能，而且兼备建筑、网络通信、信息家电、设备自动 化，提供全方位的信息交互功能，甚至为居住者节约能源费用。 具有无线通信功能的操作终端可使居住者方便地控制家用电器及获取需要的信 息。现有的无线操作终端包括智能遥控器、移动触摸屏、电脑、手机、PDA等，输入方式包括 键盘按键、触摸菜单、语音识别方式。对于特定场景或者特定人群来说，其中某些输入方式 不能使用或者效果较差。例如，在嘈杂环境下，语音识别输入方式识别率较低，不能发出声 音的特定人群甚至无法使用语音识别。再例如，上肢残障人士、自理能力差的老人等特殊人 群无法使用按键或触摸输入方式。
技术实现思路
本专利技术的目的是为了解决现有的智能家居控制系统采用的按键或触摸输入方式 无法适用于有肢体障碍的特殊人群的问题，而提出一种基于眼动跟踪的智能家居控制器及 其控制方法。 -种基于眼动跟踪的智能家居控制器，所述眼动跟踪的智能家居控制系统包括： 用于采集人脸部红外图像的图像采集模块； 用于将设计好的用户界面与用户视线位置显示在液晶显示屏中，实现人机交互的 图像显示模块； 用于发出处理器发出的指令，控制室内电器的通信模块； 以及FPGA模块； 且FPGA模块中包括FPGA芯片及SRAM芯片： 其中FPGA芯片内部集成： 用于将图像采集模块采集到的人脸部红外图像进行二值化处理，找出人眼瞳孔与 红外灯在人眼巩膜显示的光斑位置，估算人眼的视线方向的图像处理模块； 用于存储图像处理与功能判定所需的指令与算法，判断眼睛眨眼或注视动作，从 而判断出视线所在图标的开启与关闭，并执行图标开启或关闭的功能判定模块； 用于将视频信号数据流解码转换成24bit图像数据的BT656解码模块； 用于缓存BT656解码模块解码得到的24bit图像数据的FIFO缓存模块； 用于读取FIFO缓存模块中的图像数据，并将数据发送到FPGA内部总线的READ接 口丰旲块； 用于将图像数据转换成灰度图像的NIOS II内核模块； 用于提供系统时钟的CLK时钟模块； 用于配置SDRAM存储芯片的SDRAM控制器； 用于配置SRAM存储芯片的SRAM控制器； 用于读写FPGA总线的指令并将其发送到通信模块的UART控制器；以及 用于模拟信号生成的VGA控制器。 一种基于眼动跟踪的智能家居控制器的控制方法，所述智能家居控制方法通过以 下步骤实现， 步骤一、通过图像采集模块采集人脸部红外图像： 红外LED发光模块向人脸发射近红外光，CMOS摄像模块捕捉人脸部红外图像并存 储至SDRAM存储模块中，之后输出复合视频信号； 步骤二、图像灰度处理过程： 令图像处理模块与功能判定模块共用FPGA芯片和SRAM存储模块； FPGA芯片通过内部的8位BT656接口模块接收图像采集模块发送的基带视频信号 数据流，经BT656解码模块解码后得到24bits的图像数据送入FIFO缓存，而后READ接口 模块读取FIFO缓存中的数据并将其发送到FPGA内部数据总线，NIOS II内核从数据总线 上读取图像数据并将图像数据转换成灰度图像，最后NIOS II内核将灰度图像数据存储在 SDRAM 中； 步骤三、判定红外光斑位置，通过红外光斑位置粗定眼部位置并截取人眼部子图 图像： 第一，NIOS II内核模块将经数据总线从SDRAM存储模块中读取的人脸部红外图 像作为原始图像数据，在原始图像数据的每一列中，用一维掩膜对每个像 素进行扫描，计算每列亮度梯度最大值； 第二，将原始图像数据平均分成左右两部分，分别搜索左右两部分亮度梯度最大 值，定位两个红外光斑所在列坐标；同时，分别在两个红外光斑所在的列中，对每个像素 用相同的一维掩膜进行扫描，计算各行亮度梯度的最大值，从而确定红外光斑所在的行坐 标； 第三，计算两个红外光斑的距离，利用眼球距离这一先验知识进行容错处理，粗定 到眼部位置后，截取出人眼部子图图像； 步骤四，将灰度图像通过阈值分割进行二值化处理，确定瞳孔位置： 第一，设步骤二得到的灰度图像的灰度取值{0, 1，…，1-1}，其中，灰度值为i的像 素的个数为Ii1,则灰度值为i的像素的出现概率为=P1=IiyN;其中，N表示灰度图中像素总 数； 第二，确定阈值t，选取分割阈值t，即分离性最大时作为最佳门限，实现最大类间 方差原理的自适应阈值方法将灰度图像中的像素划分为两类： 将小于阈值t的像素设定为白，SP:CQ{0，1，…，t}， 将大于阈值t的像素设定为黑，即=C1 {t+l，t+2，…，1-1}，得到人眼部二值化图 像； 第三，在灰度图像中采用等权重质心法求瞳孔中心位置： 以当前计算的瞳孔位置为中心，选取包围瞳孔的矩形框，之后在矩形框内重复利 用等权重质心法定位瞳孔中心，直到瞳孔中心的位置稳定为止，将稳定时瞳孔中心作为瞳 孔粗定位中心，并获得估算的瞳孔半径； 第四，根据瞳孔粗定位中心及估算的瞳孔半径确定圆，以圆为边缘提取圆形搜索 区域，在圆形搜索区域内，以圆心为原点并沿半径方向用一维边缘检测算子 提取瞳孔边缘点； 第五，选择N个瞳孔边缘点，采用最小二乘法对瞳孔中心进行圆拟合，计算瞳孔中 心坐标（X。，y。）和半径R，确定出瞳孔中心位置； 步骤五，利用FPGA芯片中的NIOSII内核模块比对图像采集模块采集到的人脸部 红外图像中红外光斑与瞳孔中心位置的位移量，进行视线校准与人眼注视点定位的处理； 步骤六、在经过步骤三、四和五先后进行的红外光斑位置、瞳孔位置和视线校准与 人眼注视点定位三个步骤的处理后，将确定的视线位置数据通过总线传输给图像显示模块 进行用户界面及人眼注视点显示； 步骤七、判定眼部动作并执行相应功能： FPGA芯片内部的NIOSII内核模块首先搜索人眼部二值化图像中黑色目标区域的 左右边界并计算二者的距离，然后与参考阈值比较： 若大于参考阈值时，判定为眼睛闭合； 若小于参考阈值时，判定为眼睛睁开； 若连续3帧都为眼睛闭合，则判定为眨眼； 根据判定的眼部动作判定相应功能控制指令，将确认出的功能控制指令通过数据 总线传送给通信模块，通信模块发送功能控制指令，功能控制当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种基于眼动跟踪的智能家居控制器，其特征在于：眼动跟踪的智能家居控制器包括：用于采集人脸部红外图像的图像采集模块；用于将设计好的用户界面与用户视线位置显示在液晶显示屏中，实现人机交互的图像显示模块；用于发出处理器发出的指令，控制室内电器的通信模块；以及FPGA模块；且FPGA模块中包括FPGA芯片及SRAM芯片：其中FPGA芯片内部集成：用于将图像采集模块采集到的人脸部红外图像进行二值化处理，找出人眼瞳孔与红外灯在人眼巩膜显示的光斑位置，估算人眼的视线方向的图像处理模块；用于存储图像处理与功能判定所需的指令与算法，判断眼睛眨眼或注视动作，从而判断出视线所在图标的开启与关闭，并执行图标开启或关闭的功能判定模块；用于将视频信号数据流解码转换成24bit图像数据的BT656解码模块；用于缓存BT656解码模块解码得到的24bit图像数据的FIFO缓存模块；用于读取FIFO缓存模块中的图像数据，并将数据发送到FPGA内部总线的READ接口模块；用于将图像数据转换成灰度图像的NIOS II内核模块；用于提供系统时钟的CLK时钟模块；用于配置SDRAM存储芯片的SDRAM控制器；用于配置SRAM存储芯片的SRAM控制器；用于读写FPGA总线的指令并将其发送到通信模块的UART控制器；以及用于模拟信号生成的VGA控制器。...

【技术特征摘要】

【专利技术属性】
技术研发人员：王鹏，邵明磊，李东滨，梁超，李琳琳，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江;23